在2GB DAYU200上本地部署大語言模型
作者：離北況歸
在2GB的DAYU200開發板上部署alpaca模型，實現OpenHarmony設備本地部署語言模型。（注意：本地部署語言模型對設備RAM要求較高需要4GB左右，加上swap交換空間就可以）。
實現思路和步驟
移植輕量級LLM模型推理框架InferLLM到OpenHarmony標準系統，編譯出能在OpenHarmony運行的二進制產物。（InferLLM 是一個簡單高效的 LLM CPU 推理框架，可以本地部署 LLM 中的量化模型）
使用OpenHarmony NDK來編譯OpenHarmony上的InferLLM可執行文件（具體使用OpenHarmony lycium 交叉編譯框架,然后編寫一些腳本。然后把其存放在tpc_c_cplusplusSIG倉庫。)
在DAYU200上本地部署大語言模型
編譯獲取InferLLM三方庫編譯產物
下載OpenHarmony sdk,下載地址：
http://ci.openharmony.cn/workbench/cicd/dailybuild/dailyList
下載本倉庫
git clone https://gitee.com/openharmony-sig/tpc_c_cplusplus.git --depth=1# 設置環境變量
export OHOS_SDK=解壓目錄/ohos-sdk/linux # 請替換為你自己的解壓目錄
cd lycium
./build.sh InferLLM獲取InferLLM三方庫頭文件及生成的庫
在tpc_c_cplusplus/thirdparty/InferLLM/目錄下會生成InferLLM-405d866e4c11b884a8072b4b30659c63555be41d目錄，該目錄下存在已編譯完成的32位和64位三方庫。（相關編譯結果不會被打包進入lycium目錄下的usr目錄）。
InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/arm64-v8a-build
InferLLM-405d866e4c11b884a8072b4b30659c63555be41d/armeabi-v7a-build將編譯產物和模型文件推送至開發板運行
- 下載模型文件：https://huggingface.co/kewin4933/InferLLM-Model/tree/main
- 將編譯InferLLM生成的llama可執行文件、OpenHarmony sdk中的libc++_shared.so、下載好的模型文件chinese-alpaca-7b-q4.bin 打包成文件夾 llama_file
# 將llama_file文件夾發送到開發板data目錄
hdc file send llama_file /data# hdc shell 進入開發板執行
cd data/llama_file
# 在2GB的dayu200上加swap交換空間
# 新建一個空的ram_ohos文件
touch ram_ohos
# 創建一個用于交換空間的文件（8GB大小的交換文件）
fallocate -l 8G /data/ram_ohos
# 設置文件權限，以確保所有用戶可以讀寫該文件：
chmod 777 /data/ram_ohos
# 將文件設置為交換空間：
mkswap /data/ram_ohos
# 啟用交換空間：
swapon /data/ram_ohos
# 設置庫搜索路徑
export LD_LIBRARY_PATH=/data/llama_file:$LD_LIBRARY_PATH
# 提升rk3568cpu頻率
# 查看 CPU 頻率
cat /sys/devices/system/cpu/cpu*/cpufreq/cpuinfo_cur_freq
# 查看 CPU 可用頻率（不同平臺顯示的可用頻率會有所不同）
cat /sys/devices/system/cpu/cpufreq/policy0/scaling_available_frequencies
# 將 CPU 調頻模式切換為用戶空間模式，這意味著用戶程序可以手動控制 CPU 的工作頻率，而不是由系統自動管理。這樣可以提供更大的靈活性和定制性，但需要注意合理調整頻率以保持系統穩定性和性能。
echo userspace > /sys/devices/system/cpu/cpufreq/policy0/scaling_governor
# 設置rk3568 CPU 頻率為1.9GHz
echo 1992000 > /sys/devices/system/cpu/cpufreq/policy0/scaling_setspeed
# 執行大語言模型
chmod 777 llama
./llama -m chinese-alpaca-7b-q4.bin -t 4移植InferLLM三方庫在OpenHarmmony設備rk3568上部署大語言模型實現人機對話。最后運行效果有些慢，跳出人機對話框也有些慢，請耐心等待。
責任編輯：姜華
來源：
鴻蒙開發者社區
