windows 下部署

安装好 visual studio 2022
安装时 勾选 visual c++ 组件

全程使用VS命令行工具 Developer Command Promopt for VS 2022， 执行以下命令

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
cmake -B build
cmake --build build --config Release

构建完成后，进入 bin 目录，启动服务

cd build/bin/release

llama-server.exe -m xxx.gguf --host 0.0.0.0 --port 80

参数：

• -m 指定模型
• —host 指定服务器ip, 不指定时只能以127.0.0.1 或 localhost 访问， 0.0.0.0 表示任意 ip
• —port 指定端口

更多参数可查看

llama-server.exe -h

Intel 显卡

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp

.\examples\sycl\win-build-sycl.bat