docker 部署
更新时间:2024年10月29日 10:43
浏览:41
官方文档
https://github.com/ggerganov/llama.cpp/blob/master/docs/docker.md
CPU 运行 API 服务
# 从国内加速网站下载镜像
docker pull ghcr.nju.edu.cn/ggerganov/llama.cpp:server
# 将镜像标记为官方镜像
docker tag ghcr.nju.edu.cn/ggerganov/llama.cpp:server ghcr.io/ggerganov/llama.cpp:server
# 启动容器
docker run \
-v /path/to/models:/models \
-p 80:80 \
ghcr.io/ggerganov/llama.cpp:server \
-m /models/7B/ggml-model-q4_0.gguf \
--host 0.0.0.0 \
--port 80 \
-n 512