docker 部署

更新时间:2024年10月29日 10:43 浏览:41

官方文档
https://github.com/ggerganov/llama.cpp/blob/master/docs/docker.md

CPU 运行 API 服务

# 从国内加速网站下载镜像
docker pull ghcr.nju.edu.cn/ggerganov/llama.cpp:server

# 将镜像标记为官方镜像
docker tag ghcr.nju.edu.cn/ggerganov/llama.cpp:server ghcr.io/ggerganov/llama.cpp:server

# 启动容器
docker run \
  -v /path/to/models:/models \
  -p 80:80 \
  ghcr.io/ggerganov/llama.cpp:server \
    -m /models/7B/ggml-model-q4_0.gguf \
    --host 0.0.0.0 \
    --port 80 \
    -n 512
导航