H800 部署

更新时间:2025年4月24日 18:19 浏览:182

官方文档
https://docs.gpustack.ai/0.5/installation/docker-installation/

示例:


# 主节点 + 工作节点
docker run -itd \
  --name gpustack \
  --restart=unless-stopped \
  --gpus all \
  --network=host \
  --ipc=host \
  -v /data/docker/gpustack/data:/var/lib/gpustack \
  -v /data/docker/gpustack/model-cache:/model-cache \
  gpustack/gpustack:v0.5.1 \
    --worker-ip 10.10.10.1


# 获取 token
docker exec -it gpustack cat /var/lib/gpustack/token


# 工作节点(可添加多个)
docker run -itd \
  --name gpustack \
  --restart=unless-stopped \
  --gpus all \
  --network=host \
  --ipc=host \
  -v /data/docker/gpustack/data-worker:/var/lib/gpustack \
  -v /data/docker/gpustack/model-cache:/model-cache \
  gpustack/gpustack:v0.5.1 \
    --server-url http://10.10.10.1 \
    --token xxxxxxxxxxxxxxxxxxxxxxx \
    --worker-ip 10.10.10.2
导航