H800 部署
更新时间:2025年4月24日 18:19
浏览:182
官方文档
https://docs.gpustack.ai/0.5/installation/docker-installation/
示例:
# 主节点 + 工作节点
docker run -itd \
--name gpustack \
--restart=unless-stopped \
--gpus all \
--network=host \
--ipc=host \
-v /data/docker/gpustack/data:/var/lib/gpustack \
-v /data/docker/gpustack/model-cache:/model-cache \
gpustack/gpustack:v0.5.1 \
--worker-ip 10.10.10.1
# 获取 token
docker exec -it gpustack cat /var/lib/gpustack/token
# 工作节点(可添加多个)
docker run -itd \
--name gpustack \
--restart=unless-stopped \
--gpus all \
--network=host \
--ipc=host \
-v /data/docker/gpustack/data-worker:/var/lib/gpustack \
-v /data/docker/gpustack/model-cache:/model-cache \
gpustack/gpustack:v0.5.1 \
--server-url http://10.10.10.1 \
--token xxxxxxxxxxxxxxxxxxxxxxx \
--worker-ip 10.10.10.2