docker 部署

官方部署说明：

https://docs.sglang.ai/start/install.html

docker 部署示例：

docker run \
  --restart=always \
  --name sglang-qwen2-5-vl-72b-instruct \
  --shm-size 256g \
  --gpus '"device=0,1,2,3"' \
  -p 8008:80 \
  -v /data/models:/models \
  -itd \
  lmsysorg/sglang:v0.4.6.post5-cu124 \
    python3 -m sglang.launch_server \
    --model-path /models/Qwen/Qwen2.5-VL-72B-Instruct \
    --served-model-name Qwen2.5-VL-72B-Instruct \
    --api-key xxxxxx \
    --host 0.0.0.0 \
    --port 80 \
    --trust-remote-code \
    --tp 4 \
    --context-length 131072

参数说明：

https://docs.sglang.ai/backend/server_arguments.html