分布式推理(deepseek-ai/DeepSeek-R1/V3)
更新时间:2025年3月19日 11:16
浏览:101
deepseek-ai/DeepSeek-R1/V3 FP8 原始版
不支持,
仅 llama-box 支持分布式, 但 llama-box 仅可部署 gguf 量化版模型
官方说明:
https://docs.gpustack.ai/0.5/user-guide/model-management/