分布式推理(deepseek-ai/DeepSeek-R1/V3)
更新时间:2025年8月4日 16:51
浏览:288
deepseek-ai/DeepSeek-R1/V3 FP8 原始版
不支持,
仅 llama-box 支持分布式, 但 llama-box 仅可部署 gguf 量化版模型
官方说明:
https://docs.gpustack.ai/0.5/user-guide/model-management/