分布式推理(deepseek-ai/DeepSeek-R1/V3)
更新时间:2025年4月30日 14:04
浏览:150
deepseek-ai/DeepSeek-R1/V3 FP8 原始版
不支持,
仅 llama-box 支持分布式, 但 llama-box 仅可部署 gguf 量化版模型
官方说明:
https://docs.gpustack.ai/0.5/user-guide/model-management/