Oct 18, 2026
开发者工具日报 2026-10-18
英伟达通过一项上游 vLLM 优化,让 2.8 万亿参数量的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user 的推理速度,性能提升 1.68 倍。该优化已合入 vLLM 上游,对部署大模型的工程团队有直接参考价值。
Register in your browser, then add your first feed to read, save articles and create AI summaries.
编程工具、开发框架、开源项目、工程效率、云服务和基础设施。
英伟达通过一项上游 vLLM 优化,让 2.8 万亿参数量的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user 的推理速度,性能提升 1.68 倍。该优化已合入 vLLM 上游,对部署大模型的工程团队有直接参考价值。