英伟达将 Kimi K3 模型推理速度提升 1.68 倍

据 SemiAnalysis 称，英伟达通过优化 vLLM 上游代码，使拥有 2.8 万亿参数的 Kimi K3 模型在 GB300 NVL72 硬件上达到每位用户每秒 423 个 Token。与相同硬件上的原有性能相比，速度提升 1.68 倍。该优化由英伟达旗下 CentML 工程师 Benjamin 开发，采用大规模 Megakernel 融合，以及使用 Cute DSL 编写的新型解码专用内核。相关 Megakernel 约包含 1.2 万行代码。英伟达还在为包括 DeepSeek V4.1 在内的其他模型开发 vLLM 优化。

行业资讯硬件行业新闻科技巨头 AI模型 2026-10-18 21:30:07 131 阅读阅读约 1 分钟来源：IT之家

本文来源：IT之家，仅供学习参考，版权归原作者所有。