小米公布 MiMo-V3 核心架构 HySparse2，提升长程 Agent 推理效率
小米公布了面向 MiMo-V3 的核心架构 HySparse2，专为长时间、多轮 Agent 任务设计。该架构结合两级 KV 共享与复用、Token 级稀疏选择，以及固定的局部上下文窗口。在 80B-A3B MoE 模型上，小米称，相比 Hybrid SWA，HySparse2 可将 Prefill 计算量降至五分之一，并将 KV Cache 从 12GB 降至 2.7GB；相比第一代 HySparse，Prefill 计算量则降至三分之一。在 49 层模型中，完成 25 层 Self-Decoder 和桥接投影后即可结束 Prefill。最高 256K 上下文测试显示，MRCR-v2 和 RULER-v2 得分均有所提升。上述数据来自小米内部对比，仍需独立验证。
本文来源：IT之家，仅供学习参考，版权归原作者所有。