小米宣布 MiMo-V3 将采用全新架构，HySparse 2 今日发布
小米 MiMo 大模型负责人罗福莉宣布，即将推出的 MiMo-V3 将采用全新架构，核心技术 HySparse 2 于今日发布。小米称，在 100 万 Token 的上下文长度下，该技术可将预填充计算量降低 5.02 倍、KV 缓存缩小 4.5 倍，同时提升 MRCRv2 和 RULER-v2 评分，并降低 AgentPPL 和 LongPPL。其设计结合了自解码器与交叉解码器之间的 KV 桥接，以及稀疏层对 KV 缓存和选择索引的复用；此外还将块级选择改为 Token 级选择，并采用近期 Token 的固定窗口。此前一天，小米已开源 MiMo-V2.6 Pro 和 Flash 模型。
本文来源：IT之家，仅供学习参考，版权归原作者所有。