Apple Silicon 上的 Nanbeige4.2-3B：修复部署漏洞并降低循环 Transformer 的内存开销
Nanbeige4.2-3B 是一个拥有 30 亿参数的智能体模型，通过在第二次前向传播中复用同一组层，在不增加参数的情况下提高有效深度。研究人员在 Apple Silicon 上发现了 5 个独立问题，导致发布的 checkpoint 无法直接通过 Hugging Face Transformers 运行，包括 RoPE 缓冲区被静默置零，以及调用已移除的缓存 API。分块预填充策略使 32 GiB 共享内存下可用上下文长度提升至原来的 2.7 倍。修复系统提示词和 MPS 原生内存问题后，模型才能可靠地进行评估。在 MCPMark 的部分测试中，修正版最多完成 30% 的智能体任务，原版为 0%。修正版 checkpoint、提示词优化器和评估工具已公开发布。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。