正确设计循环模型：拓扑结构、输入注入与循环状态设计
该研究分析了在多个逻辑深度重复使用同一组 Transformer 模块的语言模型。研究人员通过受控实验，分别考察循环位置、输入注入和循环状态组织方式。结果显示，采用“前置部分—循环模块—尾部”结构的 Huginn 架构，在 7.3 亿参数规模下的全部 10 项基准测试中都优于 Ouro。该优势也能迁移到混合专家模型：Huginn 在知识、推理和编程任务上大多表现更好，同时比对照的前馈式 MoE 基线少使用 75% 的常驻参数。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。