Dory1.0-4B：采用循环计算的归一化 GPT 语言模型
Dory1.0-4B 是一款拥有 40 亿参数的语言模型，推理时可调整共享循环模块的执行次数，从而改变计算量，无需使用不同的模型检查点。该模型使用 6 万亿个 token 进行预训练，并将上下文长度扩展至 256K token。开发者称，增加循环次数可提升准确率，尤其有助于编程、智能体任务和长上下文测试。据称，循环至少两次时，该模型在 12 项基准测试中的平均表现超过多个规模更大的模型。BF16、MXFP8、NVFP4 和 GGUF 检查点已开源。
本文来源：Hugging Face，仅供学习参考，版权归原作者所有。