大模型没有独门秘笈：腾讯混元4如何借助开源生态与顶尖人才实现逆袭
腾讯在四个月内完成大语言模型与多模态团队重组，并推出混元4。该模型据称拥有7700亿参数，支持最长达100万Token的上下文。分析认为，混元4融合了DeepSeek的稀疏注意力机制DSA、智谱IndexCache的跨层索引复用方案，以及更简化的恒等超连接设计。来自竞争对手公司的资深研究人员加入，也推动了相关研发。文章指出，随着论文、代码和实验结果加速公开，以及顶尖工程师持续流动，大模型领域技术优势的独占期正在迅速缩短。
本文来源：AIbase，仅供学习参考，版权归原作者所有。