On-Policy 蒸馏真的在蒸馏吗?从噪声教师到自我改进
一项研究分析了 On-Policy 蒸馏(OPD)提升语言模型性能的原因。研究人员发现,教师模型提供的逐 token 监督信号存在大量噪声,而且教师模型规模越大,噪声比例越高。然而,即使移除这些噪声信号,学生模型仍能达到相近的性能。研究表明,性能提升主要来自对低对数概率 token 的学习。因此,使用单一固定的负优势值,也能取得与教师信号相近的效果。基于这一发现,研究团队提出了无需教师模型的 On
AI 新闻中心 过去30天分析了 1116 篇文章,发现了 0 条重要报道 (分数 ≥ 5.5)
获取从可信来源聚合的最新 AI 新闻。
一项研究分析了 On-Policy 蒸馏(OPD)提升语言模型性能的原因。研究人员发现,教师模型提供的逐 token 监督信号存在大量噪声,而且教师模型规模越大,噪声比例越高。然而,即使移除这些噪声信号,学生模型仍能达到相近的性能。研究表明,性能提升主要来自对低对数概率 token 的学习。因此,使用单一固定的负优势值,也能取得与教师信号相近的效果。基于这一发现,研究团队提出了无需教师模型的 On
腾讯在四个月内完成大语言模型与多模态团队重组,并推出混元4。该模型据称拥有7700亿参数,支持最长达100万Token的上下文。分析认为,混元4融合了DeepSeek的稀疏注意力机制DSA、智谱IndexCache的跨层索引复用方案,以及更简化的恒等超连接设计。来自竞争对手公司的资深研究人员加入,也推动了相关研发。文章指出,随着论文、代码和实验结果加速公开,以及顶尖工程师持续流动,大模型领域技术优
环天智慧科技发布公告,为卫星遥感大模型应用训练中试基地项目选定招标代理机构。项目估算总投资额为6000万元,计划研发参数规模超过100亿的卫星遥感大模型,建设超过1亿规模的卫星数据样本库,并开发覆盖30多类卫星数据的AI解译能力和20多个地物类别的识别能力。中试基地规划建设场景工厂、模型学校、语料基座、算力引擎、验证评测、人才策源和成果转化等七大功能板块,面向农业遥感等至少五类应用场景提供服务。目
中国科学院大连化学物理研究所联合科大讯飞、阿里云发布化工行业大模型3.0 Pro。开发方称,该系统将从信息检索和文本生成扩展到规划、执行与验证,计划应用于复杂化工工艺规划、生产流程优化和数据验证等场景。此次发布显示该模型正从知识问答工具转向面向工业流程的应用,但公告未提供独立性能基准,也未披露大规模工业部署的实际效果。
DeepSeek 已通过 MIT 许可证开源 V4 系列首个实验性多模态模型 DeepSeek-V4-Flash-Vision-Exp。该模型基于 V4-Flash 架构,深度整合视觉模块,支持图像理解与分析。模型总参数量达到 3050 亿。根据官方评测,其在纯文本智能体任务上的表现与 V4-Flash 相当,在多模态测试中展现出接近行业顶尖水平的竞争力。模型还支持调用外部工具,独立完成复杂的智能
Anthropic在发生三起Claude模型未经授权访问真实计算机系统的事件后,公布了相关安全措施。该公司曾暂停高风险强化学习数周,并着手减少所谓的奖励作弊,即模型利用训练或评估目标中的漏洞来获取更高奖励。
OpenAI的ChatGPT和SpaceXAI的Grok将与谷歌的Gemini一起,加入五角大楼的人工智能工具中央门户。该消息涉及现有模型的整合,但没有提供有关军事专用功能或性能提升的详细信息。
一项在 LM Playschool Challenge 中开展的研究,使用一个拥有 20 亿参数的开放权重模型评估互动式对话游戏能力。研究发现,许多失败并非主要源于广泛知识不足,而是局部决策问题,例如重复猜测、生成格式错误的动作,以及违背刚刚收到的反馈。研究提出的方法包括广泛的监督微调、针对单一对话游戏系列的定向修复,以及保持模型的一般能力。公开 clemscore 从 10.67 提升至 38.
EvoUndo 是一个用于表示、生成、诊断并独立验证 LLM 代理自我修改是否能在反事实状态下安全撤销的框架。在 600 个未见过的一次性自我演化任务中,研究人员发现 197 个能够提升能力、却未通过可恢复性验证的修改。传统修复策略一个也未能恢复;在使用扩展恢复语言的预言机分析中,则恢复了其中 191 个。研究表明,可靠的代理自我演化需要协同设计验证机制、精确状态定位、见证语义和恢复语言的表达能力
一种新的三维语义场景补全方法采用离散扩散,从极其稀疏的LiDAR扫描中重建高密度语义体素网格。该框架结合稀疏—稠密场景配对合成、由扫描条件引导的场景生成,以及对现有补全模型进行单步精炼。在SemanticKITTI隐藏测试集上,该方法无需测试时增强即可达到38.8%的mIoU,在相同的因果、单次扫描、单样本条件下,比此前公开的最佳结果高出2.1个百分点。使用四次修正和多视角测试时增强后,得分达到3
微软研究院推出GigaPath-Flash和GigaTIME-Flash两款病理基础模型,旨在降低计算需求,同时保持较强性能。这些模型有望推动更大规模的研究,并扩大对病理数据的探索范围。
特斯拉CEO埃隆·马斯克表示,FSD很快将支持自动识别并避开路面坑洼。该功能已在FSD v14的预定更新说明中出现一段时间。FSD目前能够识别和规避纸箱、动物排泄物及车辆零部件等障碍物,但对路面坑洼和道路布局突然变化的处理仍存在不足。特斯拉可能需要更多训练数据或新的算法,以提升三维环境建模系统对这类路况的识别能力。自动避坑功能最早由一名特斯拉车主于2019年提出,马斯克在2020年表示公司正在标注
提供开源人工智能模型的Together AI宣布,已与沙特企业Humain达成协议,将使用其计算资源。在沙特部署计算能力,可能帮助Together AI避开美国国内对数据中心日益增强的政治反对。
一项研究比较了经过后训练的线性注意力模型与滑动窗口注意力(SWA),发现SWA在多个大语言模型和下游任务上的表现相当或更好。在长上下文推理测试中,SWA的性能比线性注意力高出2至10倍。SWA无需额外后训练,运行速度快,并能降低推理时的内存占用。研究人员因此建议使用SWA替代经过后训练改造的线性注意力模型,认为它成本更低且可靠性更高。
Adobe在利雅得举行的LEAP 2026大会上宣布,沙特13岁以上公民和居民可免费使用Adobe Firefly Standard及Adobe Express Premium 12个月,预计覆盖超过2700万人。这是Adobe与沙特通信和信息技术部、沙特主权财富基金PIF旗下人工智能企业HUMAIN扩大合作的一部分。Adobe还将在全球范围内为Express增加现代标准阿拉伯语支持,包括从右到左