SMELT:计算量匹配的循环式 MoE Transformer 扩展定律
一项研究在混合专家(MoE)架构中评估循环式 Transformer。这类模型通过重复执行共享层块来增加有效深度,但研究在比较时匹配了每个 token 的计算量、非嵌入参数总数和 KV 缓存。研究人员提出 SMELT,让中间一半的层重复执行两次。在最大达到 540 亿个非嵌入参数的四种模型规模上,SMELT 随计算量增加呈现更快的损失下降,并在计算最优前沿节省 6.8% 至 18.0% 的训练 F
AI 新闻中心 过去30天分析了 1115 篇文章,发现了 0 条重要报道 (分数 ≥ 5.5)
获取从可信来源聚合的最新 AI 新闻。
一项研究在混合专家(MoE)架构中评估循环式 Transformer。这类模型通过重复执行共享层块来增加有效深度,但研究在比较时匹配了每个 token 的计算量、非嵌入参数总数和 KV 缓存。研究人员提出 SMELT,让中间一半的层重复执行两次。在最大达到 540 亿个非嵌入参数的四种模型规模上,SMELT 随计算量增加呈现更快的损失下降,并在计算最优前沿节省 6.8% 至 18.0% 的训练 F
该论文提出 Harness-of-Harness(HoH),一个面向大语言模型编程代理的框架。HoH 将现有代理运行环境组织为反复执行的规划、编码和测试循环,在修复问题与扩展能力之间取得平衡,并将开发拆分为可验证的小步骤,分离实现阶段测试与独立评估,同时保留带版本记录的项目历史。研究人员报告称,在 GameCraft-Bench、FrontierSWE 和 ProgramBench 上,经过三次迭
Qwen-Drive-1.0是一款面向自动驾驶的视觉语言模型,将三维感知、视觉问答和运动规划统一到同一框架中。外部鸟瞰视角(BEV)感知头负责三维目标检测、语义占用预测和BEV地图分割,并为三维场景结构提供可检查的接口。规划模块基于共享的视觉语言模型表示生成车辆未来轨迹。分阶段训练方案结合驾驶监督数据与通用视觉语言数据,在培养驾驶能力的同时,尽量保留广泛的视觉理解和指令遵循能力。多种开放环、伪闭环
E-Commerce Bench 是一个开源基准,用于评估大语言模型智能体在动态年度商业模拟中的表现。智能体需要同时运营多家网店,开展市场调研,与供应商谈判,优化销售策略,处理订单和退货,并管理现金流。模拟环境包括促销活动、自然灾害和供应链冲击。研究团队从七个维度评估了18个前沿模型,结果显示没有任何模型在所有领域都占据优势。GPT-5.6 Sol 将10万初始资金增至1,431,425,期末资产
ZimaBlue是一种利用大规模第一视角视频训练机器人世界动作模型的框架。其三阶段训练流程首先从人类和机器人视频中学习因果具身视觉动态,随后通过统一的动作表示将这些表征与异构机器人轨迹结合,最后针对目标机器人进行专门化。异步Slow-Fast架构将高容量Slow世界模型与轻量Fast分支结合,可在NVIDIA RTX 4090上以30 Hz进行动作预测。在真实机器人零样本评估中,相比仅使用目标机器
H3-World是一种高效框架,可将拥有330亿参数的MiniMax-H3视频生成模型转化为交互式世界模型。该系统无需引入专用动作模块,即可通过自然语言指令更精确地控制角色行为和摄像机运动,并实现时间层面的控制。系统将每个动作表示为角色指令与摄像机指令的结构化组合,并与对应时间段的视频潜在表示对齐。时间注意力路由会将每条指令限制在指定时间区间内,从而减少不同动作之间的控制干扰。使用8,000个游戏
该研究评估多模态大语言模型直接进入无人机控制回路后的表现。研究提出DroneCATS-Agent架构和DroneCATS基准,测试四项能力:接近可见目标、跟踪移动目标、搜索初始视野之外的区域,以及指挥多架无人机。模型无需微调,也不依赖预先定义的函数调用模式。结果显示,即使是简单的具身任务,目前模型仍远未达到可靠水平。小型开源模型有时比前沿模型更稳定地飞入目标范围,但经常过早宣布到达,或始终不宣布到
据《华尔街日报》报道,谷歌最早可能于当地时间周三发布新模型 Gemini 3.8 Flash,内部代号为“Skimaki”。谷歌编程工具 Jetski 的内部对比测试据称显示,工程师对 Gemini 3.8 Flash 的偏好超过 Anthropic 的 Opus,表明谷歌在编程能力上缩小了与 Anthropic 和 OpenAI 的差距。不过,相关结论仅来自内部测试,尚未经过独立验证。Flash
据《The Information》报道,OpenAI 即将推出的 Astra 模型采用了名为“recurrent depth”的技术,可能提升成本效率和性能。但这种方法也会让模型的推理过程更难检查和监控。OpenAI 表示,Astra 在编程以及操作电脑应用程序等方面的能力将有所增强。
ReFlowSET是一种条件潜在流匹配方法,用于将合成孔径雷达(SAR)观测数据转换为电光(EO)图像。与通常依赖自然图像预训练自编码器的现有方法不同,该方法通过联合评估SAR输入和EO目标的重建效果来选择潜在编解码器。随后,它在选定的潜在空间中从头训练一个规模显著更小的条件DiT模型。训练过程中,带噪声的EO特征会与冻结视觉基础模型提取的干净表征进行对齐,但不会增加推理成本。在QXS-SAROP
一项研究分析了原生统一多模态模型中视觉理解与视觉生成的相互作用。结果表明,两项目标能够彼此提供有用信号:生成能力可改善理解所需的视觉特征,而理解能力则能增强生成所需的视觉—语言对齐。但当两项目标被迫经过同一计算路径时,其中一方可能占据主导。研究提出按任务专门化视觉计算、同时保留语义交互的架构,以减少这种不对称退化。研究还发现,在依赖共享知识的理解与生成任务之间存在正向迁移。在同时要求图像理解和生成
一项新的研究框架将多智能体大语言模型系统中的执行关键协议与任务相关语言分离。消息路由、输出格式和终止信号被表示为经过类型定义和验证的程序对象,而提示仍可用于优化任务性能。在合成推理、协作式评审生成和保险定价流程的测试中,该方法实现了100%的最终协议有效性,并持续提升了任务表现。
EM^2Mem 是一种多模态记忆框架,在构建记忆时将长视频中的异构证据绑定到事件锚点。每个按事件索引的记忆单元整合多模态记录、时间上下文、图关联关系、语义事实和来源信息,使语言模型能够直接读取围绕具体事件组织的紧凑证据,而无需在推理阶段从彼此孤立的片段中重建跨模态和时间对应关系。在三个长视频问答基准测试中,EM^2Mem 相比最强的记忆基线,平均准确率分别提升了2.0、2.4和3.7个百分点。事件
GUI 世界模型通常被评估为单步预测下一屏幕的模型,但其预期用途是作为 GUI 智能体的多步交互环境。GUI-CC 评估生成状态在反复用于后续交互时能否保持上下文一致性。该基准包含两条赛道:基于真实移动端 GUI 轨迹构建的 500 个离线任务,以及覆盖 30 个应用、经模拟器验证的 200 个在线智能体循环任务。评估指标包括转移保真度、转移合理性、上下文一致性和任务进度。实验表明,单步生成的屏幕
据报道,Anthropic已发布新一代旗舰模型Fable 5.1,并向拥有相应访问权限的用户提供Mythos 5.1。该公司称,Fable 5.1在多项基准测试中超过上一代Fable 5及竞争产品,并重点提升了处理长时间、复杂智能体任务的能力,适用于编程、研究和知识工作。Anthropic表示,按Token计费的典型工作负载平均成本较上一代降低约25%,高强度智能体任务的成本降幅最高可达45%。不