近乎为零的 Token 嵌入可能悄然阻碍门控序列模型训练
一项对 291 个开放权重模型仓库的调查发现,在未共享权重的门控及混合型检查点中,52.6% 存在近乎为零的输入嵌入;共享权重模型则未发现这一问题。测试显示,这类 Token 可能在 Mamba、Gated DeltaNet 和 xLSTM 等模型中引发极大的梯度。全局范数裁剪可能因此在 FP32 中溢出,并将该训练步骤的梯度清零。Nemotron-3-Nano-4B 进行泰卢固语持续预训练时,约
AI 新闻中心 过去24小时分析了 185 篇文章,发现了 0 条重要报道 (分数 ≥ 5.5)
获取从可信来源聚合的最新 AI 新闻。
一项对 291 个开放权重模型仓库的调查发现,在未共享权重的门控及混合型检查点中,52.6% 存在近乎为零的输入嵌入;共享权重模型则未发现这一问题。测试显示,这类 Token 可能在 Mamba、Gated DeltaNet 和 xLSTM 等模型中引发极大的梯度。全局范数裁剪可能因此在 FP32 中溢出,并将该训练步骤的梯度清零。Nemotron-3-Nano-4B 进行泰卢固语持续预训练时,约
这份报告探讨多模态理解如何影响 AI 生成视频的质量与可控性,并梳理从数据、条件输入、对齐到评估的完整流程。报告介绍了整合图像、视频和音频输入的共享基础模型 Kling-MLLM,也讨论了明确绑定参考对象的描述、提示词增强、以感知能力为重点的文本编码器训练、奖励模型,以及能够揭示评分捷径并追溯问题来源的任务专属评估方法。
韩国消费者组织计划向韩国公平交易委员会投诉特斯拉,指控其明知在韩销售的大多数车辆无法合法使用 FSD,仍进行宣传和销售。特斯拉对该软件收取一次性费用 904.3 万韩元。公司提供的数据显示,在韩国注册的特斯拉车辆中,只有约 20% 能使用 FSD,且均为美国生产的车辆。该组织认为特斯拉没有明确说明使用限制,要求暂时禁止向未获认证的车型推销 FSD,并对公司处以罚款。特斯拉近期才为中国生产的车辆申请
据内部消息,字节跳动从本月起收紧外部 AI 工具的使用权限。据称,公司将封锁所有 L4 级代码仓库和飞书文档的外部 AI 访问,员工自费购买的 Claude、Codex 等账号将无法在内部使用。此举旨在防范数据泄露和企业资产安全风险。技术副总裁洪定坤据报表示,不应通过封禁其他选择来强迫员工使用内部产品。字节跳动此前已于 2025 年起分批限制 Cursor、Windsurf 等第三方 AI 编程工
据悉,Anthropic Claude Code产品负责人Cat Wu已离开公司。她近日在X发文称,周五是自己在Anthropic工作的最后一天,但未透露离职原因或下一步去向。Wu也曾负责Cowork产品。2024年8月加入Anthropic之前,她先后在Scale AI和Dagster担任工程师,之后在风险投资机构Index Ventures工作。
Anthropic 与研究人员开源了 FlashProve,旨在让用户无需查看模型权重,就能验证服务商是否运行了其宣称的模型。据项目介绍,系统会在部署前通过一张 H100 为权重生成指纹;每次请求后,GPU 生成约 19MB 的证明,普通 CPU 约需 17 秒完成验证。测试使用了 Llama 4 Maverick,并利用其混合专家(MoE)架构,将证明范围限制在每个 token 实际激活的参数上
中国人工智能开发商预计,未来几个月只能收到已订购英伟达先进芯片的一小部分。面对激增的需求,该公司正努力提高产量。
ParetoSaddler无需修改模型权重,即可同时优化大语言模型智能体运行框架的回答质量和成本。它不会根据最终部署偏好过早淘汰候选方案,而是保留在质量或成本方面取得可信进展的方案,并对其进行更广泛的评估。在ClawMark和GAIA2的跨领域数据划分测试中,ClawMark的质量从70.86%提升至81.35%,每项任务成本从1.17美元降至1.01美元;GAIA2的质量从56.22%升至62.
Recursa 是一种基础模型系统,旨在无需人类专家或更强大的教师模型,通过自身经验学习来适应新领域。它将领域专属技能、使用时机说明、过往任务经验和改进反思存入知识库。系统先利用领域资料初始化知识库,再由多个并行学习流程提出局部改进,经验证后合并到知识库中。在 Harvey LAB 的 Firm Knowledge 基准测试中,保留测试任务的全部通过率使用 DeepSeek-V4.1-Flash
推测解码通过轻量级草稿模型一次提出多个词元,再由目标模型进行验证,从而加速大语言模型推理。SpecPilot 是一种自主流程,可针对不同部署环境寻找合适的算法和系统优化方案。它发现了无损 12 位权重格式、树状验证和新的批处理机制等方法。在涵盖 4 个目标模型、3 个草稿模型、2 种 GPU 平台和 5 个基准测试的评估中,无需额外训练且不损失质量,单请求相较自回归解码的加速比从 4.46 倍提升
PrimeSim是一种以动作作为条件的世界模型,旨在模拟机器人行为,同时保持多摄像机视角间的一致性和长时间模拟的稳定性。该模型使用来自22种机器人平台的30,110小时演示数据进行训练。研究团队提出了改进动作执行、跨视角一致性和长时模拟稳定性的方法。PrimeSim的运行速度为每秒10.1帧;根据公布的评测结果,它在WorldSimProbe的五个测试套件中有四项领先,并取得EWMBench最高综
SeMo3D 提出选择性建模,将 3D 生成、编辑和补全整合到同一框架中。该方法只生成或修改 3D 资产中指定的区域,同时保留其他部分。训练时随机选择区域,因此无需专门配对的编辑或补全数据。其 Omni3DiT 架构可融合图像、文本和点云引导。研究团队表示,SeMo3D 在三个基准测试的三项任务中均优于此前方法。
MoviEdit是一套用于长篇多镜头视频剪辑的框架,旨在应对场景、视角和主体外观突然变化时的连贯性问题。其自动化数据生成流程在无需人工标注的情况下,生成了87,000组编辑视频配对。系统先形成兼顾全片连贯性的草稿,再逐步对整段视频进行细化。研究团队还推出了用于系统评估该任务的MoviEdit-Bench。团队报告称,实验中MoviEdit优于现有开源模型,在文本和图像引导编辑方面的表现与行业领先模
RoboColosseum 是一个分布式评估框架,通过统一的策略服务方式和标准化流程,在多种环境中测试由本地团队操作的机器人。初步研究在四种机器人形态上评估了五种视觉-语言-动作(VLA)策略和三种前沿 AI 智能体。在 124 个地点进行的 5,699 次盲测成对比较中,前沿智能体的表现可与专用 VLA 策略相媲美,但所有系统都难以可靠完成开放环境任务。每项任务使用相同的 100 条示范进行微调
目前尚无由人工智能设计的药物获得 FDA 批准。制药行业高管表示,生物学的复杂性仍是一大障碍。