学习率调度可能缺乏明确原理:权重归一化训练中的有效学习率调度
研究发现,与传统权重衰减(WD)相比,权重归一化(WN)训练所报告的预训练收益,主要来自有效学习率(ELR)的变化轨迹,而不只是归一化本身。让ELR轨迹保持一致后,WN与WD的训练损失动态基本趋同。因此,作者建议以ELR而非仅以名义学习率为目标设计调度方案,并提出带仿射调整的反平方根衰减方法AIR。在使用1280亿个token进行Mixture-of-Experts预训练的实验中,AIR在训练损失
AI 新闻中心 过去24小时分析了 46 篇文章,发现了 0 条重要报道 (分数 ≥ 5.5)
获取从可信来源聚合的最新 AI 新闻。
研究发现,与传统权重衰减(WD)相比,权重归一化(WN)训练所报告的预训练收益,主要来自有效学习率(ELR)的变化轨迹,而不只是归一化本身。让ELR轨迹保持一致后,WN与WD的训练损失动态基本趋同。因此,作者建议以ELR而非仅以名义学习率为目标设计调度方案,并提出带仿射调整的反平方根衰减方法AIR。在使用1280亿个token进行Mixture-of-Experts预训练的实验中,AIR在训练损失
AskAnyModel AI Pro 的促销方案宣称,支付 30 美元即可获得终身使用权。该服务可让用户比较 ChatGPT、Claude 等多个 AI 模型的回答。
招聘平台 Greenhouse 对英国和爱尔兰 1100 多名求职者进行的调查显示,81% 的人只提交简历、尚未与招聘人员交流就遭到拒绝。过去 12 个月里,42% 的受访者参加过 AI 面试,其中 57% 表示有机会借此展示技能。此外,97% 的人希望展现简历无法涵盖的个人特质。Greenhouse 指出,经过 AI 润色、内容日益相似的求职申请,让候选人更难脱颖而出,也加深了人们对自动化招聘流
生物科技初创公司 Exin Therapeutics 称,一名 AI 智能体已向癫痫模型小鼠的脑部注射基因疗法。据该公司介绍,Anthropic 的 Sonnet 模型选择了治疗载体、剂量和目标脑区,并操控机械臂完成注射。兽医全程监督,每个不可逆步骤都须获得批准,设备还设有可切断电源的紧急停止按钮。开颅和缝合由人类医生完成。公司表示小鼠恢复良好。这是一项范围有限且有人监督的实验,并不能证明 AI
据央视新闻报道,新疆布尔津县相关部门核实,网传禾木野生猴群下山抢手机的图文和视频属于虚假信息。禾木景区及布尔津县全域没有野生猴群分布,也没有猴群栖息活动记录。当地部门已要求相关平台下架不实内容。
SpaceXAI将从11月7日起为Grok模型生成的文本添加隐形水印。检测器可识别相关信号,判断文本是否带有水印。该公司表示,此举旨在满足欧盟《人工智能法案》的要求,SpaceXAI API已在全球启用水印,团队管理员可以针对单个模型关闭此功能。水印并非通过隐藏字符或元数据实现,而是融入文本生成时的Token选择过程。AI治理观察者Andrew Curran称,目前在北美,ChatGPT是唯一没有
在偏好年轻人的领域,AI时代或许能让资深专业人士更具优势。广告业往往由年轻人为年轻人制作内容。
Lumaril开发可连接现有控制系统、用于优化工业生产的AI软件。该公司在A轮融资中筹集6600万美元,估值达到4亿美元。
DeepSeek 发布了一款更具自主性的编程智能体开源原型。该公司称,这款智能体能够监控群聊,发现编程问题并提出解决方案。该项目是 DeepSeek 挑战 Anthropic Claude Code 的举措之一。
企业语音 AI 工具提供商 Deepgram 以未披露的金额收购了 Daily。Daily 已融资超过 6200 万美元,并开发开源语音 AI 框架 Pipecat。随着语音 AI 市场发展,相关企业正通过收购和合作巩固自身地位。
这项研究指出,标准多令牌预测(MTP)训练存在一个问题:梯度中的噪声成分可能同时干扰下一个令牌和多个令牌的学习。研究提出 Soft-MTP,移除这一成分,改用自蒸馏信号。作者表示,该方法复用现有的交叉熵计算,不增加参数,也不会带来可测量的额外计算开销。在 1.67 亿至 12 亿参数的模型测试中,Soft-MTP 在困惑度、推测解码和零样本准确率等多项指标上优于标准 MTP。代码已公开。
文章将 HomeView 视为一种可能的信号,显示苹果正从以 App 为中心的模式转向以 Siri 为核心的方向。这款智能家居屏幕与苹果生态系统深度整合,并将 Siri 放在核心位置。文章还指出,亚马逊和谷歌产品推动普及的联网设备与标准,可能成为新一代 AI 服务的基础,使其能力超越 Google Assistant 和早期的 Alexa。
Guidewire计划以17亿美元现金收购Hyperexponential。该公司开发用于保险核保和定价的人工智能软件。路透社报道称,这笔交易还可能包括最高4亿美元的额外对价。
DeepSeek发布了一款自主性更强的编程智能体原型,旨在与Anthropic广受欢迎的Claude Code竞争。
华为发布视频合集,展示乾崑智驾处理紧急情况的场景。据华为介绍,截至10月31日,乾崑智驾累计辅助驾驶里程已突破173亿公里。搭载乾崑智驾的车辆累计行驶里程超过483亿公里,系统累计主动避免可能发生的碰撞超过691万次。相关数据持续实时更新。