Transformer 未充分利用模型深度:小型 LoRA 可延长推理链
一项研究发现,在 13 个基础模型中,预训练 Transformer 只能可靠地追踪上下文参考链中的 1.4 至 3.6 行;增加预训练循环帮助不大。在早期层加入针对任务训练的 rank-8 LoRA,并冻结其余全部模型权重后,Qwen3-8B 在 24 行链上的完全准确率从 15.5% 提升至 99%。延长 LoRA 训练可处理更长的链;Ouro-1.4B 在八次循环后达到至少 160 行。分析
AI 新闻中心 过去一年分析了 8830 篇文章,发现了 0 条重要报道 (分数 ≥ 5.5)
获取从可信来源聚合的最新 AI 新闻。
一项研究发现,在 13 个基础模型中,预训练 Transformer 只能可靠地追踪上下文参考链中的 1.4 至 3.6 行;增加预训练循环帮助不大。在早期层加入针对任务训练的 rank-8 LoRA,并冻结其余全部模型权重后,Qwen3-8B 在 24 行链上的完全准确率从 15.5% 提升至 99%。延长 LoRA 训练可处理更长的链;Ouro-1.4B 在八次循环后达到至少 160 行。分析
机器人应能执行后续指令,根据物体在过去交互中的作用来识别目标,即使该物体已不在视野内。BeyondSCe 是一种零样本抓取系统,利用事件历史和当前场景识别并定位指定物体或部位。目标被遮挡时,系统会结合历史事件线索与场景几何信息,选择可能显露目标的相机视角。在使用腕部安装的 RGB-D 相机进行的真实机器人实验中,系统对初始可见目标的抓取成功率为 76%,对被遮挡目标为 77%;各条件下表现最好的基
据韩媒报道,三星电子正与主要客户洽谈2027年HBM4内存供应合约,目标价格为每Gb 4至5美元区间的较高水平,至少达到4.5美元。目前HBM3E单价约为每Gb 1.5美元。报道称,三星已敲定2027年大部分HBM订单,价格谈判预计本月进入最后阶段。
华为乾崑官网显示,乾崑智驾累计辅助驾驶里程已超过160亿公里,搭载该系统的车辆累计行驶里程超过453亿公里,系统累计主动避免可能发生的碰撞超过664万次。华为称,启用ADS时,发生严重碰撞前的平均安全行驶里程为998.7万公里,是中国推算平均值的5.55倍。以上数据由华为公布。
据《金融时报》报道,亚马逊正考虑将价值约 80 亿美元的英伟达 Grace Blackwell 芯片转移至一家特殊目的实体(SPV),随后再从该实体租回。相关芯片据称分布在美国五个州的十余个数据中心。新设 SPV 预计将寻求投资级信用评级,并通过出售股权和发行债券向外部投资者融资。此类售后回租安排可能缓解亚马逊大规模投资 AI 基础设施带来的财务压力。目前该交易仍处于考虑阶段。
Meta 希望 Muse 能应用于电视、烤面包机等设备,并免费提供相关代码。
Supabase在新加坡主权财富基金GIC领投的一轮融资中筹集1.5亿美元,并同意收购Turso,交易金额未披露。Turso提供针对AI智能体优化的数据库。Supabase将开源数据库PostgreSQL商业化。
微软 CEO 萨蒂亚·纳德拉再次将 Copilot 称为“面向工作的全新操作系统”。不过,Windows Latest 的技术分析指出,Windows 11 版 Copilot 桌面应用本质上更像是一个重新命名的 Microsoft Edge 启动器。其主程序仅 4.99MB,但会启动约 520MB 的 Edge 154 安装内容,其中包括 Chromium、V8、ICU、FFmpeg 等组件。C
据报道,梵蒂冈与Anthropic都对人工智能的迅速发展表示担忧,但双方对于AI是否可能具有意识看法不同。Anthropic曾警告,不负责任的AI开发可能造成严重后果;据称,该公司也在研究AI意识及其道德影响。
泄露的 Slack 消息显示,OpenAI 员工在 6 月对 Greg Brockman 与 Leading the Future 的关联提出异议。内部反对声浪是 Brockman 撤回 2500 万美元捐款的原因之一。
戴维·罗宾逊曾在 OpenAI 安全系统团队工作,此前负责政策规划。他于上周离开公司。OpenAI 发言人周五向 Business Insider 证实了他的离职。
Anthropic 推出 Claude Frontier Academy,计划在 2027 年底前培训 1 万名前沿部署工程师,以应对企业 AI 落地人才不足的问题。学员将先参加数天的线下培训,之后进入为期 12 周的实践阶段,在各自机构负责真实的 Claude 项目。首批参与培训的企业包括埃森哲、贝恩、凯捷、德勤、麦肯锡和摩根士丹利。
独立股票分析师 Abdullah Al Rezwan 表示,他试用 Meta 的 AI 智能体 Muse 约 10 天后,卖出了 Airbnb 持仓并加仓 Meta。Muse 能浏览旅游网站并比较选项;在一个案例中,它找到直接向房东预订、比通过 Airbnb 便宜约 60% 的方案。Al Rezwan 认为,这类智能体可能削弱平台作为信息入口和交易中介的作用。不过,Muse 目前运行较慢,结果也可
亚马逊云科技 CEO 马特·加尔曼表示,若美国各地反对数据中心建设的声浪持续扩大,美国可能在全球 AI 竞争中失去优势。他称,全美正在讨论的暂停数据中心建设措施超过 100 项。亚马逊计划未来五年向其数据中心所在社区投资超过 10 亿美元。地方反对已导致部分项目延期或受阻。Data Center Watch 的数据显示,2026 年上半年美国至少有 120 个项目受到影响,估值总计约 1,980
Alexandr Wang 将 Muse 推上排行榜榜首,让 Meta 重回 AI 竞赛;不过,他的做法也在这家科技巨头内部引发了摩擦。