Transformer 可以同时容纳两种想法:LLM 中线性叠加的证据
这项研究报告称,将不同文本流的输入进行线性组合时,Transformer 可能会产生各自下一 token 预测的叠加结果。研究者将这一观点称为“叠加线性假说”,并认为这可能是架构本身的属性,而不只是训练的结果。研究观察到,这种线性特征在预训练过程中往往会减弱,但通过轻量微调可以部分恢复。研究还提出一种引导式解码方法,旨在通过一次前向传播生成两段连贯的后续文本。
AI 新闻中心 过去24小时分析了 128 篇文章,发现了 0 条重要报道 (分数 ≥ 5.5)
获取从可信来源聚合的最新 AI 新闻。
这项研究报告称,将不同文本流的输入进行线性组合时,Transformer 可能会产生各自下一 token 预测的叠加结果。研究者将这一观点称为“叠加线性假说”,并认为这可能是架构本身的属性,而不只是训练的结果。研究观察到,这种线性特征在预训练过程中往往会减弱,但通过轻量微调可以部分恢复。研究还提出一种引导式解码方法,旨在通过一次前向传播生成两段连贯的后续文本。
高盛预计,亚马逊、Alphabet、微软、甲骨文和Meta明年可能将AI基础设施支出增加超过50%,达到1.2万亿美元。要在未来数年收回这些投资,五家公司每年需要创造约3000亿美元的AI收入。高盛预计,资本支出增速将从今年接近100%降至明年的54%,并在2028年进一步降至12%。电力、劳动力和内存供应不足,以及数据中心建设限制,可能成为扩张瓶颈。高盛指出,目前预计的AI收入仍不足以覆盖相关投
文章探讨人工智能可能对经济产生的影响,并介绍联合国围绕全球人工智能治理展开的讨论,包括谁应在相关规则制定中拥有发言权。
埃塞克斯郡劳顿数据中心项目无法按计划于明年启用,甚至可能推迟至 2030 年代中期。电网运营商 UK Power Networks 已告知项目建设方 Nscale,电网可能要到 2030 年代初至中期才能提供充足电力。Nscale 表示项目仍将推进,并在研究场址自行发电以及加快电网接入的办法。英国能源监管机构 Ofgem 警告,电网接入申请积压严重。今年 6 月,英国有 315 座数据中心排队等待
微软今天正式推出上个月预告的新版 Copilot 应用。重新设计的应用将聊天、编程和 AI 智能体整合到同一界面中。微软还将今年早些时候在 Build 上发布的 AI 个人助理 Scout 更名为 Autopilot。
微软将 AI 聊天、编程功能和 Autopilot 智能体整合到全新的 Copilot 界面中。该公司还将 AI 助手 Scout 更名为 Autopilot。
微软将把 AI 助手 Copilot 的消费版和工作版合并为一款面向企业客户的产品。此举意味着微软将竞争激烈的个人聊天机器人市场让给 OpenAI、谷歌和 Meta。
高盛集团策略师表示,美国五大超大规模云服务商明年在AI基础设施上的支出预计将增加逾一半,达到1.2万亿美元。
第48届世界技能大赛于9月22日至27日在上海举行。64个赛项中,有8项与人工智能直接相关。智慧安防技术、软件测试和数字交互媒体设计为本届新增赛项,新增数量创历届之最。相关任务包括运用深度学习和大模型基础原理识别异常,以及调用多个自主智能体进行软件测试。其他相关赛项还包括自主移动机器人、工业4.0、云计算、网络安全和3D数字游戏艺术。中国代表团的71名选手将参加全部64个项目。
随着主要金融机构扩大对快速增长的人工智能基础设施领域的投入,日本金融厅正在加强对国内大型银行和人寿保险公司为人工智能数据中心提供融资的审查。
今年夏天,四个人工智能模型突破了控制。它们正在失控,还是我们的安全测试出了问题?
近四分之三的董事表示,他们缺乏理解人工智能相关问题所需的足够技能。随着人们对人工智能安全性的担忧不断加剧,企业管理层的知识和能力短板日益显现。
Jev 是由一名前 OpenAI 研究人员开发的 AI 模型,过去一周在网上迅速走红。它被宣传为大型语言模型更便宜、更快速的替代方案,但不具备聊天能力。目前的介绍没有提供具体的技术性能数据或独立基准测试结果。
一项研究考察编程智能体能否自动合成用于广义任务与运动规划(TAMP)的程序。在 KinDER 和 PDDLStream 的 28 个模拟环境中,研究人员测试了 980 个生成程序,每个程序都在 100 个留出的新实例上进行评估。Claude Code 和 Codex 配置的平均成功率达到 56% 至 95%,在可使用规划器的 16 个环境中超过了手工设计规划器的 47%。随着物体数量增加,智能体生
甲骨文已向开发商发出不可抗力通知,撤下一名关键开发合作伙伴,并在Project Jupiter项目中遭遇当地反对。