不要放弃 Dropout:优化层稀疏性以提升大语言模型训练与推理效率
一项研究评估了层 Dropout(也称随机深度)在大语言模型训练和推理中的作用。通过优化层的分配、应用时间表和优化器超参数,该方法可以在相同计算量下获得更低损失,并在训练步数固定时节省最多 25% 的训练 FLOPs。它还支持提前退出、中间层跳过和自推测解码等训练后优化,在几乎不损失准确率的情况下,最高可将推理速度提升 1.5 倍。研究基于超过 2,400 次实验,覆盖参数量从 2.71 亿到 8
AI 新闻中心 过去一年分析了 9065 篇文章,发现了 0 条重要报道 (分数 ≥ 5.5)
获取从可信来源聚合的最新 AI 新闻。
一项研究评估了层 Dropout(也称随机深度)在大语言模型训练和推理中的作用。通过优化层的分配、应用时间表和优化器超参数,该方法可以在相同计算量下获得更低损失,并在训练步数固定时节省最多 25% 的训练 FLOPs。它还支持提前退出、中间层跳过和自推测解码等训练后优化,在几乎不损失准确率的情况下,最高可将推理速度提升 1.5 倍。研究基于超过 2,400 次实验,覆盖参数量从 2.71 亿到 8
WorldSculpt提出了一种生成组合式3D场景表示的方法,可处理包含数百个物体的杂乱场景。该方法扩展了单物体3D生成模型Pixal3D,加入多视图条件模块,通过多个带姿态信息的观测来约束生成的物体网格。模型仅使用标准空间中的单个物体进行微调,却无需场景级训练即可推广到遮挡严重的大型场景。研究人员还推出了逼真的基准数据集UE-MeshyScene,其中包含逐物体标注和真实网格。在单物体、受控多物
曙光(Sugon)公布了移动工作站N50 Pro的更多规格。该产品搭载单线程最高4.3GHz的CPU、最高3.3GHz的GPU,支持128GB内存和8TB存储。设备配备4K 120Hz屏幕,支持高色彩准确度、多屏4K输出以及最高10Gbps的数据传输。独立GPU配备16GB显存。曙光表示,N50 Pro可在本地以每秒最高50个Token的速度运行35B规模的MoE模型,并宣称其AI推理速度达到主流
据《纽约时报》报道,因与中国军方合作而受到美国制裁的中国企业浪潮,可能正通过新成立的子公司和合作伙伴网络,规避美国对先进 AI 芯片的出口限制。据称,浪潮旗下的一家子公司仍在继续运输英伟达部分最先进的芯片。
英伟达首席执行官黄仁勋在 X 平台祝贺 OpenAI 发布新模型 Astra,并宣称通用人工智能(AGI)已经到来。OpenAI 将 Astra 描述为具备高度智能且符合人类价值观的模型,总裁格雷格·布罗克曼也表示 AGI 时代已经开始。人工智能研究员加里·马库斯则认为这一判断为时过早,指出黄仁勋没有提供科学定义或证据。按照马库斯提出的 10 项 AGI 标准,Astra 目前只能满足其中一到两项
文章分析了美国民间日益高涨的反人工智能和反数据中心情绪,并讨论了有关中国正在煽动这场反对运动的说法。
中国上线“国家反诈 AI”App,融合大语言模型、多模态模型和智能体技术。用户可输入可疑场景,应用将进行风险研判、识别诈骗套路、推送典型案例,并通过文字、语音和视频提供防范建议。与此同时,AI短剧因技术门槛下降、从业者快速增加,制作价格今年以来明显下跌,部分报价已接近成本线,行业竞争逐渐转向内容质量和市场拓展。本期早报还包括手机、电动汽车、Windows 11、硬件等其他科技资讯。
据博主@体验more透露,魅族 AI 小方块将进入量产并上市。该设备搭载紫光展锐 T8200 处理器,配备4英寸方形屏幕,产品包装盒照片也已曝光。此前,概念机曾在腾讯 WorkBuddy 生态发布会上亮相。设备采用 Flyme AIOS,并计划深度整合 WorkBuddy 云端 AI 工作台,为用户提供协同办公功能。魅族今年1月曾在魅友新春会上公布这款产品,并将其列入魅族 22 Next 计划。官
据消息人士透露,瑞士银行瑞银要求应聘投资银行初级岗位的毕业生和实习生证明自己能够利用人工智能提升成果和效率。这使瑞银成为首批明确要求新员工具备人工智能素养的大型金融机构之一。
Anthropic开始发放因AI模型训练数据引发的版权集体诉讼和解金,总额达15亿美元。法院认定,使用受版权保护的作品训练AI模型符合“合理使用”原则,但通过盗版方式获取这些作品则不受保护。根据和解方案,近50万部盗版作品的原作者每部可获赔3000美元。若图书仍由传统出版社出版,作者和出版社原则上各分一半;若作者自行出版,或出版社已将版权返还作者,赔偿金则应全部归作者所有。近期一些作者指控出版社为
《神鬼寓言》游戏总监 Ralph Fulton 接受 GamesRadar+ 采访时表示,游戏中的每名 NPC 都是单独设计的。开发团队希望让角色的职业、外貌和性格相互匹配,从而提升 Albion 世界的真实感。团队最初曾开发一个可随机生成 NPC 特征的内部工具,但发现这种方式容易造成职业、外貌与行为之间的矛盾,因此最终放弃使用。游戏预计于 2027 年发售,并可能成为该系列首款登陆 PlayS
作家表示,出版社似乎试图从Anthropic的和解付款中获得超过其合理份额的金额,因此对此提出异议。
OpenAI首席科学家雅各布·帕乔茨基表示,目前没有任何人工智能实验室充分解决对齐问题,因此不应以最高速度持续扩大开发。他希望,随着AI系统能力不断提升,自愿放慢开发速度能够成为行业惯例。文章还提到了2023年年中的“RLSlow”研究项目。
《The Information》分析师Valida Pau称,Anthropic自10月以来已签署至少14.8吉瓦算力容量协议。该人工智能公司未来十年可能支出高达5170亿美元。为满足快速增长的需求,Anthropic一直在与SpaceX、谷歌及其他公司加紧敲定云计算交易。上述支出金额属于预测,并未得到完全证实。
OpenAI 表示,已实现打造“自动化研究实习生”的目标。据该公司称,其研究人员如今每个人类工作日使用相当于 3.1 个智能体工作日的工作量,使用量最高的用户每天在代币上的支出超过 7,000 美元。这些数据来自 OpenAI,尚未经过独立验证。该公司还表示,如果要让 AGI 惠及全人类,就必须对其实施民主治理。