利用离线 Top-K Logits 和融合分块 KL 损失提高 LLM 知识蒸馏效率
一项实践研究提出了两种提高大语言模型知识蒸馏效率的系统技术。首先,预先缓存教师模型的 Top-K logits,可在不将教师模型保留于 GPU 内存中的情况下进行训练,同时保持与在线蒸馏几乎相同的训练损失。在单张 H200 GPU 上,每次迭代速度提升约 29%,吞吐量最高提升 41%。其次,融合式分块 KL 损失避免生成覆盖完整词表的 logits 张量,从而降低峰值内存使用,并支持在单张 GP
AI 新闻中心 过去一年分析了 7908 篇文章,发现了 0 条重要报道 (分数 ≥ 5.5)
获取从可信来源聚合的最新 AI 新闻。
一项实践研究提出了两种提高大语言模型知识蒸馏效率的系统技术。首先,预先缓存教师模型的 Top-K logits,可在不将教师模型保留于 GPU 内存中的情况下进行训练,同时保持与在线蒸馏几乎相同的训练损失。在单张 H200 GPU 上,每次迭代速度提升约 29%,吞吐量最高提升 41%。其次,融合式分块 KL 损失避免生成覆盖完整词表的 logits 张量,从而降低峰值内存使用,并支持在单张 GP
日本 PC 制造商 VAIO 宣布,VAIO SX14-R 笔记本电脑的 VJS4R2 型号将标配血管信息与心率测量功能。VAIO 表示,这将成为全球首款具备此类功能的 PC。该系统通过内置摄像头和 VAIO WellnessCare 软件,利用非接触式 AI 传感技术分析用户面部,据称约 3 秒即可获取血管与心率信息。测量数据会自动记录在电脑中,用户还可以设置自动化测量流程。
理想汽车表示,第二代理想 AI 眼镜 Livis 预计于明年下半年推出。目前公司正与蔡司共同评估镜片内显示技术,以更好地平衡产品重量与性能;HarmonyOS 原生适配版本也在开发中。现款 AI 眼镜已支持控制全新理想 L9、L8 和新一代理想 L6 的自动泊车,预计 8 月中下旬向更多车型开放。理想汽车还将继续接入更多智能体接口,扩展眼镜的使用场景。
Meta首席执行官马克·扎克伯格发表了一篇6500字文章,介绍公司如何争取公众对其人工智能业务的更广泛支持。文章主要讨论Meta的传播策略和发展方向,并未宣布具体的技术突破或新产品。
随着人工智能辅助创作逐渐成为常态,完全由人类创作、未使用人工智能工具的作品可能更具价值。文章认为,这并不只是一个技术故事,而是创意经济中价值观的变化:人类作者身份和纯粹的人工创作或将获得更高的认可。
能够成功应用人工智能的企业将依赖技术供应商。这些供应商连接技术与专业业务领域,把人工智能能力转化为值得信赖且可规模化实施的商业成果。
Meta 首席技术官安德鲁·博斯沃思告诉员工,人工智能带来的生产力提升应被用于完成更多工作,而不是获得更多休假。这番言论反映了他对职场要求的看法,并不能证明整个行业的生产力已经出现可量化的提升。
Meta已发布新的开放权重人工智能模型Muse Glimmer,并计划在未来几周内推出其最先进模型Muse Spark 1.2的开放权重版本。首席执行官马克·扎克伯格希望通过更开放的模型和开发策略,提升外界对Meta人工智能布局的支持。
Meta 首席执行官马克·扎克伯格批评封闭式 AI 模型的开发商,尤其是 OpenAI 和 Anthropic。他表示,AI 实验室的讨论过度充斥着末日论调,并为蒸馏作为一项原则进行辩护,认为这有助于让强大的 AI 更广泛地普及。这些言论再次体现了 Meta 支持更开放 AI 发展的立场。
Meta推出了新的AI模型Muse Glimmer。公司表示,该模型拥有300亿个参数,但规模小到可以在单块GPU上运行,用户也能下载并定制这项技术。此外,Meta计划设立10亿美元基金,投资其数据中心附近的美国社区。
Meta Platforms推出了Muse Glimmer,这是一款轻量级人工智能模型,可在单台电脑上运行。用户可以下载该模型,并根据自身需求定制这项技术。
NEC与UrbanChain开发了一套面向停车场的AI图像识别系统。系统可识别司机实际上下车的时间,并据此计算停车费,通过自动支付完成扣款,而不是按照车辆驶入和驶出停车场的时间差计费。该系统计划于9月在日本福冈县一处地面停车场进行为期一个月的测试。NEC表示,这项技术有望提升停车便利性、减轻运营人力负担,并通过发现停车后长时间未下车等异常行为,帮助及早识别身体不适或医疗紧急情况。
研究人员推出 OneEmo,这是一种用于感知、理解和交互情绪的多模态模型。研究团队构建了 EmoWorld-130K 数据集,通过人工参与流程整理显式推理轨迹;同时提出 Emo-Chord 强化学习方法,以稳定多任务奖励分配。论文实验显示,与规模相近的基线模型相比,OneEmo 在大多数基准测试中达到领先水平。尽管参数量明显少于商业模型,该模型仍取得了具有竞争力的结果。相关代码已在 GitHub
Arena 发布了 2026 年第 32 周的 AI 大模型匿名盲测排名。阿里 Qwen3.8-Max 以 1497 分 ELO 首次进入综合榜前十,排名第六,与第五名模型的差距在统计误差范围内。Meta 新推出的 Muse-Spark-1.2(xHigh)以 1498 分排名第四。Qwen3.8-Max 还在代码榜排名第八、前端开发榜排名第四。其他国产模型也有较好表现,月之暗面的 Kimi K3
广汽宣布,旗下双座多旋翼飞行汽车 GOVY AirCab 已在甘肃民勤完成超过 3 个月的夏季测试。测试期间,该机在 50℃ 以上高温、高海拔、强风和沙尘环境下完成了 500 多架次试飞及 100 多项试验,涵盖超过 30 公里的自主航线飞行、热管理、防尘性能和传感器工作状态。广汽表示,所有专项测试均达到要求。该产品接下来将同步推进工业化量产、适航取证和商业化落地。官方宣称其支持 L4 级智能驾驶