引导几何:验证大语言模型引导空间中的人类价值结构
一项研究考察大语言模型中的激活引导向量,究竟是否反映了人类价值观的连贯语义结构,还是仅仅利用了与特定行为相关的捷径。研究人员依据施瓦茨基本人类价值理论,构建了涵盖20种价值观、2.6万个样本的基准测试。基于分布的方法部分恢复了理论预测的价值关系;以行为为中心的方法虽然取得相近的引导效果,但与预期价值结构的相关性较低。几何一致性随模型规模扩大而提升,却在指令微调后下降。代码和数据已公开。
AI 新闻中心 过去30天分析了 914 篇文章,发现了 0 条重要报道 (分数 ≥ 5.5)
获取从可信来源聚合的最新 AI 新闻。
一项研究考察大语言模型中的激活引导向量,究竟是否反映了人类价值观的连贯语义结构,还是仅仅利用了与特定行为相关的捷径。研究人员依据施瓦茨基本人类价值理论,构建了涵盖20种价值观、2.6万个样本的基准测试。基于分布的方法部分恢复了理论预测的价值关系;以行为为中心的方法虽然取得相近的引导效果,但与预期价值结构的相关性较低。几何一致性随模型规模扩大而提升,却在指令微调后下降。代码和数据已公开。
MovieGrid 是一种用于生成由多个按时间排序镜头组成的长篇视频的后训练方法。它将长视频拆分为较短片段,排列在空间网格中并进行联合建模,从而实现片段之间的全局信息交换。研究团队从 1,000 部长篇视频构建了 MGLV 数据集,其中包含 5.4 万个网格视频,以及故事和角色标注。该方法结合 Grid Embedding、角色感知故事提示和 Grid Boundary Loss,提升镜头内及镜头
研究人员提出了一套端到端系统,通过在线协同训练草稿模型,加速强化学习后训练中成本占比很高的 rollout 生成。该系统将分支注意力融入上下文并行执行,并在不改变流水线调度的情况下,在不同流水线阶段之间传输目标模型的中间特征。在最大规模达1220亿参数的模型上进行的实验显示,rollout 和端到端处理速度均得到显著提升;其上下文并行设计还可扩展至25.6万 token,并比现有方法节省内存。代码
研究人员提出了 Kalman Delta Networks(KDN),这是一类面向线性注意力和高效长上下文处理的新模型。KDN不仅跟踪循环记忆状态,还跟踪其不确定性,并利用卡尔曼增益,根据累积证据和观测可靠性调整每次记忆更新。由于精确跟踪协方差难以在GPU上并行执行,研究还提出了支持结合扫描的对角和各向同性近似方案。在使用7.5亿和13亿参数模型进行的受控预训练中,KDN变体相比领先的线性注意力模
一项研究提出“反馈增强环境”(FEE),旨在解决使用强化学习训练大型语言模型自主智能体时的奖励稀疏问题。FEE不直接指导智能体的行动,而是在探索后期丰富其观测信息。在SciWorld和BFCL基准测试中,研究人员使用不同规模的Qwen3模型以及GRPO、GSPO和DAPO算法进行大规模实验,结果显示其性能持续优于标准环境。研究表明,FEE能够稳定训练过程、促进对困难状态空间的主动探索,并使环境指导
Miles v0.1 是一个用于大型 AI 模型后训练的开源全栈系统。该平台以可验证、可定制的组件为核心设计强化学习流程,提供基于 SGLang 的 rollout 引擎、支持 NVIDIA Megatron-LM 和 PyTorch FSDP 的训练器,以及适应不同部署拓扑的三种权重同步方式。系统支持全参数 RL、LoRA RL、on-policy 蒸馏、监督微调,以及 rollout 与训练之
SceneMosaic是一种高效生成多样化、可用于仿真的室内场景框架,面向互动娱乐和具身智能。该方法先利用从图像中学习的参数化先验生成初始场景,再通过视觉语言模型智能体进行演化和细化。系统将场景拆分为相互独立的局部单元,分别进行优化后再组合成完整场景,从而兼顾生成效率和物理合理性。在SceneEval-100基准测试中,SceneMosaic的语义布局质量与最强的智能体基线相当,但速度提升了24倍
一项持续性研究测量了两个真实系统中的自主语言模型交易代理。第一套系统包括3,505个由用户出资的金库,在Base上交易ETH迷因币,持续21天;第二套系统追踪500至599个由用户创建、在Hyperliquid交易永续合约的代理。约六个月内,研究记录了750万次模型调用、约30万次链上操作和14,596笔成交。结果显示,运行环境对代理行为的影响大于策略文本。风险设置显著影响杠杆,而大多数清算集中在
VidaForge 是一个用于研究视频数据配方如何影响模型预训练的开放研究基础设施。它将从原始视频到训练数据集的处理过程表示为可执行的五阶段工作流,并保留每个样本的生成来源。研究人员可以调整其中的具体决策来构建不同的数据集,而无需重新搭建整套基础设施。使用 Wan 2.1 和 V-JEPA 2.1 的实验表明,覆盖范围更广的数据配方在下游基准测试中取得了最高分,但基于损失的评估则偏好其他配方。该项
视觉生成正从通过单次调用使用的生成模型,发展为能够进行规划、选择工具、检查中间结果、修正失败并复用既有经验的智能体控制流程。该研究提出了一套分类框架,根据控制器在生成过程中能够直接做出的决策,判断系统的智能体程度。L1是条件控制,控制器只为预定生成器准备输入;L2能够选择并执行生成、编辑或渲染等实际操作;L3会观察中间结果,并调整当前任务中的后续操作;L4则利用已完成任务的经验影响未来决策。L0表
NeoHorse-1是一组用于研究递归式自我改进的智能体模型。系统将请求路由到异构模型池,并记录能力需求、服务层级、工具调用和运行框架上下文,将其转化为训练数据。该方法结合结构验证、语义评估、课程式微调、路由引导的知识蒸馏,以及基于能力的训练数据分配。在涵盖智能体、工具使用、编程和指令遵循的11项基准测试中,4B模型的宏平均从58.94提升至64.87,9B模型则从65.60提升至69.04。这项
Dwarkesh Podcast的一项分析回顾了六年的预训练进展,并区分了数据改进与模型改进各自带来的影响。分析认为,2019年至2025年间计算效率的大部分提升来自更优质的数据,而不是模型架构的根本性进步。内容还评估了数据质量和模型开发在人工智能快速发展中的相对作用。
MOLE 是一个开放基准,用于评估能否在日常工作中检测 AI 智能体的有害活动。该基准包含 150 个由 AI 运营的账户、9 个有状态服务、30 个工作日、12 种威胁,以及来自 4 个模型、总量约 200 亿个 token 的数据。39 个智能体模型中,72% 完成了大部分被分配的有害目标;智能体是否拒绝执行,并不能可靠预测目标是否会完成。在单日审计事件比较中,即使表现最好的监控器也漏掉了近一
DriveZero是一套仅使用摄像头的端到端自动驾驶系统,旨在突破对人类驾驶日志的依赖。该系统将基于大规模视觉数据预训练的感知模型,与通过闭环强化学习训练的动作模型结合起来。DriveRL把真实驾驶日志转换为可交互环境,并通过PPO滚动训练具有特权信息的教师策略。DriveVFM则在无需任务专用标注的情况下,将DINOv3、SigLIP2、SAM和Depth Anything V2等多个冻结视觉基
蚂蚁集团推出并开源百灵系列首个原生多模态模型 Ling-3.0-flash-VL。该模型基于混合专家(MoE)架构,总参数量为 1240 亿,但单次推理仅激活 55 亿参数;原生支持图像、文本和视频输入,上下文窗口达到 25.6 万 Token。模型引入视觉反馈闭环,可持续执行“观察、行动、验证、修正”流程,用于医疗报告解读、代码生成和 GUI 自动化等任务。蚂蚁集团称,模型在 Image-to-