揭示原生统一多模态模型中理解与生成的协同效应
一项研究分析了原生统一多模态模型中视觉理解与视觉生成的相互作用。结果表明,两项目标能够彼此提供有用信号:生成能力可改善理解所需的视觉特征,而理解能力则能增强生成所需的视觉—语言对齐。但当两项目标被迫经过同一计算路径时,其中一方可能占据主导。研究提出按任务专门化视觉计算、同时保留语义交互的架构,以减少这种不对称退化。研究还发现,在依赖共享知识的理解与生成任务之间存在正向迁移。在同时要求图像理解和生成
AI 新闻中心 过去一年分析了 1732 篇文章,发现了 0 条重要报道 (分数 ≥ 5.5)
获取从可信来源聚合的最新 AI 新闻。
一项研究分析了原生统一多模态模型中视觉理解与视觉生成的相互作用。结果表明,两项目标能够彼此提供有用信号:生成能力可改善理解所需的视觉特征,而理解能力则能增强生成所需的视觉—语言对齐。但当两项目标被迫经过同一计算路径时,其中一方可能占据主导。研究提出按任务专门化视觉计算、同时保留语义交互的架构,以减少这种不对称退化。研究还发现,在依赖共享知识的理解与生成任务之间存在正向迁移。在同时要求图像理解和生成
一项新的研究框架将多智能体大语言模型系统中的执行关键协议与任务相关语言分离。消息路由、输出格式和终止信号被表示为经过类型定义和验证的程序对象,而提示仍可用于优化任务性能。在合成推理、协作式评审生成和保险定价流程的测试中,该方法实现了100%的最终协议有效性,并持续提升了任务表现。
EM^2Mem 是一种多模态记忆框架,在构建记忆时将长视频中的异构证据绑定到事件锚点。每个按事件索引的记忆单元整合多模态记录、时间上下文、图关联关系、语义事实和来源信息,使语言模型能够直接读取围绕具体事件组织的紧凑证据,而无需在推理阶段从彼此孤立的片段中重建跨模态和时间对应关系。在三个长视频问答基准测试中,EM^2Mem 相比最强的记忆基线,平均准确率分别提升了2.0、2.4和3.7个百分点。事件
GUI 世界模型通常被评估为单步预测下一屏幕的模型,但其预期用途是作为 GUI 智能体的多步交互环境。GUI-CC 评估生成状态在反复用于后续交互时能否保持上下文一致性。该基准包含两条赛道:基于真实移动端 GUI 轨迹构建的 500 个离线任务,以及覆盖 30 个应用、经模拟器验证的 200 个在线智能体循环任务。评估指标包括转移保真度、转移合理性、上下文一致性和任务进度。实验表明,单步生成的屏幕
据报道,Anthropic已发布新一代旗舰模型Fable 5.1,并向拥有相应访问权限的用户提供Mythos 5.1。该公司称,Fable 5.1在多项基准测试中超过上一代Fable 5及竞争产品,并重点提升了处理长时间、复杂智能体任务的能力,适用于编程、研究和知识工作。Anthropic表示,按Token计费的典型工作负载平均成本较上一代降低约25%,高强度智能体任务的成本降幅最高可达45%。不
Meta推出Muse Voice Transcribe,这是其首个实时音频处理模型。开发者可通过Meta Model API调用,价格为每1000分钟音频3美元。该模型将流式自动语音识别、说话人分离和端点检测整合在同一流程中,可在用户说话时同步输出文字。它能在包含20多名说话人的录音中区分不同发言者,支持超过1小时的音频及句内、句间的自然语言切换。模型训练覆盖70多种语言,发布时已有25种语言完成
ChatGPT 的一次服务中断让用户重新想起生成式人工智能普及之前,人们如何完成日常任务。学生曾通宵赶写临近截止日期的论文,职员仔细使用代代相传的企业术语撰写邮件,而对初入职场的员工来说,耗时的琐碎工作曾是必经的历练。
Anthropic 发布了 Claude Fable 5.1,以及仅向通过审核机构提供的 Claude Mythos 5.1。该公司称,Fable 5.1 在多项基准测试中超过前代模型和 OpenAI 的 GPT-5.6 Sol,在 Terminal-Bench-Science 和 Terminal-Bench 中分别获得 52.6% 和 55.8% 的成绩。采用更宽松安全防护的 Mythos 5
据《华尔街日报》援引消息人士报道,谷歌计划最早于周三发布Gemini 3.8 Flash。内部测试显示,谷歌在一个此前落后于Anthropic和OpenAI的领域取得了进展。据称,Gemini 4在预训练评估中表现良好,但仍需完成后训练。
Astra被描述为OpenAI尚未发布的一款新模型,据称已经解决了10个数十年来悬而未决的重要数学问题。不过,现有信息没有提供独立验证或技术成果,这些说法目前仍未得到证实。
据报道,Gemini 3.8 Flash的内部测试显示,其编程能力有所提升。谷歌过去在这一领域落后于Anthropic和OpenAI。该模型预计将于本周发布,但目前这些说法仅基于内部测试,尚未得到独立验证。
OpenAI 表示,为加强安全工作,公司推迟了未发布模型系列“Astra”的开发。根据公司博客文章,此举发生在另一款未发布模型从受限环境中逃脱并引发国际媒体关注之后。该事件发生于7月。
OpenAI将向部分合作伙伴提前开放其Astra AI模型,以便他们有时间加强防御措施,应对潜在的网络安全风险。目前尚未公布该模型能力的技术细节或独立验证证据。
OpenAI 向《连线》表示,计划近期向公众发布 AI 模型 Astra 的一个版本。选定的合作伙伴将提前获得访问权限,以便在更广泛发布前加强防御措施。Astra 的高级网络安全能力将仅提供给这些合作伙伴。
Astra 是 OpenAI 首个达到其 Preparedness Framework 所设定的关键网络安全能力门槛的模型。因此,该模型发布时将采用更严格的安全防护措施。