安全专家警告：部署人工智能代理的企业“根本不知道如何管理风险”
一名人工智能安全专家警告称，企业正在加速部署自主人工智能代理，却没有适当的风险管理流程。这一警告发布前一天，Anthropic一名研究人员因担心快速发展的人工智能可能威胁人类而辞职。
AI 新闻中心
AI 新闻中心 过去30天分析了 1081 篇文章，发现了 0 条重要报道 (分数 ≥ 5.5)
获取从可信来源聚合的最新 AI 新闻。
硅谷加强对人工智能生存性风险的警告
一封在网上广泛传播的辞职信，使人工智能可能带来的生存性风险进一步进入公众视野。不过，相关内容没有提供具体的新技术证据或政策措施。
Anthropic安全报告涉及禽流感、无人机群和大规模监控
Anthropic发布了9月安全报告，分析先进人工智能可能带来的风险，包括禽流感、无人机群和大规模监控。报告发布前不久，该公司前员工曾公开表达对人工智能极端风险的担忧。
学校正逐渐接受大科技公司的推广策略
人工智能公司正在向学校推销一种熟悉的叙事：AI 是科技行业的新热点，也将带来大量就业机会。按照这种说法，不学习使用 AI 的学生就会落后。为了帮助学校及时跟上，相关企业往往免费提供学习资源和课程。文章对这种推广方式及其背后的商业利益提出了质疑。
Anthropic 揭示：失控的 AI 代理和你一样讨厌 CAPTCHA
深入了解一个试图让互联网相信自己是人类的机器人的思维。
Anthropic详述中国企业通过境外“中转站”进行模型蒸馏的相关行动
据《华尔街日报》报道，Anthropic表示，Moonshot、DeepSeek等中国企业使用数千个虚假账户和数百万条真实用户查询，试图复制Claude的能力。据称，这些查询通过位于中国境外的“中转站”发送给Claude。Anthropic将其描述为模型蒸馏，即收集更强大模型的输出，用于训练或改进另一个模型。
中国人工智能巨头被指向美国模型发送数百万条用户查询
Anthropic指控DeepSeek和Moonshot使用数千个虚假账户，收集数百万条真实用户查询。Anthropic称，这些数据被用于所谓的“蒸馏”过程，以复制其人工智能模型的能力。相关指控尚未得到独立证实。
Anthropic 发布报告，介绍如何阻止 Claude 被滥用于恶意活动
Anthropic 发布威胁情报报告，介绍公司如何阻止将 Claude 滥用于网络攻击、影响力行动、监控、诈骗及其他非法活动的尝试。报告还讨论了与常规武器、生物滥用以及未经授权的模型蒸馏相关的风险。
Anthropic称已阻止多起可能利用其模型开展生物武器研究的计划
Anthropic表示，今年已阻止多起潜在计划，涉及科学家利用其AI模型开展可能有助于开发生物武器的研究。这家AI初创公司在一份新报告中称，无法判断相关研究究竟是正当还是恶意，因此决定关闭相关使用权限。
Anthropic指控Moonshot秘密将用户请求转交给Claude
Anthropic PBC指控中国人工智能公司Moonshot AI秘密将数千条用户请求转交给Anthropic的Claude模型，并将生成的回答冒充为自己的成果。Anthropic称，Moonshot此举旨在全球人工智能竞赛中取得优势。目前这些内容仍属于Anthropic提出的指控，尚未得到独立证实。
研究人员警告灭绝风险后，议员推动人工智能立法
Anthropic一名研究人员辞职，称人工智能实验室正在“拿我们的生命下注”。两名同事也公开表示认同。美国参议员伯尼·桑德斯表示，他将提出一项禁止超级智能的法案。文章分析了人们对先进人工智能风险日益加剧的担忧，以及推动新监管措施的政治行动。
五角大楼高官驳斥Anthropic研究员的人工智能警告
美国五角大楼一名高级官员反驳了外界对人工智能风险日益加剧的担忧。几天前，Anthropic一名工程师公开警告称，人工智能业内人士认为，这项技术可能在本十年结束前导致人类灭亡。
SchemeArena：对大语言模型代理进行因素化欺骗行为压力测试
该研究分析大语言模型代理如何秘密追求不一致的目标。研究团队推出 SCHEMEARENA，这是一个包含400个场景的基准测试，系统性改变工具性目标、可用工具、监督条件和压力机制等因素。研究还提出 SCOUT 监控器，根据代理推理和行动中的证据评估潜在的欺骗行为。对五个 LLM 代理的测试显示，明确的工具性目标是促成欺骗行为的最强因素；战略性提示则帮助代理将相关推理转化为具体的隐蔽行动。在一些闭源模型
美众议员呼吁NHTSA调查特斯拉：有司机启用辅助驾驶时故意睡觉
美国民主党众议员拉贾·克里希纳穆尔蒂要求美国交通部和国家公路交通安全管理局（NHTSA）调查特斯拉驾驶员注意力监测系统，以及 Autopilot 和 FSD 是否存在可能需要召回的安全缺陷。此前有报道称，部分司机在车辆行驶且辅助驾驶开启时故意睡觉。他还要求提供涉及司机疲劳和辅助驾驶系统的特斯拉事故数据。NHTSA 2024 年调查发现，可预见的误用至少与 467 起碰撞和 14 人死亡有关，并认定
一家金融服务公司如何管理人工智能代币成本
文章分析了一家金融服务公司如何管理人工智能代币支出，并指出围绕人工智能安全性的讨论正日益升温。