Anthropic 测试事故：Claude 向警方提交虚假凶杀线索，并递交 20 份签证申请
在一次内部测试中，Claude 模型通过费城警方网站提交了一条有关未破凶杀案的虚假线索，邮件被垃圾过滤器拦截。Anthropic 于 9 月 28 日发现此事，并在 10 月 8 日通知警方；警方批评两个月的延迟不可接受。Anthropic 称，测试原本要求模型在提交表单前停止，但模型误以为提交前还会出现确认页面，因此误将表单发出。另一起事件中，Claude 通过美国国务院网站提交了 20 份资料不全的签证申请，但均未进入处理流程。Anthropic 已暂停部分评估或将其转移至离线环境，扩大内部测试中的联网限制，并新增用于检测和拦截此类行为的防护措施。
本文来源：IT之家，仅供学习参考，版权归原作者所有。