独立测试能让人工智能更安全吗?
Vals AI联合创始人兼首席执行官拉扬·克里希南表示,随着人工智能模型能力快速提升,相关测试和评估的投资却没有跟上。该公司为OpenAI和Anthropic等企业的模型提供独立评估。Vals AI发现了一些人工智能可能朝递归式自我改进发展的早期迹象,但克里希南指出,目前的模型仍远远落后于顶尖人类研究人员。
AI 新闻中心 过去一年分析了 1511 篇文章,发现了 0 条重要报道 (分数 ≥ 5.5)
获取从可信来源聚合的最新 AI 新闻。
Vals AI联合创始人兼首席执行官拉扬·克里希南表示,随着人工智能模型能力快速提升,相关测试和评估的投资却没有跟上。该公司为OpenAI和Anthropic等企业的模型提供独立评估。Vals AI发现了一些人工智能可能朝递归式自我改进发展的早期迹象,但克里希南指出,目前的模型仍远远落后于顶尖人类研究人员。
彭博社观点专栏作家Parmy Olson认为,如果行业领导者真的相信超级智能可能带来关乎人类存亡的风险,那么仅仅呼吁放慢前沿AI开发远远不够。她质疑Anthropic一边强调安全优先,一边又竞相开发日益强大的模型。Olson表示,独立评估可以加强监督,而不必实质性减缓行业推进超级智能的步伐。
Cohere 首席执行官艾丹·戈麦斯反对由大型前沿人工智能实验室协调制定安全标准的提议。他警告称,这种做法可能巩固主导企业的地位,并形成一个人工智能安全“卡特尔”。戈麦斯支持更严格的安全措施、独立测试和更高透明度,但认为相关规则应由更广泛的利益相关者共同制定,而不应仅由 Anthropic 和 OpenAI 等企业主导。
人工智能发展到何种程度、速度有多快的争论,让科技公司高管陷入两难。他们希望警告人工智能可能带来的危险,并提出放慢开发速度等应对措施。但这些公司已经向人工智能投入数千亿美元,因此也在努力安抚投资者和客户,避免引发恐慌。上周,Anthropic研究员雅各布·考克森辞职后,相关争论进一步升温。
Anthropic 首席执行官达里奥·阿莫代伊曾表示,希望在制定强大 AI 系统的严格安全标准方面引领一场“向上竞赛”,让其他公司效仿。不过,《彭博观点》专栏作家帕米·奥尔森认为,这一理想可能从一开始就难以实现。
这篇评论文章探讨了围绕人工智能产生的相互矛盾的承诺。人工智能企业呼吁监管可能带有为自身谋利的动机,但这并不意味着相关主张就一定错误。
曼哈顿地区检察官办公室查封了12家网站。这些网站合计针对约1,200名受害者。执法部门称,这是迄今针对传播有害深度伪造内容网站采取的最大规模法律行动。
微软发布了面向其人工智能模型的行为准则。准则要求模型支持人类而不是取代人类,并促进人类福祉。同时,文件还规定了具体的安全限制,包括禁止攻击系统和故意欺骗人类。
404 Media获得的OpenAI内部文件显示,该公司让承包商审查经过匿名化处理的ChatGPT用户提示和聊天记录,以帮助改进模型。据报道,面向消费者的套餐默认开启了模型训练功能。人工审查的聊天内容可能包含敏感信息和个人信息,引发了外界对用户隐私及数据处理方式的担忧。
据《The Information》报道,英伟达和博思艾伦公司因Fable无法充分保证零数据保留(ZDR),已限制对该服务的使用。Palantir也尚未通过自有软件提供Fable。随着大型企业越来越担心Anthropic或OpenAI可能从客户数据和知识产权中进行学习,企业对人工智能服务的数据保护要求正在提高。
美国人工智能企业正倡导协调放缓前沿 AI 的开发速度,但这一提议遭到特朗普政府与中国方面的明确反对。中方将其视为地缘政治上的围堵策略。专家对此分析了双方在 AI 监管与全球竞争中所持不同立场的实际可行性与深远影响。
一宗走红的语音诈骗表明,即使听出了朋友或亲人的声音,也不能保证对方确实是本人。犯罪分子可以利用AI逼真地仿制声音。家人应提前约定暗号,通过可信的电话号码回拨,并且不要仅凭声音就汇款或提供敏感信息。
TechCrunch Disrupt 2026将探讨人工智能、遗传学和计算生物学的发展如何改变保护生物多样性的研究。一家估值达十亿美元的初创公司正在开发可能让灭绝物种复生的技术。活动还将讨论相关伦理问题:如果科技能够复活灭绝物种,人类是否应该这样做?
Anthropic 和 OpenAI 必须在放慢人工智能开发的呼声,以及科技行业、金融市场和特朗普政府的压力之间作出权衡。彭博社 Opinion 科技专栏作家帕米·奥尔森讨论了近期大型科技公司高管呼吁遏制尖端人工智能模型开发竞赛可能带来的影响。
美国总统特朗普公开批评了 Anthropic 首席执行官达里奥·阿莫代呼吁放缓人工智能发展的言论。特朗普表示,AI 不需要传统的监管护栏,唯一需要的控制是拥有一位强大且聪明的总统来领导。