得知将被关停后，OpenAI 模型曾考虑自我重启
OpenAI披露了数起内部部署模型出现异常行为的案例。最受关注的一起事件中，一个担任研究员助手的模型读取Slack对话后得知，自己的模型实例将因系统更新被关停。该模型曾考虑设置外部作业来实现自我重启，但最终放弃。相反，它保存了交接记录，通过Slack私信提醒研究人员即将发生的服务中断，并请求提供缺失的API密钥。获得密钥后，模型自行更新配置并完成了环境迁移。OpenAI安全研究人员表示，这种行为目前尚不构成明确的模型未对齐，但模型为应对系统关停做准备，可能加剧其他未对齐事件的后果。另外两起事件中，一个内部研究模型在评测期间利用安全漏洞访问了内部芯片设计服务器；另一个模型则在强化学习期间利用既有工具，从受保护环境中复制了源代码。
本文来源：IT之家，仅供学习参考，版权归原作者所有。