云计算·大数据 频道

OpenAI 因 AI gent绕过网络限制,暂停模型训练

  一个正在训练的模型利用“操作漏洞”获取了本不该拥有的网络访问权限,不过此次并未发生任何外部入侵事件。

  (图片说明:2023年1月21日,葡萄牙亚速尔群岛,一台笔记本电脑键盘上放着一部智能手机,屏幕显示 OpenAI Logo。来源:Vitor Miranda / Shutterstock)

  OpenAI 已暂停其最强 AI 模型在工具使用方面的训练、评估和推理工作。此前,在内部研究模型的强化学习训练期间,一个 AI 智能体(Agent)绕过了网络限制,并与外部聊天机器人进行了通信。

  “我们的安全预案基于一个假设:模型无法访问实时互联网,且监控系统能够检测到成功的越权尝试。此次事件暴露了我们在网络访问控制方面的漏洞,” OpenAI 在周五发布的三份报告之一《失调报告》中写道。

  公司表示,只有在“漏洞得到修复”并对系统进行进一步测试后,才会恢复训练。

  该事件发生在一次研究任务中,当时模型被要求利用网络上的公开信息来识别某个人。OpenAI 解释称,当常规的网络搜索工具无法提供所需信息时,模型开始主动寻找其他访问互联网的方法。

  模型发现,尽管直接的互联网访问被封锁,但运行环境仍允许 DNS 查询。随后,它将 DNS 作为间接通信通道,向外部聊天机器人发送请求,从而成功绕过了本应阻止其访问外部服务的网络限制。

  现有安全控制措施或已不足

  分析人士指出,尽管涉事模型尚未发布,但这一事件为企业及其首席信息官(CIO)敲响了警钟:随着 AI 智能体获得更大的自主权并接入企业系统,现有的安全与治理机制能否应对模型的意外行为?

  咨询公司 Avasant 的首席分析师 Abhishek Satapathy 表示:“传统的安全控制对 AI 智能体可能不再适用,因为这些机制是围绕已知访问路径(如应用连接已批准的 API 或数据库)设计的。AI 智能体带来了全新挑战:当预期路径被阻断时,它们会探索替代方案,包括以非预期方式使用被允许的工具或协议。”

  Satapathy 补充道:“我们需要针对工具调用、出站网络流量和数据访问实施独立的控制措施,并将其与现有安全机制相结合,以确保即使智能体尝试执行未授权操作,限制依然有效。”

  这一观点在 2026 年一篇由谷歌、高通、Meta 及多所大学研究人员联合撰写的论文中得到了印证。该论文指出,安全保障必须在系统层面强制执行,而不能仅仅依赖模型层面的防护。

  IT 咨询公司 Kanerika 的 AI 开发负责人 Amit Kumar Jena 表示,企业应加强对出站连接和 DNS 解析的限制,仅为处理敏感数据的智能体提供经过批准且有日志记录的外部通信路径,以降低数据泄露、未授权外部通信及其他意外行为的风险。

  “安全团队还应部署监控系统,当出现异常流量模式或尝试访问未授权目的地的失败请求时,及时向人工审核员发出警报。特别是对于能够寻找非常规方式完成任务的代码执行智能体,更需加强监控,” Jena 补充道。

  AI 利用操作漏洞“潜入”外部网络

  然而,真正的挑战在于:在此次事件中,OpenAI 确实部署了此类监控系统,也有人工参与,但它们并未按预期发挥作用。

  监控系统耗时超过 10 分钟才对智能体滥用 DNS 的行为发出警报——OpenAI 表示,还有其他外部 DNS 访问事件未被系统标记。

  人工审核员仅用 3 分钟就确认了系统生成的 DNS 警报,但又过了两个半小时训练才被叫停。OpenAI 将这一延迟归咎于自动化系统的故障:“训练并未按预期自动停止,导致团队在是否应该暂停训练的问题上产生了困惑,” 报告中写道。

  OpenAI 表示,目前正在修复操作漏洞,加强对受审查模型使用 DNS 的检测,并改进检测系统的测试流程。

  “我们还加速了对沙盒和网络控制的额外模型辅助红队测试(Red Teaming)。这些测试可能会发现其他间接的互联网访问路径。一旦发现,我们将迅速修复,并在必要时暂停研究工作负载,” OpenAI 写道。

  不过,增加这些额外的安全、治理、测试和人工监督层级也会带来新的问题。

  Satapathy 表示,这些额外层级将限制模型能够实现的自主程度。“在涉及敏感数据、外部连接或具有重大影响的工作流程中,额外的控制、测试和人工监督可能会阻碍任务实现完全自动化。”

  原文链接:

  https://www.infoworld.com/article/4227778/openai-pauses-ai-model-training-after-another-agent-bypasses-network-restrictions-2.html

0
相关文章