avatar

OpenAI 开发 GPT-Red 工具,自动扫提示注入,Agent 安全测试提前到发布前

OpenAI 新模型发布前会跑 GPT-Red,因为提示注入对带工具的 AI 系统来说还是常见风险

avatar@OpenAI
3 days ago

TL;DR:

  • OpenAI 用 GPT-Red 自动扫描模型里的提示注入漏洞
  • 这个工具在新模型正式上线前就会跑一遍
  • 问题在于,能调用工具和执行动作的模型更容易被恶意提示带偏

核心事件

OpenAI 内部做了个叫 GPT-Red 的工具,专门自动找模型里的提示注入漏洞。

要点梳理

检测流程放在新模型发布前跑。提示注入难搞,主要因为 AI 系统一旦能接工具、读上下文、根据记忆做事,攻击面就变大了。

简单分三层:

  • 检测对象是即将发布的新模型
  • 目标是找出提示注入漏洞
  • 风险场景是模型调用工具、处理外部数据或执行操作时,被恶意输入骗

研究视角

这说明 OpenAI 把更多安全测试交给自动化,而不是只靠人工红队。对实际业务来说这方向挺重要:一条写得不好或被污染的提示,可能泄露数据,也可能触发不该做的操作。

更根本的问题还在:LLM 还是很难稳定区分系统指令、用户输入和外部数据。只要这个界限模糊,提示注入就一直存在,尤其在 Agent、工具调用和企业落地场景里。

影响判断

重要性:高

相关方向:AI Safety、技术验证、行业趋势

从行业看,GPT-Red 这类工具以后可能变成 Agent 上线前的标准检查。它的价值不是制造新故事,而是把安全从事后修补提前到发布前验证。

| 维度 | 影响 | | --- | --- | | 模型发布 | 发布前加自动化安全扫描 | | 企业使用 | 降低数据泄露和误操作风险 | | Agent 生态 | 工具调用越多,提示注入检测越关键 | | 安全流程 | 自动化红队测试的重要性上升 |

Verdict: 这条还在早期,真正受益的是做和部署 AI Agent 的团队,交易者不是主要受益者,长期资金更适合关注有自动化安全验证能力的基础设施和模型平台。