GPT-Red：用自博弈红队训练增强提示注入鲁棒性

一分钟读懂

OpenAI 在 7 月 15 日披露 GPT-Red：一个不对外部署、专门寻找安全缺口的自动红队模型。它会围绕攻击目标反复发送提示、观察目标模型的响应并调整策略，重点寻找来自网页、邮件、文件和工具输出的提示注入漏洞。

GPT-Red 与一组防御模型通过自博弈强化学习共同训练。攻击方因诱发有效失败获得奖励，防御方因抵抗攻击并完成原任务获得奖励；防御变强后，攻击模型必须继续发现更强、更多样的攻击。OpenAI 表示，GPT-Red 生成的攻击随后进入 GPT-5.6 的对抗训练。

这项工作把自动红队从发布前测试进一步接入后训练循环，但当前公开结果主要来自 OpenAI 的内部环境。完整预印本、训练细节和第三方复现尚未公布，因此不能把发布方报告的鲁棒性提升理解为提示注入问题已经解决。

背景

Agent 会读取用户之外的数据并调用工具，恶意指令因而可能隐藏在网页、代码仓库、邮件或文件中。Dziemian 等人的公开竞赛研究收集了 464 名参与者对 13 个前沿模型的 27.2 万次攻击尝试，显示工具调用、编程和计算机操作场景都存在间接提示注入风险。

OpenAI 的 GPT-5.6 系统卡也把连接器、搜索和函数调用中的提示注入列为单独的鲁棒性评测。GPT-Red 的角色不是替代这些评测，而是持续生成训练所需的攻击样本。

变化

官方说明，GPT-Red 与多个防御模型在具有明确威胁模型和成功条件的环境中同步训练。攻击者可以控制局部文件、网页横幅、邮件正文或工具输出；双方能力共同提高，使攻击数据不再只依赖人工一次性编写。

在未参与训练的场景中，OpenAI 报告 GPT-Red 对 GPT-5.1 的攻击成功覆盖了 84% 的场景，人工红队为 13%。官方还称，把 GPT-Red 生成的攻击用于 GPT-5.6 Sol 后，其最难直接提示注入基准上的失败次数较四个月前的最佳生产模型减少约六倍。这些数字来自发布方的内部镜像和内部目标模型，不等同于独立复现。

影响

观智录认为，值得记录的变化是安全红队开始形成“攻击生成—对抗训练—再次攻击”的持续训练循环。它把 Agent 安全从静态测试集推进到会随防御能力变化的对手过程，也说明提示注入防护正在成为模型后训练的一部分，而不只是产品外围过滤器。

这种方法同时扩大了评测责任：需要持续检查攻击是否只适配内部环境、防御是否通过过度拒绝换取分数，以及增强后的模型在真实工具链中能否保持任务能力。

仍待观察

截至 7 月 16 日，OpenAI 尚未发布公告所预告的完整预印本，也没有公开 GPT-Red 的模型规模、训练数据、完整环境集合或足以复算全部指标的细节。GPT-5.6 在公开系统卡的若干提示注入评测中表现较强，但新的攻击分布仍可能改变结论。

GPT-Red 被保留为内部模型，外部研究者目前无法直接测试其泛化能力。后续预印本、公开基准和第三方红队结果将决定这种自博弈安全训练能否稳定迁移到不同模型与 Agent Runtime。