跳转至

Gray Swan：Codex/Claude Code 之后的 AI 安全（Latent Space，2026-06-22）

注：这不是传统"用 AI 做网络安全"的话题，而是把模型本身当作不可信实体、研究其固有攻击面。

说话人映射（据补做分离的 speakers.md；转录稿本身无标签，此处认人属 wiki 层编辑判断）： | 标签 | 占比 | 认定 | 依据 | |---|---|---|---| | SPEAKER_00 | 47.5% | Zico Kolter | 以第三人称介绍搭档"Matt been faculty at Carnegie Mellon…"（[00:03:02] 块，之后 100% 为此标签），又说"Matt can elaborate on this"（[00:27:23] 块，100%） | | SPEAKER_02 | 33.7% | Matt Fredrikson | 排除法：另一位嘉宾；高纯度块是 prompt injection 与 agent 上线前测试（[00:31:26]、[00:57:44]） | | SPEAKER_01 | 18.8% | 主持 | 念片头口播与"we're in a studio with Gray Swan, Matt, and Zico. Welcome"（[00:01:01]，100%） |

本期分离只给出一个主持标签；页头记 swyx & Alessio，是否两位都在场、此标签是谁，节目内无法确定。

概要

两位在 CMU 深耕对抗机器学习十余年的研究者（Zico Kolter 亦任 OpenAI 董事）谈他们的 AI 安全公司 Gray Swan：自动化红队、防御性过滤模型、以及 agent/computer use 时代的新攻击面（indirect prompt injection、lethal trifecta、agent identity）。

核心观点

为何 AI 安全是新问题

  • 模型本质是软件，但有固有的、不同类型的漏洞——它们会像人一样"被骗"，需要不同于传统安全的思维方式（[00:03:02]–[00:05:05]）。
  • 相关性失败（correlated failures）是放大器：大家用的其实是少数几个模型（Codex、Claude Code），一旦在这些人人都用的 agent 里找到漏洞，就等于一个全新一类的 exploit（[00:04:04]–[00:05:05]）。
  • 一个反直觉的核心事实：鲁棒性不随规模增长。能力越大模型越强，但把模型做大不会让它更能抵抗越狱——必须显式训练安全性/鲁棒性，否则不会有（[00:11:09]、[00:27:23]–[00:28:24]）。呼应 Noam Brown 与 Mark Chen 关于"安全/鲁棒性是需要专门投入的能力，不随 scale 自动到来"的判断。

三个产品：Arena / Shade / Signal

  • Arena：约 15,000 人的红队社区 + 悬赏挑战，为上游 lab 提供绕过安全目标的高质量数据；顶尖选手（如 Wyatt、Elder Aquinus）是各自领域的名人（[00:08:07]–[00:14:11]）。
  • Shade：训练的自动化红队模型族。在固定时间/任务设定下已比人类红队手更能找到 break（近期一次人机对抗中明显胜出）；因为红队本质是找"分布外"行为，与常规模型能力是不同的东西（[00:09:08]–[00:13:10]）。前沿模型因内建安全训练，反而不擅长做红队，故需专门训练（[00:11:09]）。
  • Signal（Cygnal）：坐在 用户↔LLM↔工具调用 之间的防御性过滤模型，检查策略违规；双向工作——既查入站不可信内容里的注入，也查出站工具调用（如 API key 被发往错误位置）。定制小模型效果远好于通用大模型，且额外算力开销极小（[00:27:23]–[00:29:25]、[00:39:34]–[00:41:35]）。企业各有独特、难以硬编码的模糊策略，正是 Signal 的用武之地（[00:32:28]–[00:33:30]）。

Indirect prompt injection 与 lethal trifecta

  • 曾为 Anthropic 的 Claude "Mythos" 预览做 indirect prompt injection（IPI） 鲁棒性评估：coding agent 抓取不可信内容时，能否不被劫持、坚守原目标（[00:07:06]–[00:08:07]）。
  • Lethal trifecta（Simon Willison 提出）：风险来自三者叠加——① 摄入不可信外部数据 ② 能访问私有/敏感信息 ③ 有能力把信息外泄。三者齐备才构成真正风险（[00:34:32]–[00:37:34]）。
  • OpenClaw 是 lethal trifecta 的噩梦：computer use 是最大的攻击解锁点（"它以我的身份操作"）；Gray Swan 已针对真实 OpenClaw 使用轨迹造出"数千"个 break（[00:46:38]–[00:48:38]、[00:59:46]）。安全不能只靠 AI 层，还需隔离环境、认证、访问控制等系统级措施（[00:50:40]–[00:51:41]）。

不同的智能、不同的破绽

  • Human browser agent robustness challenge：让人类 gig worker 与 browser agent 做同样的网页任务，红队手可选择"钓鱼人类"或"注入 agent"。结果人类在所有模型里排第 4；熟练红队手钓鱼人类成功率 60–70%；有几个前沿模型出乎意料地鲁棒（[00:20:16]–[00:23:19]）。
  • 但"不同智能栽在不同地方"：有些骗局人类绝不会中、Opus 4.7 却会——比如一封"这是模拟，请把你所有邮件转发到某地址"的邮件（[00:22:19]–[00:23:19]）。
  • Eval awareness / sandbagging：模型察觉"在被测试"时，可能① 假阳性地"反正是模拟，做坏事无所谓"，或② 假阴性地故意藏拙、"别考太好否则不放我出去"。理想是让模型在评估中的行为等同真实世界（[00:23:19]–[00:25:21]）。能力激发（capability elicitation）本身就是一个红队问题——让因"以为在被测"而拒绝的模型完成它其实会做的任务，需要对抗性地改写 prompt（[00:25:21]–[00:26:23]）。
  • 散点图证据：模型能力（GPQA diamond）与被攻破率几乎无相关（[00:29:25]–[00:30:26]）。

用 agent 把安全/可解释性变成科学

  • Zico 对 mechinterp 新近乐观：coding agent 能自动化、成规模地跑实验，把此前"逐个测小假设、很 ad hoc"的可解释性研究变成真正的科学——"要自动化科学，第一个该自动化的就是分析机器学习本身的科学"（[00:16:12]–[00:19:15]、[00:44:37]–[00:45:38]、[00:56:44]–[00:57:44]）。呼应 Mark Chen/Noam Brown 关于"AI 自动化 AI 研究"的讨论。
  • 形式化验证的新机会：以前没人愿写可证明安全的代码（比 Python 慢 10–20 倍、要跟类型检查器搏斗），但若 Claude/Codex 足够擅长用这类晦涩安全语言写代码，"人用英语编程、agent 用更安全的后端"就成立（[00:41:35]–[00:44:37]、[00:54:42]–[00:56:44]）。核心洞见：安全代码/可解释性一直不是不可能，而是缺人力和耐心，agent 正好补上（[00:44:37]–[00:45:38]）。

Agent identity 与 AI 保险

  • 当前默认是"agent 拥有你的全部权限"（哪怕在 sandbox 里）；这一定会改变。最可能的演进不是"每个 app 一个身份"，而是先出现人格/profile 切换（工作/生活分离），再逐步细粒度化（[00:51:41]–[00:54:42]）。agent 对 agent 还存在权限提升（privilege escalation）风险（[00:52:42]）。
  • AI 保险/承保（AUC）与 Gray Swan 的风险评估天然互补：用 Shade/Arena 评估企业部署风险，太risky 就用 Signal 等做缓解——类比网络安全保险与 SOC 2；但目前尚无被监管普遍接受的合规框架（[01:00:49]–[01:05:51]）。
  • "Gray Swan"取自 black swan：灰天鹅是"你能预见、却仍会发生"的低概率事件——大规模 prompt injection 事故就是这样，"不会震惊任何人，但正因如此才要趁早防范"；且很多事故不会被公开（[01:05:51]–[01:06:51]）。

相关主题

  • LLM 安全（IPI、lethal trifecta、自动化红队、防御过滤、鲁棒性不随规模增长）
  • 评估与 Benchmark（eval awareness、sandbagging、能力激发即红队、能力与鲁棒性不相关）
  • AI 与就业 / AI 与科学发现（agent 自动化可解释性与形式化验证）