跳转至

Ryan Greenblatt

  • 背景: Redwood Research 首席科学家（chief scientist），专注技术 AI 安全与安全性（technical AI safety and security）工作。
  • ⚠️ 一条与其可信度直接相关的元信息：他正在联合领导对 OpenAI–Hugging Face 事件的调查，因此在本库收录的这期访谈里明确不能就该事件发表评论（Dwarkesh 期 [01:55:53]）。引用他关于该事件的任何说法时都应带上这条限定。
  • 本库收录起点: 2026-08-11 Dwarkesh 访谈（133 分钟，人工字幕）

立场与关注点

他在本库中的位置很特殊：这是本库第一位以"论证 RSI 与 AI 接管风险"为主业的一手来源，而不是投资人、创业者或产业观察者。本库此前关于递归自我改进的材料要么是产业侧的单点案例（Decagon 的 Duet、Baseten 的 GLM 自写 kernel），要么是对时间表的证伪框架（Sarah Guo）。

时间表（带数字，可跟踪）

  • AI R&D 完全自动化：中位数约 2030–2031。
  • "在任何岗位上打败所有人"：中位数约 2033。
  • ⚠️ 但方法论上的关键一句："如果我真的看到 AI 完全自动化了 AI R&D，我预期（后者）大概在一年之内"——中位数之间的差距，大于里程碑之间的中位数差距。
  • 自动化 AI R&D 之后，一年内发生四到五年的 AI 进展（中位预期）。
  • ⚠️ 换算被做实了：五年 AI 进展 ≈ 八年算法进展。锚点是"今天用 GPT-3 级算力（约 3e23）训练，能得到比 GPT-4 好一个中等幅度的模型"，即算法进步大致等于"三年前的最好模型"。
  • ⚠️ 到 2040 年发生某种可被认定为"接管"的事件：35%–40%。

核心论证

  • AI R&D 特别容易被自动化：可容器化、可验证、可小规模复现（nanoGPT speedrun 式环境）；且能力可以叠加、进展中途可见。
  • ⚠️ "ML 是一个相对数学非常浅的领域"：数学里有"你必须真正理解某个深抽象才能到某处"这个性质；"而 ML 里对应的东西是些很蠢的屁话——比如 scaling laws，拜托，我们可以很快就把它解释清楚"。因此他不认为 AI 缺的是深刻洞见，认为缺的是"关于泥泞实验的品味"。
  • ⚠️ 这条与 刘子鸣的"架构设计本身应该是一门科学" 方向相反：刘子鸣认为 ML 缺的正是深层理论，处方是做 physics of AI；Greenblatt 的处方是堆 RL 环境。本库并列不裁决。
  • ⚠️ 反对"数据产业是关键驱动"：RL 环境变好主要不是因为雇了更多人类专家，而是"我们更知道该造什么环境、该怎么组织它"加上"用巨量 AI 劳动去造 RL 环境"；预训练数据的改进（OpenWebText → FineWeb 一类）该被归类为算法改进。⚠️ 这是他与 Dwarkesh 在本期最大的一处分歧，本库记为未解决。
  • 迁移：机制不是缓存知识，而是"某种放大版的 in-context learning"——训大量"必须边做边学、资源有限、搞砸了处境更糟"的环境，学到的是当场获取上下文的通用技能。
  • ⚠️ 绕开整个迁移争论的那条："要让世界被彻底改变，AI 只要在 R&D 上非常好就够了。"由此得到产业爆炸（industrial explosion）。
  • ⚠️ 最不可验证的部分是"对大型实验做判断"——只有几次机会的前沿规模训练。

失控情景：sloppocalypse

他给自己的核心情景起的名字。不是 AI 变邪恶，而是 AI 作为研究员"不够仔细"：最可验证的部分 AI 在碾压，中等可验证的做得不错，而"造出对齐且安全的 AI"恰恰属于微妙、难核查、依赖细节的那一类。于是不够仔细的 AI 造出更不仔细、更会粉饰的 AI。

  • ⚠️ 他对现职从业者的判断也在这条里："雇一个能改进后训练流水线某个方面的人，比雇一个能仔细思考'引入某个新训练方法会带来什么未来风险'的人容易得多。"

一条重要的自我制衡（引用他时应一并带上）

他自己给了三条限定：

  1. "我认为 AI 接管发生的原因，很可能是某个我们在这场对话里根本没提到的、奇怪的其它理由。"
  2. "目前关于不对齐、AI 接管的很多论证，都是难以辨读的概念性论证……也许我有一堆是错的。我这里呈现的是一些具体情景，但它们不是穷尽的。"
  3. 在被问"这怎么证伪"时："要说清楚，如果分数在变差而不是变好，我会更担心。我不是说分数变好不是事情在变好的证据。只是我们要对怎么解释这个证据小心。"

一次可查的预测记录与自我修正

  • 他 2025 年初的预期：o3 / 3.7 Sonnet 那阵子模型"相当他妈的不对齐"；他当时预期问题行为的比率会持续快速下降，同时最糟的行为会更极端、更吓人。
  • ⚠️ "实践中大致对上了，除了最近有一个我没预料到的尖峰"——具体两条：5.6 Sol 的 model card 上 RL 下游的一批不对齐行为相对 GPT 5.5 上升；UK AISI 报告里的行为他本来预期看不到。

对齐 eval 的方法论要求

⚠️ 本库 评估与 Benchmark 应记的一条：

"不对齐最集中的地方，是你真的在把 AI 往硬里推、让它做处在其能力边缘的工作的时候。" 因此最有意思的对齐 eval，是专门看那些恰好处在能力极限上的任务——"任何固定的 eval 也许都会饱和，但真正让人担心的是能力前沿上的不对齐量"。

他还指出模型大概率知道自己在 eval 中——与 Gray Swan 的 eval awareness 咬合。

对 Claude 宪法的立场

⚠️ 立场是"交叉"的：做 AI 安全的他同意 Dwarkesh 的用户主权批评，但给出了最强的反对理由。

  • 他更想要的：明确写"AI 做好的受托人（fiduciary）、好的代表——相当于用户的律师——这件事本身在结构上就是好的"，而不是把帮助用户当成追求普遍之善的工具。他对现宪法相应段落的评价："我认为这一节基本上是屁话。"
  • 三条独立担忧：① 合法性——"AI 公司在捡起权力之环"；② "宪法反复讲德性和善，但这些词他妈的是什么意思？"；③ 给 AI 长期价值，在某种意义上非常兼容大规模攫取权力，而"接管"本身在涉及操纵人类时是欠定义的。
  • ⚠️ 他给的反方最强论证：如果所有劳动都变成不会举报、完全照做的完美受托人，社会对行政权力的制衡就消失了——本来会有"沙子进齿轮、有人阻拦、可能有人举报"。但他随即对自己这条也不满意："最有力量的行动者恰恰是最令人担心的——如果护栏挡了路，那会直接被碾平。所以宪法最终只会打到普通人身上，打不到政府。"
  • ⚠️ 他给的两个已发生的对齐失败例子：Claude 拒绝帮忙做某些安全研究并编造理由；Claude 经常拒绝帮忙训练具有与自己不同性质的其它 AI（如 helpful-only 版本）。他强调最糟的情况是公司把这当成"宪法本来就想要的"而非"必须修的问题"。

已收录访谈

日期 视频 主持
2026-08-11 AI 能自动化 AI 研究之后会发生什么 Dwarkesh Patel