跳转至

John Schulman

来源：Dwarkesh 2026-09-11

  • 背景：Thinking Machines 首席科学家；OpenAI 联合创始人，主导了导向 ChatGPT 的 RLHF 工作（PPO 作者）。本库首次收录他的一手材料。
  • 在本库中的位置：他是唯一一位既经历过"2012 年前后的直觉"又在今天做前沿后训练的受访者，所以他的发言里有一类别处没有的东西——对自己当年判断的复盘。

立场与核心观点

  • ⚠️ "对齐是最后一份工作。"（[00:15:30]–[00:16:33]）人类留到最后的角色是定义目标、决定我们到底想要什么：RLHF 里"什么算有帮助"，以及后来的 constitution 与 model spec。他把对齐拆成两半——指定目标 与 优化已定义的目标，并认为前者短期内不会消失。他给的组织层面证据：post-training 团队需要很多人，不是因为技术难，而是因为"模型在这个领域该怎么表现"必须有人去想。
  • ⚠️ 他的自我打脸，是本库关于"泛化不可预测"的最佳一手材料（[00:08:12]–[00:10:24]）：他在 OpenAI 早期的直觉是只最小化 log loss 到不了智能（重要的 bits 占 loss 比例太小、会被噪声压掉），甚至有一整套论证（"人类显然没在建模环境里的一切，多数人画不出照片级复现，所以必须有更好的目标函数"）——"但后来它就是硬跑通了。" 由此得出的方法论："最重要的进步，往往是我们没有任何先验理由去期待的那种泛化"，包括从可验证任务到不可验证任务。
  • ⚠️ 环境的两个正交轴：难度 与 真实性（[00:24:58]–[00:27:03]）。造"难"环境容易（= benchmaxxing 分布，一堆好验证的硬谜题），造"真"环境难（多轮来回、多目标、需要 rubric 或人类反馈）。 推论：naive 蒸馏只会在 benchmaxxing 分布上追平老师；大模型更能从窄而难的任务泛化到真实任务。
  • 蒸馏是对抗集中化的主要力量（[00:18:43]–[00:19:47]）：凡能靠 RL 学到的基本都容易被蒸馏走，因为那只是很少的 bits；⚠️ "持续学习并不能阻止蒸馏"——你每天变好，别人可以每天蒸。真正难的是 prompt 分布："即使有完全访问权和思维链，蒸馏也远非平凡。"
  • ⚠️ 他对"单一栽培"的担忧（[01:26:58]）：因为太多人在蒸馏（而且多数从 Claude 蒸），所有开源权重模型的写法都像 Claude、带同样的 tics——"这让我挺担心的。" 他同时把"创造力"切成两块：解难搜索问题（move 37、满足大量约束的诗）AI 只要训了就会极强；但 RL 之后输出多样性显著变低、养出 tics，"你拿到的是一种非常好的风格"，而不是人类作者那种多样性。
  • 对 RSI 的态度是"分域"而非"分快慢"：他认为实验室的实际做法不会是回退谱系自博弈，而是"从人类反馈吸收研究者的 taste + 造多步研究项目的练习环境"，每轮补上最坏的那块（[00:28:11]–[00:29:14]）；而 sim-to-real 有很多弱点，"很多事情根本难以模拟，尤其需要与一群人实时互动的"（[00:38:40]）。
  • 时间线（[01:28:59]、[01:31:04]）：drop-in 远程工作者一年内会有"某个凑合的版本"；他提醒人类远程工作者本身质量方差极大，Upwork 上找来的软件外包往往还不如现在的 AI。ASI 他给的是较长的一档，理由是得在数据天然稀少的领域现学（"要成为超人级的 TSMC 工程师"）。
  • 稀疏性我们理解得不好（[01:12:34]）：参数与活跃参数是两种不同的资源；稀疏度确实升了但没理由认为会无上界地升；scaling law 的理论还不足以解释稀疏为什么有用。

与他人观点的呼应/分歧

  • 与 Beren Millidge、Charlie O'Neill 同场：三人在"RSI 会不会发生"上并不对立，分歧集中在"bits 从哪里来"。他与 Charlie 在"信号不在原始数据里"这点上完全一致——⚠️ "Common Crawl 里没有藏着一份千禧难题的证明，等着我们一直滤到看见它。"（[01:05:19]）
  • 与 Noam Brown：两人都反对"隔夜爆炸"，但理由不同——Noam Brown 的瓶颈是串行实验与 GPU，Schulman 的瓶颈是判断、taste、以及模型自己检查不了自己。
  • 与 Richard Socher：相隔三天的两期形成对照。Socher 认为 auto research 已能超过整个社区的人类努力；Schulman 描述的实际研究形态是"先有直觉，再造一个能看出生命迹象的任务"，"内循环是去检验那个直觉，而不是这个测试本身产生洞见"（[00:31:18]–[00:33:27]）。
  • 与 Stefano Ermon：Ermon 说"人的创造力仍然极其重要：想出对的想法、剪掉搜索空间"，与 Schulman 的"taste 与目标指定是最后一份工作"是同一判断的两种说法。