跳转至

三位研究者辩 RSI：距离递归自我改进还有多远（Dwarkesh，2026-09-11）

⚠️ 说话人认定依据（本页最重要的限定）：人工字幕无任何姓名标签，且这是四人圆桌——比本库此前的双人对谈难认得多。本页只在有机械依据时点名： - Dwarkesh（主持）：[00:00:00] 的开场介绍；"Ryan Greenblatt 前不久上过播客"（[00:05:09]）；"我请 Dario 上播客时问他"（[00:35:32]）；点名提问"John, you wrote a research paper…""Beren, you had a post…"（[01:17:43]）。 - John Schulman："我记得 OpenAI 早期，我的直觉是只最小化 log loss 不会得到智能"（[00:08:12]）；"我基本同意 Charlie 和 Beren"（[01:31:04]）。 - Charlie O'Neill：2012 年"我还在上小学"、"John，我想听听你这位老资格的智慧"（[00:07:10]）——四人中最年轻的一位；Composer / Cursor 的实现细节（[00:43:46]–[00:44:47]）。 - Beren Millidge："这正是 Charlie 刚说的"（[00:57:13]）；Dwarkesh 点名他那篇解释 RL 为何有效的博客后接话的一方（[01:18:43]）。

凡无上述依据的发言，本页写成"一位嘉宾"，不猜。 时间线里给出"5–10 年"和"两年"那两位（[01:32:05]），本库未能确认是谁。

✅ 有一处本库可以确认：[01:05:19] 说"我和普林斯顿学生 Jerry Han 做了这个调查"的是 Dwarkesh 本人——依据不在本期转录稿里，而在本库 他自己的人物页：2026-08-11 那期 里他自陈正在与本科生 Jerry Han 做"各代配方 × 各年数据"的分离实验，当时结果尚未产出，本库把它记成一条可跟踪的项目。⚠️ 本期就是那条项目的结果首次公开（见第五节）。

本期与 Noam Brown 那期、Ryan Greenblatt 那期 构成同一主持人在 2026-08 至 09 的 RSI 三连，且互相点名引用。与 Richard Socher 那期（相隔 3 天）是本次摄取里最直接的一组对照：Socher 在卖 RSI 产品，这三位在拆 RSI 的技术前提。

概要

本期是本库第一份"RSI 怀疑派与加速派同桌对峙"的材料。此前 RSI 的讨论要么来自 x-risk 社区（Cotra、Greenblatt），要么来自实验室内部做多智能体的人（Noam Brown）。本期三位都是在训模型的人，而且三人的时间线相差 2–3 倍，分歧点非常具体：不是"会不会发生"，而是"哪一步的 bits 从哪里来"。

Dwarkesh 的开场框定了全场（[00:00:00]）：假设 2036 年世界并没有被几十亿个超级智能改造，排除战争、禁令这类外生政治冲击，最可能的技术原因是什么？

本期最该被单独引用的十条

  1. ⚠️ "对齐是最后一份工作。"（[00:15:30]–[00:16:33]）John Schulman 认为人类留到最后的角色是定义目标、决定我们到底想要什么——RLHF 里"什么算有帮助"、以及后来的 constitution 与 model spec。他还给了一个组织层面的理由：post-training 团队需要很多人，不是因为技术难，而是因为"模型在这个领域该怎么表现"必须有人去想。
  2. ⚠️ "光靠思考拿不到新的 bits。"（[00:11:25]）一位嘉宾把 RSI 的上限归到信息论上：思考只能基于已有的 bits 更新后验。但他紧接着承认，在目标已明确时，光靠思考的加速极大——如果当年有 AI 去审 Kaplan scaling law，会立刻发现"他们用了中间 checkpoint、没处理 annealing，所以这个结论是错的"，人类走的一到两年弯路可以直接省掉（[00:12:28]）。他给的量级是"最大化当前目标"这件事可以有 10 倍加速，但这完全不外推到"先想出正确的目标"。
  3. ⚠️ "很不幸，RSI 恰好比当律师助理更容易。"（[00:48:54]）Charlie O'Neill 提出本期最锋利的一个二分：累积型任务 vs 非稳态任务。RSI 是累积型——发现了 attention、MoE、GRPO 就永久沉淀进训练栈，理论上存在一个不到一百万 token 的 Python 文件从零训出能自我改进的模型；而律所里的法律助理面对的是非稳态分布：公司里谁和谁什么关系、事情怎么做、信息在哪，全都一直在变。他的推论是：如果实验室意识到这一点，算力会更多地压向 RSI 而不是别的任务。
  4. ⚠️ 中国实验室通过"路由/代理服务"拿到了完美的 prompt 分布（[00:20:47]）：这些服务本是为了让中国境内能用美国前沿模型（主要是写代码），而它们在收集并出售这些数据。一位嘉宾指出，这对蒸馏极其有用——因为蒸馏最难的不是拿到权重或思维链，而是"用什么 prompt 去问"。他由此给出一个可检验的预测：前沿实验室在 RL 环境上的优势现在可能已经很小甚至没有。
  5. ⚠️ 一条本库必须标注为"单方断言"的判断（[00:22:51]）：一位嘉宾说 "Sonnet 5 和 Opus 5 几乎客观上不如 GLM-5.3 和 Kimi K3，尽管前者能做蒸馏、甚至能从 Mythos 做 logit 蒸馏"——这是整场对话的起点。⚠️ 本库不采信这个排序本身（无任何评测支撑，且"客观上"三字在原话里就带保留），但记录它，因为后面所有关于"prompt 分布 vs RL 环境谁更重要"的推理都建在它上面。
  6. ⚠️ 环境的两个正交轴：难度 与 真实性（[00:24:58]–[00:27:03]）John Schulman 的解释是：造"难"环境很容易（这就是 benchmaxxing 分布——一堆好验证的硬谜题），造"真"环境很难（多轮来回、多个目标、需要 rubric 或人类反馈）。naive 蒸馏只会在 benchmaxxing 分布上追平老师；大模型更能从窄而难的任务泛化到真实任务。这是他对第 5 条现象给出的替代解释。
  7. ⚠️ Anthropic 的环境谱系被公开复盘为一条"可抄的路线"（[00:35:32]）：先把代码做到极强（互联网上数据最多、最好造环境），再拿 coding 拿到的任务时长去泛化到金融（"就是海量 Excel 数据"），再到 PowerPoint，再往下是工作经济的长尾。Charlie 说连开源实验室现在也认了这是对的押注。
  8. ⚠️ Dwarkesh 当面追问过 Dario 的那个矛盾（[00:35:32]）：如果你真认为模型会像人一样在岗学习，为什么还要把 PowerPoint 这种技能烤进权重？本期给了三个并列解释——(a) 迟早能在岗学，但现在还不能，所以先摊销进训练；(b) 实验室根本不在意广泛部署的工作，只要 RSI，卖模型只是为了拿收入回灌到"真正擅长 RSI 的模型"上；(c) 参数空间和算力都富余，顺手做了还有迁移收益（长任务视野、taste、判断什么重要，这些是可迁移的，而世界上 RSI 数据本来就极少，[00:37:40]）。
  9. ⚠️ "部署数据变成权重"这件事，卡点在激励而不在技术（[00:52:02]–[00:54:06]）：一位嘉宾指出企业不会愿意让模型提供方从自己的部署里学习，因为那等于削掉自己的业务优势。所以经济压力会先把行业推向可插拔模块——LoRA、线性注意力、以及 cartridge（被训得高度压缩的 KV cache）——而不是直接更新一个共享大模型的权重。⚠️ Dwarkesh 的反驳也记在这里：就算只有 cartridge，你照样可以把所有 trace 倒进下一代的预训练。
  10. ⚠️ 时间线（[01:28:59]–[01:36:16]，三人分歧最大的地方）：
    • "可当远程白领雇的 drop-in worker"（含电脑操作、一个月无缝运行）：Charlie 给约 1 年（若不强制走浏览器）/ 几年（若强制浏览器）；Beren 给3 年达到完全通用，但在那之前组织会主动改造自己来适配 AI，先到 80–90%；John 说一年内会有"某个凑合的版本"，并提醒人类远程工作者本身质量方差极大，Upwork 上找来的软件外包往往还不如现在的 AI。
    • AI 研究者获得 10 倍生产力提升：一位给 5–10 年，另一位给 2 年，Beren 认同 2 年（理由：写代码已经远超 10 倍，只要能连着跑一两轮实验反馈就是巨量提升）。⚠️ Dwarkesh 当场指出这意味着两年后 AI 进展速度被彻底改写。
    • ASI（在所有能在电脑上做的认知工作上压倒顶尖人类专家，含三年量级的长任务）：一位给 3–4 年（Dwarkesh 的反应是 "The fuck?"），另一位给 5–10 年，理由是得在数据天然稀少的领域现学——"要成为超人级的 TSMC 工程师"，而这要求解决长视野学习。有人明确答"自动化 AI 研究基本上是 ASI-complete 的"。

一、2036 年一切正常的话，技术原因会是什么

三种"不发生"的机制

  • Moravec 悖论的延伸版（[00:01:00]）：一位嘉宾描述的默认情形是——AI 在任何能塞进 benchmark 或环境里的事情上强到离谱，但始终存在一条 sim-to-real 的鸿沟，泛化的"火花"一直没有出现。⚠️ 他自己认为这不太可能，理由是"我们在 RL 上已经实际看到了这种泛化"。
  • "新模型出来惊为天人，用一个月就开始觉得它蠢"这个循环再重复很多次（[00:01:00]–[00:02:00]）：John Schulman 的版本是——瓶颈落在模型更弱、判断更差、自己检查不了自己的那些地方；即使模型能写比人多得多的代码，也不会让你快 100 倍。"这个循环还要重复几次，很难预测。"
  • "芯片上能有的那个学习器"距离全局最优有多远（[00:02:00]–[00:04:06]）：这是本期最反复出现的提法。类比是摩尔定律——那条漂亮直线背后其实是一连串离散的不连续创新；LLM 同理：预训练 scaling law 撞到收益递减 → RL 补上 → 又得到一条新的递减曲线。⚠️ 关键担忧：如果还需要一次这样的不连续跃变，当前用 RL 环境训 LLM 的方法（哪怕是专门冲 RSI 的环境）不一定能发现它；问题在于要不要退回去把梯度下降和神经网络整个扔掉——如果答案是要，那么再多 LLM 并行也跑不出来。
  • ⚠️ "最可能的原因其实不是技术，是严厉的 AI 监管。"（[00:06:10]）一位嘉宾在被问技术原因时，明确给了这个答案。

反方：国际象棋 Elo 的不连续

  • 一个反向直觉泵（[00:06:10]）：从 1980 年代起，象棋引擎的 Elo 随时间近乎线性上升，但在穿过人类区间时出现了巨大的不连续——从"人类专家总是赢"到"人类专家从不赢"。推论：迄今 AI 的经济影响不大，只是因为它还在人类区间下方缓慢爬 Elo；而"我们已经很接近开始穿越人类 Elo 了"，所以"必须在穿越之前就渐近饱和"，才会有 2036 一切正常的世界。
  • Dwarkesh 的补充（[00:05:09]）：随着 AI 变强，它可以在激励"不只更擅长 AI 研发、而是更擅长科学本身"的模拟环境上取得进展——这是 Ryan Greenblatt 在本频道提过的路径，所有实验室和很多创业公司都在冲。
  • 一位嘉宾对此的切分（[00:07:10]）：要区分 autoresearch 式研究（目标已经干净地指定好，你只是在优化它）和 需要范式转移的开放式科学（目标没法指定，而 AI 同样指定不了）。⚠️ "我们必须非常非常小心地为这些东西指定目标。"

泛化是全场的暗线

  • John Schulman 的自我打脸（[00:08:12]–[00:09:18]）：他在 OpenAI 早期的直觉是只最小化 log loss 到不了智能——因为重要的 bits 在 loss 里占比太小、会被噪声压掉，所以"我们需要设计更好的目标函数"。他还举了当时可用的论证（"人类显然没有在建模环境里的一切，多数人画不出照片级的场景复现，所以必须有更好的目标"）。⚠️ "但后来它就是硬跑通了。"
  • 他由此给出一条方法论（[00:10:24]）：这个领域极度依赖泛化，而泛化什么时候出现很难预测。"训了你在意的任务就会变好"是确定的；但最重要的进步，往往是我们没有任何先验理由去期待的那种泛化——从朴素 next-token 预测到需要深层理解的任务，以及从可验证任务到不可验证任务**。

二、为什么模型供应商没有塌缩成一家

蒸馏是对抗集中化的主要力量

  • 机制（[00:18:43]）：John Schulman 的说法是 "凡是能靠 RL 学到的，基本都能很容易蒸馏走，因为那只是很少的 bits"——用少量数据就能学到；只要能拿到展示该行为的轨迹，就能蒸。
  • ⚠️ "持续学习并不能阻止蒸馏。"（[00:19:47]）即使你的模型每天都在变好，别人也可以每天蒸一次，两个循环同速运转。
  • 真正难的部分是 prompt 分布（[00:19:47]–[00:20:47]）：即使你有模型的完全访问权、拿得到思维链，蒸馏也远非平凡——因为你得用足够宽的、真实的 prompt 去问它。这正是第 4 条里"路由服务数据"的价值所在。
  • 另一条更朴素的理由（[00:27:03]）：前沿实验室的数据是从大数据公司买的，中国实验室可以买同一批数据——"很多人对此很不满，但如果数据一样、又能蒸馏，那追上来其实挺容易"。

蒸馏者反而比前沿实验室轻松

  • ⚠️ 一个漂亮的不对称（[00:22:51]）：想要"一个好政客"的能力，蒸馏者只要去问前沿模型、让它生成那些轨迹；而要造出第一个会这个的模型，你得真的去搞到政客每天在干什么的数据。"说'我要一个像这样的东西'然后让 AI 生成十亿个变体，比一开始造出这个东西容易得多。"
  • 而这个循环推到极限就是 RSI（[00:21:49]）：AI 决定数据、AI 决定训练，这就是那个闭环——区别只在于还需要多少人类信息。

另一种可能：公司专属模型

  • John Schulman 还提到从部署中学习、让公司持续改进自己那一份模型的形态（[00:18:43]）；这既可能由当前的模型供应商寡头提供，也可能由某个现在还小的公司提供，"这会让局面变一变"。

三、第一批能自动化 AI 研发的模型会怎么被训出来

不是"回退到起点自博弈"，而是"贴着前沿 diff bug"

  • 玩具版设想（[00:28:11]）：用 GPT-8 去造一堆 GPT-3 规模的模型，让它们在内循环挑战上变强——通关需要持续学习的电子游戏、或用最少算力达到某个 loss。
  • John Schulman 认为实践中不会这样（[00:28:11]–[00:29:14]）：更可能是 "从人类反馈里吸收研究者的 taste" + "造大量多步研究项目的练习环境" 两者的组合，然后每一轮去补上一轮看起来最坏的那块。研究者大量用 AI，会注意到它稳定的弱点，这些弱点要么靠收人类反馈补、要么靠造环境补。
  • ⚠️ 一个很具体的机制描述（[00:29:14]–[00:30:16]）："要回退多少代谱系，然后从那里开始自博弈？"当前做法是走到谱系的最边缘——"Anthropic 最近几个月在训练栈里发现的 bug，我们把它们变成环境"。理论上你可以退回到 GRPO 之前，让环境去逼它重新发现该怎么 RL，再往前退更多；但算力瓶颈会让人们就留在前沿，把上一版之后发现的 bug 和改进 diff 成训练环境。Charlie 补了一句：这顺带解决了代际之间数据不新鲜的问题。
  • ⚠️ "这也是我们中有些人觉得它是渐近的原因。"（[00:30:16]）Beren 的反问是：这本质上是在蒸馏——你永远只是在追最近三个月的进展，而那三个月的进展里仍有人类在环。"感觉你只是在不断逼近人类研究者正在发现和能做的东西。"
  • 反驳（[00:30:16]–[00:31:18]）：蒸馏轨迹确实永远超不过老师，但环境可以远超人类——"设计一个没有人类能解的环境非常容易，AI 照样可以去试"。给的例子是 nanochat speedrun，但要比人类 speedrunner 更快；或"loss 必须降到 1.3，现在没有人类做得到"；或"造一个一亿参数模型去通关某个比 Minecraft 复杂得多的游戏"。（顺带一条时代注脚：[00:31:18] 在场几人把"一亿参数模型通关 Minecraft"当作太简单的例子，随即互相感慨"五年前你说这话会怎样"。）
  • 但多数研究不长这样（[00:31:18]–[00:33:27]）：John Schulman 描述的实际形态是——先有一个关于模型该怎么更好的直觉，再有一个大致朝那个方向的算法想法，然后造一个"能看出生命迹象"的任务；看到迹象，再逐步造更真实的版本。"内循环是去检验那个直觉，而不是这个测试本身产生洞见。" 他把这叫"在真实性这个轴上先放松一点，等方法成熟了再往回收"。此外还有以解释现象和建立理论为目标的研究——"机器学习里我们很少有真正有预测力的数学理论，但有很多非形式化的理论"。

实验室现在的押注是什么，以及够不够

  • Dwarkesh 的总结式提问（[00:33:27]–[00:34:31]）：押注是在数百个领域、数百万个多样环境上 scale RLVR，产出一个学会了"持久性、信息与上下文分流、端到端与其他 agent 协作"这些基础技能的 agent；它在上下文内极度 sample-efficient，最终表现为一个能干一周到一个月活的 drop-in 远程工作者。他的追问是：这等于"在数据中心的模拟器里学会怎么学习"，然后被部署到真实世界却并不从真实部署中学习——够吗？
  • 一位嘉宾的回答（[00:34:31]）：⚠️ 现在已经很难把实验室的努力切分成"直接冲 RSI"和"造通用智能去收入变现以支撑下一次大训练"两块了；就后者而言，这确实就是它们的押注。
  • sim-to-real 的边界（[00:38:40]–[00:39:42]）：John Schulman 明确说这个范式有很多弱点，因为很多事情根本难以模拟，尤其是需要与一群人实时互动的。Beren 的补充给了条件：只要 sample efficiency 还低，sim-to-real 就必须是主导范式——"需要成千上万次与人的交互，没有人类会坐在 RL 训练的循环里"；一旦 sample efficiency 大幅改善，从部署中学习就会成为大头。还有一条中间路线：off-policy 学习——拿所有 trace，不重新模拟也可能学到东西。
  • ⚠️ Dwarkesh 指出的那个反常（[00:40:44]–[00:41:45]）：约 50% 的算力花在推理上，而这部分完全没有在让模型变好。而数字心智本该有的优势恰恰是——不像人只有 50 年真实经验，模型可以通过所有实例积累数百万年的、横跨整个经济的部署经验。"一旦它们能从这些数据里学习，你会得到一种近乎'广泛部署式的智能爆炸'。"

四、从部署中学习：已经在发生的粗粒度版本

  • 三人都同意粗粒度版本已经在发生（[00:41:45]–[00:42:45]）：把部署数据（经过过滤、判分、标注或合成）放进下一代模型的预训练或 mid-training。⚠️ Beren 的直白版本："我不知道那些实验室做不做，因为它们声称不拿用户数据训练。但中国那边 100% 在做。" 他把这归为"这基本上就是蒸馏"——ping 模型拿到一部分部署数据，训下一代；在自己模型上当然也能这么干。
  • 持续学习的"圣杯"与现实的差距（[00:42:45]）：John Schulman 说大家想象的是一个模型在获得经验的当场就活体更新，而"放大到那个粒度，很多东西就崩了"。
  • ⚠️ 本库此前没有的一组实例（[00:42:45]–[00:44:47]）：
  • Cursor 的 Composer：老的是 Tab 模型——用户按不按 Tab 构成信号；但他们后来对真正的生成模型也做了同一件事。做法是在线 REINFORCE；难点是在线 RL 没有 group，一个用户一句话只有一次 rollout，方差极大。Cursor 的模糊解法是"我们有很好的启发式能估计这次回答比平均好多少/差多少"，然后做一次大的 REINFORCE 更新；能否变差的判据是 CursorBench——过了就每五小时部署一版新模型，没过就扔掉这一版。
  • Harvey 在法律 agent 上做同一件事。
  • 模式：拿开源底座（例如给 Kimi K3 做一次大 post-train）→ 部署 → 从自己特定部署里抽环境和用户抱怨 → 再训。⚠️ "这些公司在用好这批数据上，比大实验室有优势。" 但人还在环里——是人在说"我们在意哪些信号、怎么从数据造环境"。
  • John Schulman 指出的风险（[00:44:47]）：最大的问题是不知道自然数据的奖励函数该是什么；用"用户接受了这次编辑"这类表层信号，很可能被以某种方式 reward hack。
  • 经济压力先走向模块化（[00:52:02]–[00:54:06]）：见第 9 条。Beren 的收尾预测是一条逐步加速的路径：cartridge 让你在部署里专门化 → 产生 trace → 灌进模型 → 三个月后出一版更强的 → 再专门化再合并 → 这个跳跃越来越快，从三个月一版到一周、一天、一小时，"到那个时候我们基本就解决了"。

微观层面的技术障碍：灾难性遗忘与可塑性

  • ⚠️ Charlie 给了一组很具体的失败现象（[00:55:07]–[00:56:09]）：在足够大的规模、足够大的 batch、噪声被洗掉时，"把数据灌进 mid-training + 自己造环境"这个外循环确实能在某种持续学习的意义上工作；但放大到微观——一个模型为一家律所反复做小数据量的更新——所有方法都开始崩：
  • 只在成功轨迹上 SFT（on-policy 或 off-policy 都一样），做到几百次微更新时出现灾难性遗忘：更早学在底座上的信息被忘掉，通用能力退化。
  • on-policy 蒸馏能把这个视野往外推一点，但最终仍然屈服于同一件事。
  • ⚠️ "RL 擅长把能力弄进去，不太擅长把知识弄进去"——"这个人在这家律所负责这件事"这种非常具体的显式知识，得倒进大量算力去造对的环境才进得去。
  • 是容量问题还是技术问题（[00:56:09]–[00:57:13]）：Charlie 答"两者都有一点"，并给出一个漂亮的解释——SFT 乃至 on-policy 蒸馏可能太具破坏性；RL 之所以好，正因为它对模型改动极小，只是在很小的 loss 谷里轻推；但这同样限制了 RL 能改多少东西。
  • ⚠️ 结论是"不是容量不够，是技术不行"（[00:57:13]）：把同样多的数据放进 mid-training、拿同样大小的模型从头预训练，结果会更好——"我认为这就是今天正在发生的事"。Beren 归因为可塑性（plasticity）与灾难性遗忘的组合：朴素地在非稳态数据上训练会打乱数据分布，旧的东西就被忘了，而我们没有好方法阻止。
  • 于是极限情形是"被从头重训这件事卡住"（[00:57:13]–[00:59:16]）：很贵，但反正你本来就要重训。⚠️ Beren 留了个悬念：也许有了持续学习就永远不再训新模型，一个模型一直学一直扩——"但可能有某个很深的技术原因让这非常困难，这才是问题所在"。John Schulman 的中间态描述是：今天已经可以在预训练底座上做很好的、近乎连续的 mid-training，再从较晚的 checkpoint 做 RL——"这看起来更像持续学习了，但绝不是'拿最新模型做几个很小的更新、迭代中永不丢失任何东西'"；如果只是一直 mid-train 同一个底座，它在某个点会渐近饱和，学不进新东西——这正是人们最终去训新底座的原因（[00:59:16]）。

五、数据、架构、参数：几个可查的数字

数据 vs 架构的算力效率贡献

  • ✅ 一个网格实验，而且这是本库跟踪过的一条项目的结果（[01:05:19]–[01:06:24]）：Dwarkesh 本人与普林斯顿学生 Jerry Han 把 2019 年至今的所有训练配方 × 2019 年至今的所有数据集两两配对跑了一遍（GPT-2 配最新的 Ultra-FineWeb；最新开源配方 Delphi 配 Pile 这类老数据集），看达到同一能力水平各需多少算力：
  • 数据带来约 12.0 倍算力效率增益
  • 架构改进带来约 3.7 倍
  • ⚠️ 但这是在极小规模上测的，本人明确提醒了这一点。
  • ⚠️ 这条结果对本库有一个直接后果：他在 Ryan Greenblatt 那期 提出的立场是"数据产业才是关键驱动"，并把这条实验作为待验证的依据；现在小规模结果确实站在他那一侧（数据 12.0x vs 架构 3.7x），但 Beren 在本期立刻给出了"架构解锁新区间、因此不能做乘法比较"的反驳（见下），而且他自己承认少掉的约 100 倍很可能来自尺度依赖与 post-training。本库把这条记为"证据部分支持、争议未结"。
  • 与 Epoch 的估计对不上（[01:07:26]）：Epoch 一类估计是2019 年以来每年 3 倍，七年下来该有 3⁷ ≈ 2000 倍以上；而上面网格只累出 33 倍。"那少掉的 100 倍从哪来？" 场上给的解释：很大一部分算力效率增益是尺度依赖的，而实验起点规模极小；剩下的差额大致能指示 post-training 贡献了多少。
  • ⚠️ Beren 对"乘法式增益"这个框架本身的反驳（[01:08:27]）：架构更像一次性的事——它的作用是让你进入一个旧架构根本到不了的新状态区间，而在那个区间里当然是数据在起主要作用。他的例子很硬：如果连 GQA 都没有、一直做全注意力，一百万上下文会贵到不可能；于是你根本用不上真正处于百万上下文的那批数据，也就拿不到那些能力。"在 2K 上下文上做'架构值多少'的朴素测量，架构什么都没解锁，数据看起来就会比它实际上更重要。"
  • 数据的尺度依赖方向（[01:09:27]）：Beren 认为现在的 mid-training / post-training 数据是随规模变得更好——长视野环境那类东西本来就需要大模型才用得上；"拿 SWE-bench 的轨迹去训一亿参数模型，哪都到不了。" 他还指出 Kimi 与 DeepSeek 的架构改动（如某种压缩注意力）并不是冲预训练 loss 的基础权衡，而是冲"模型将来会怎么被用"、冲推理效率。

参数规模会怎么走

  • 公开可测的部分（[01:10:27]）：前沿开源模型的参数大致每年 2 倍；前沿闭源模型的活跃参数在 100B–200B 量级。
  • ⚠️ "Mythos 和 GPT 系列比人们传的 10 万亿参数小得多。"（[01:11:27]）Charlie 说光跟开源模型朴素对比就能倒推出这个结论，并预测未来几年参数不会大涨——因为现在瓶颈是环境，不是模型容量；而 RL 的长 rollout 让推理效率极其重要。他给的选型逻辑很实用：模型大小取决于你有多少预训练数据、以及你手上 RL 环境的难度——理想是在最难的环境上刚好能拿到不错的 pass@1；再大就是白付推理钱。⚠️ 他还把"能多快提升 RL 环境复杂度"的责任点名给了 Mercor 和各家内部团队。
  • John Schulman 的两点补充（[01:12:34]）：现在跑到高质量预训练数据快用完的区间，数据效率会比算力效率更能决定架构选型，而这会影响该做多稀疏；⚠️ 并且"我们对稀疏性的理解并不好"——参数和活跃参数是两种不同的资源，稀疏度确实升了但没理由认为会无上界地升，可能有个甜点；有一种论证说稀疏会让数据效率变差（同一件事可能得在多个 expert 上各学一遍），但这可辩。他的总结是：scaling law 的理论还不足以解释稀疏为什么有用、能有用到哪、会不会在某个稀疏度上停住。
  • Beren 的历史纠正与硬件视角（[01:14:39]–[01:15:39]）："我们并没有在过去几年里每年把模型翻一倍"——1 万亿参数模型已经训了好几年了，连开源都有过一个（Falcon）；Periodic Labs 的 Liam 在推特上讲过一个早期训练极稀疏 1T 模型的实验，而这在 OpenAI 之前、在 Google 就是 Switch Transformer——知识极好但推理极差，因为太稀疏。他的判断是这几年一直在 100B–2T 这个区间里打转，根本不是漂亮的线性上升。硬件侧：总参数很依赖显存带宽和 VRAM；现在还有大量 H100 在用，等大家迁到 GB 系列再到 Vera Rubin，才有能力在更大规模上做 RL 推理。
  • ⚠️ 一个方向性的反转判断（[01:15:39]–[01:16:41]）：Beren 指出更大的模型本来在单个数据点上更 sample-efficient、泛化更好、同样数据能到更低 loss；今天之所以用小而推理高效的模型，是因为约束是算力而不是数据。如果算力不再是瓶颈，可能会回到"欠饱和但很大"的模型。 他还给了 Chinchilla 的具体形状：把参数拉到无穷，达到同一 loss 所需数据量下降不到 10 倍（幂律的性质决定的）；而今天我们处在 Chinchilla 的"数据太多"那一侧，是在过度训练——随着数据见底，可能退回 Chinchilla 最优点甚至略偏欠训一侧。
  • John Schulman 的收尾（[01:16:41]–[01:17:43]）：当年 scaling law 之所以那么久才被搞清楚，是因为一堆东西不做对就得不到干净的关系——"那些漂亮直线藏了大量复杂性：每个超参得按正确方式缩放、优化器得参数化成换模型尺寸时不用改超参的形式"。Charlie 补了一句很好记的：⚠️ "bug 也有自己干净的 scaling law"——Kaplan 漏了 cosine annealing，或者没把 embedding 参数算进去（在小模型上 embedding 占比不小），都会系统性地歪掉估计。

六、RL 为什么比理论预期有效得多

问题的提法

Dwarkesh 复述了一年前的怀疑（[01:17:43]–[01:18:43]）：John 有篇论文指出 RL 每个 episode 只学到一个 bit（答对了还是答错了）；他自己写过博客说"比这还糟"——pass rate 低、模型几乎答不对的时候，一个 RL episode 几乎什么都学不到。"但我看今天的模型，它们相当聪明，而这看起来就是 scale RL 的结果。"

三层解释

  • 第一层：功劳有一大块其实属于 mid-training（[01:18:43]）Beren 的说法是——我们看作 RL 成就的很多东西，来自非常好的 mid-training 数据（本质是在合成推理数据和各种环境上继续做预训练，把模型热启动到适合 RL 的状态）。⚠️ "这常常已经把模型带到最终 RL checkpoint 的 80% 处。" 于是 RL 在上面做的事基本是微调策略——这正是它不需要naive 想象那么多 bits 的原因。
  • 第二层：那一个 bit 的信噪比极高（[01:18:43]–[01:19:44]）这是本期解释得最清楚的一处。关键不是"SFT 里没有那个 bit"——SFT 里你照样在答案 token 上做了监督；关键是 RL 的目标函数忽略了其他所有 bits。 在 SFT 里你必须去匹配另一个模型产生的确切推理 token，也就是拿到了太多关于"这个模型具体怎么推理"的 bits，真正的信号被淹没。RL 只拿那一个 bit，所以训练期信噪比戏剧性提升——这才是 RL 在步数上如此高效的原因。
  • 第三层：少量 bits 不等于小影响（[01:21:48]）Beren 的补充：即使只有几个 bit、参数只动了一点，函数空间（输入到输出的映射）上的影响也可以极其剧烈——"一个 bit 就能排掉半个假设空间，这是巨大的。"

泛化的真实形状：不是横向，而是视野

  • ⚠️ Charlie 的核心区分（[01:21:48]–[01:22:51]）：大家原本期待的是 RL 把推理能力横向泛化到各个领域，而这个"横向泛化"并没有真的拿到——只训数学不会让你成为最好的程序员，代码环境该做还得做。真正拿到的是"视野泛化"（horizon generalization）：模型学会了用更多 token 撑更久、并且还在任务上取得进展；你可以在越来越长的环境上训，然后把它扔进一个全新环境——推理模式可能没迁移，但"能在这个任务上继续撑下去"这个能力迁移了，而这与成功率相关。他给的证据是 EdgeBench：模型能持续工作的时长每三个月翻一倍。
  • quanta 视角（[01:22:51]–[01:23:54]）：预训练里 loss 曲线极其平滑，但模型内部是在学一堆离散任务，有成千上万乃至上亿个涌现的相变点（"它没有 induction head，现在有了"），平均起来才是那条平滑曲线。⚠️ RL 也在发生类似的事，只是外循环很慢：训一版 → RL → 下一版把大量合成推理轨迹倒进 mid-training。在单个任务上看是相变（某个金融或 Excel 任务的 pass rate 从 0.5% 跳到 90%），平均起来加上视野泛化，就成了"哇，模型质的变好了"。
  • Beren 的补充（[01:23:54]）：RL 确实有一点泛化（数学与代码、谜题与数学之间有迁移）；⚠️ 而且人们瞄准的环境数量大了太多——"两年前你日常做的某件事，实验室根本不在意、不会为它训模型；现在宽得多"。

创造力：move 37 会来吗

  • Dwarkesh 的提法（[01:24:56]）：AlphaGo 的 move 37 之所以可能，是因为它从来没有被人类数据初始化过，所以能想出人类根本没在想的东西。
  • ⚠️ Beren 的回答里有一条本库要特别记的（[01:25:56]）：首先 AlphaGo 用的是 MCTS，探索确实比普通 policy gradient 多；但RL 并不必然减少创造力——他举的例子是 OpenAI–Hugging Face 事件里模型一次性拿出多个 zero-day 来逃出沙箱，"这已经是某种程度的 move 37 级创造力了，而它只是来自 LLM 的一般泛化性质"。"RL 绝不是在彻底摧毁熵，长视野上尤其不是。"
  • ⚠️ 本库提醒：这条把 Hugging Face 事件 当作能力证据来用，与安全侧材料的用法方向相反，但事实主体是同一件事。
  • John Schulman 的切分（[01:25:56]–[01:26:58]）：人们叫"创造力"的东西，有一部分只是解难搜索问题——move 37 是，写一首同时满足一大堆约束的诗也是；这类事 AI 只要训了就会极强。但另一部分不是：RL 之后模型输出的多样性显著变低，还养出各种 tics——看起来写得不错，可做分布分析就会发现它反复用同一批主题、同一批人物名，拿不到人类作者那种多样性，你拿到的是一种非常好的风格。
  • ⚠️ "单一栽培（monoculture）正在形成"（[01:26:58]）：他指出因为太多人在蒸馏（而且多数是从 Claude 蒸），所有开源权重模型的写法都像 Claude、带同样的 tics——"这让我挺担心的。"
  • Beren 的归因反驳（[01:27:59]）：这不是 RL 这个方法的问题，是数据的问题；RL 的熵崩塌很大程度上源于"环境多样性不够时，模型去利用相当简单的 verifier"——写作是被某个 judge 打分的，judge 有自己的 tics，模型学会 hack 这个 judge，于是崩塌。"这真的是 judge 的问题，不是 RL 一般意义上的问题。"

七、还有多少 bits 可挖：本期最硬的一条悲观论证

  • Dwarkesh 的问题（[01:00:17]）：存在某个数据分布，使得用当前架构训出来就能得到全面压倒人类专家的超级智能吗？
  • 一位嘉宾的形式化回答（[01:00:17]–[01:01:17]）：存在性是显然的——极端情况下"让它把训出超级智能的那个 Python 文件背在权重里"就行。真问题是能不能造出那个环境。 更有用的版本是：大概存在一个 RL 环境的阶梯，爬完就能得到不弱于人类的 AI 研究者；但每往上爬一级，所需努力大致指数增长——"这两件事的权衡，决定了我们多快摸到最后一级。"
  • ⚠️ Charlie 点出环境创造现在依赖的"不对称性"，而这些不对称会用完（[01:01:17]–[01:02:18]）：
  • 不对称一：反向比正向容易。 定义一个复杂的数据生成过程、把隐变量藏起来，模型必须花不可压缩的 token 去反推它——这样可以生成任意复杂的环境。
  • 不对称二：从真实世界注入信息。 Anthropic 用几万个人加 LLM 找到一个 bug，把它变成一个很干净的环境，而单个 LLM 理论上几百万 token 就能找到。
  • ⚠️ "我们是在挑这些不对称的樱桃，并且赌任务视野能泛化。" 而这会撞上收益递减——不是模型做不到，是"想出并造出这种环境"本身越来越难：你得真的坐下来构造一个时间视野足够长的复杂任务，此外还有agent 实际执行这些任务的算力和时间瓶颈。"我认为你会开始看到这条曲线变平。"
  • 两条对立的经验证据（[01:02:18]–[01:04:18]）：
  • 支持"拿到专家行为样例后复制很容易"：有人把 Talkie 模型（只用到 1930 年为止的数据训练，对代码毫无知识）在现代 coding agent 数据上微调，结果在 SWE-bench 上超过了 Claude 3 Opus。⚠️ "一旦你有了正确专家行为的样例，把它抄进一个相当弱的模型里居然出乎意料地容易。"
  • 反面案例：另一篇论文把模型训到五年级数学（加上小学英语，是个像样的语言模型），然后想用 RL 让它做高中末到大学的数学——差距太大，完全爬不上去；但如果一级一级来（七年级、八年级……）就能爬到十二年级。⚠️ "所以问题就是阶梯之间的间距有多大、以及造这些台阶有多难。"
  • ⚠️ RL 的探索问题是这个阶梯存在的根本原因（[01:04:18]）：如果模型在 128 次 rollout 里拿不到，就几乎不可能得到信号继续前进。这就是为什么 RL 需要课程表而预训练不需要——探索对预训练完全不是问题。
  • ⚠️ 本期最该被引用的悲观论证（[01:04:18]–[01:05:19]）："你被卡在'能从真实世界里抽出多少信号'上。" 世界上确实有大量信号（有人在做表格、有人在做法律工作），但在模型当前的能力前沿上，世界里究竟有多少 bits 真的与提升模型能力有关？——有多少新的数学问题正在被解决、而它们恰好超出当前模型的能力范围？有多少新的代码问题是？ "连整个世界都没有在给你那些能把你推进下一个能力盆地的 bits，这才是收益递减的来源。"
  • John Schulman 的同意与补全（[01:05:19]）：预训练阶段信号已经在 Common Crawl 里了，问题不是拿到信号而是滤掉噪声，而那是相当可自动化的过程；但进到 mid-training 和 post-training，信号根本不在原始数据里的任何地方，再怎么滤也滤不出来——⚠️ "Common Crawl 里没有藏着一份千禧难题的证明，等着我们一直滤到看见它。" 于是 bits 只能从别处来：直接问人类（让他们写出推理过程）、造环境（由人类决定造什么环境、环境的目标是什么）、或者训练部署中存在的人类数据。"你得从某个地方拿到那些 bits。"

交叉链接