跳转至

Charlie O'Neill

来源：Dwarkesh 2026-09-11

  • 背景：Baseten 模型训练负责人；四人圆桌里最年轻的一位（2012 年"我还在上小学"，[00:07:10]）。本库首次收录他的一手材料。
  • 在本库中的位置：Baseten 团队 此前在本库只以推理服务栈的身份出现；本期是同一家公司的训练侧视角，而他贡献的是本库目前最具体的一批"业界实操细节"。

立场与核心观点

  • ⚠️ "很不幸，RSI 恰好比当律师助理更容易。"（[00:48:54]）本期最锋利的一个二分：
  • 累积型任务：发现了 attention、MoE、GRPO 就永久沉淀进训练栈；理论上存在一个不到一百万 token 的 Python 文件从零训出能自我改进的模型。RSI 属于这一类。
  • 非稳态任务：律所里的法律助理面对的是公司里谁和谁什么关系、事情怎么做、信息在哪——全都一直在变。
  • ⚠️ 推论：如果实验室意识到这一点，算力会更多地压向 RSI 而不是别的任务。
  • ⚠️ Anthropic 环境谱系被他讲成一条"可抄的路线"（[00:35:32]）：先把代码做到极强（互联网数据最多、最好造环境）→ 拿 coding 得到的任务时长泛化到金融（"就是海量 Excel 数据"）→ PowerPoint → 工作经济的长尾。⚠️ "连开源实验室现在也认了这是对的押注。"
  • ⚠️ 环境创造依赖的"不对称性"会用完（[01:01:17]–[01:02:18]）。他列的两种不对称：
  • 反向比正向容易：定义复杂的数据生成过程、藏起隐变量，模型必须花不可压缩的 token 反推 → 可生成任意复杂的环境。
  • 从真实世界注入信息："Anthropic 用几万个人加 LLM 找到一个 bug，把它变成一个很干净的环境，而单个 LLM 理论上几百万 token 就能找到。"
  • ⚠️ "我们是在挑这些不对称的樱桃，并且赌任务视野能泛化"——而这会撞上收益递减，不是模型做不到，是"想出并造出这种环境"本身越来越难。
  • ⚠️ 本期最该被引用的悲观论证（[01:04:18]–[01:05:19]）："你被卡在'能从真实世界里抽出多少信号'上。" 世界上确实有人在做表格、做法律工作，但在模型当前的能力前沿上——有多少新的数学问题正被解决、而它们恰好超出当前模型的能力？有多少新的代码问题是？ "连整个世界都没有在给你那些能把你推进下一个能力盆地的 bits。"
  • ⚠️ 泛化的真实形状：不是横向，而是视野（[01:21:48]–[01:22:51]）。大家原本期待 RL 把推理横向泛化到各领域，而这没拿到（"只训数学不会让你成为最好的程序员"）；真正拿到的是 horizon generalization——模型学会用更多 token 撑更久并仍在取得进展，可以迁移到全新环境。他给的证据是 EdgeBench：模型能持续工作的时长每三个月翻一倍。 他还用预训练的 quanta 视角解释为什么感觉是质变：单任务上看是相变（某个金融或 Excel 任务从 0.5% pass rate 跳到 90%），平均起来加上视野泛化就成了"模型质的变好"。
  • ⚠️ 持续学习在微观层面全线崩塌（一组很具体的失败现象）（[00:55:07]–[00:56:09]）：大规模、大 batch 下"灌 mid-training + 自造环境"的外循环确实工作；但一个模型为一家律所做小数据量反复更新时——只在成功轨迹上 SFT，做到几百次微更新就出现灾难性遗忘；on-policy 蒸馏能把视野推远一点，最终仍屈服于同一件事；⚠️ "RL 擅长把能力弄进去，不太擅长把知识弄进去。" 他的机制解释：SFT 乃至 on-policy 蒸馏太具破坏性；RL 好是因为它对模型改动极小——但这同样限制了它能改多少。
  • ⚠️ 本库此前没有的一组"从部署中学习"的实例（[00:42:45]–[00:44:47]）：Cursor 的 Composer 不只对 Tab 模型、对真正的生成模型也做了在线 REINFORCE；难点是在线 RL 没有 group，一个用户一句话只有一次 rollout，方差极大；Cursor 的解法是用启发式估计"这次比平均好/差多少"，而能否变差的判据是 CursorBench——过了就每五小时部署一版新模型，没过就扔掉。 Harvey 在法律 agent 上做同一件事。 模式是：拿开源底座（例如给 Kimi K3 做一次大 post-train）→ 部署 → 从自己特定部署抽环境与用户抱怨 → 再训；⚠️ "这些公司在用好这批数据上，比大实验室有优势。"
  • ⚠️ "Mythos 和 GPT 系列比人们传的 10 万亿参数小得多。"（[01:11:27]）依据是与开源模型朴素对比就能倒推；他预测未来几年参数不会大涨，因为瓶颈是环境不是容量，而 RL 的长 rollout 让推理效率极其重要。他给的选型逻辑：模型大小取决于预训练数据量 + 手上 RL 环境的难度，理想是在最难环境上刚好拿到不错的 pass@1，再大就是白付推理钱。 ⚠️ 他把"能多快提升 RL 环境复杂度"的责任点名给了 Mercor 与各家内部团队。
  • 时间线（[01:28:59]）：drop-in 远程工作者——若不强制走浏览器约 1 年，强制浏览器则几年。
  • ⚠️ 一条很好记的注脚（[01:17:43]）："bug 也有自己干净的 scaling law"——Kaplan 漏了 cosine annealing、或没把 embedding 参数算进去，都会系统性地歪掉估计。

与他人观点的呼应/分歧

  • 与 Beren Millidge 在持续学习的微观崩塌上接力；与 John Schulman 在"信号不在原始数据里"上一致。
  • 与 Baseten 团队 此前的材料互补：那边是"怎么把模型服务好"，这边是"怎么把模型训好"，而两者在推理效率决定模型形状这一点上会合。
  • ⚠️ 与 Noam Brown 的"没有无限课程表"是同一担忧的两种表述：Noam Brown 说"如果我们把能挑战它的题目用光了"，Charlie 说"世界本身没在给你那些 bits"。本库把这两条并列，视为 2026-09 内 RSI 怀疑派最集中的一条论证线。
  • 与 Richard Socher 的直接张力：Socher 展示的 nanochat / kernel 战果正是 Charlie 所说的"可验证、好造环境"的那一类；⚠️ Charlie 的论证并不否认这些战果，而是主张它们来自正在被用完的不对称性。