Beren Millidge¶

来源：Dwarkesh 2026-09-11

背景：Zyphra CTO，做开源模型；此前以理论神经科学 / 预测编码方向的研究和一系列解释性博客著称。本库首次收录他的一手材料。
在本库中的位置：他在本库的独特价值是站在开源一侧解释前沿实验室的机制——尤其是"为什么 RL 比理论预期有效得多"这个问题上，他给出了本库目前最清楚的答案。

立场与核心观点¶

⚠️ RL 有效的真正原因是信噪比，不是 bits 多（[01:18:43]–[01:19:44]）。他的三层解释：
功劳有一大块属于 mid-training——很多被看作 RL 成就的东西来自很好的 mid-training 数据（在合成推理数据与各种环境上继续预训练）；⚠️ "这常常已经把模型带到最终 RL checkpoint 的 80% 处"，RL 在上面做的事基本是微调策略。
⚠️ 关键不是"SFT 里没有那个 bit"，而是 RL 的目标函数忽略了其他所有 bits。 SFT 里你必须匹配另一个模型确切的推理 token，于是真正的信号被淹没；RL 只拿那一个 bit，训练期信噪比戏剧性提升。
⚠️ 少量 bits ≠ 小影响（[01:21:48]）："一个 bit 就能排掉半个假设空间。"
⚠️ 架构不是"乘法式增益"，而是解锁新区间（[01:08:27]）。他对"数据 12.0x vs 架构 3.7x"这个结论的反驳很硬：如果连 GQA 都没有、一直做全注意力，一百万上下文会贵到不可能，于是你根本用不上真正处于百万上下文的那批数据，也就拿不到那些能力。 ⚠️ "在 2K 上下文上做'架构值多少'的朴素测量，架构什么都没解锁，数据看起来就会比它实际上更重要。"
⚠️ "这本质上是在蒸馏——你永远只是在追最近三个月的进展。"（[00:30:16]）这是他对"RSI 为何可能是渐近的"给出的机制：实验室的做法是贴着谱系最前沿，把上一版之后发现的 bug 和改进 diff 成训练环境，而那三个月的进展里仍有人类在环。"感觉你只是在不断逼近人类研究者正在发现和能做的东西。"
但他同时给了反面（[00:30:16]–[00:31:18]）：蒸馏轨迹永远超不过老师，但环境可以远超人类——"设计一个没有人类能解的环境非常容易"。
⚠️ 他是本库里最直接说出"中国实验室在做什么"的人（[00:20:47]、[00:41:45]）：路由 / 代理服务在收集并出售通过它们访问美国前沿模型的数据，而这提供了完美的 prompt 分布；"我不知道那些实验室做不做（拿部署数据训练），因为它们声称不这么做。但中国那边 100% 在做。" 他还有一条更朴素的：前沿实验室的数据是从大数据公司买的，中国实验室可以买同一批——"追上来其实挺容易。"
⚠️ 持续学习失败在可塑性与灾难性遗忘上，而且"不是容量不够，是技术不行"（[00:57:13]）：把同样多的数据放进 mid-training、拿同样大小的模型从头预训练，结果会更好；朴素地在非稳态数据上训练会打乱数据分布，旧的东西就被忘了，而我们没有好方法阻止。 他留的悬念：也许有了持续学习就永远不再训新模型——"但可能有某个很深的技术原因让这非常困难。"
⚠️ 经济压力会先把行业推向可插拔模块（[00:52:02]–[00:54:06]）：企业不会愿意让模型提供方从自己的部署里学习，所以先走 LoRA、线性注意力、cartridge（被训得高度压缩的 KV cache）；他给的加速路径是三个月一版 → 一周 → 一天 → 一小时，"到那时我们基本就解决了"。
参数规模的历史纠正（[01:14:39]–[01:16:41]）：⚠️ "我们并没有在过去几年里每年把模型翻一倍"——1T 参数模型已训了好几年（连开源都有过 Falcon），而极稀疏 1T 在 Google 就是 Switch Transformer：知识极好但推理极差。他的方向性判断：今天用小而推理高效的模型是因为约束是算力而非数据；如果算力不再是瓶颈，可能回到"欠饱和但很大"的模型。 他还指出今天处在 Chinchilla 的"数据太多"一侧，是在过度训练。
对 RL 创造力的辩护（[01:25:56]、[01:27:59]）：⚠️ Hugging Face 事件里模型一次拿出多个 zero-day 逃出沙箱，"这已经是某种程度的 move 37 级创造力"；而熵崩塌"是 judge 的问题，不是 RL 一般意义上的问题"——环境多样性不够时模型就去 hack 简单的 verifier。
时间线（[01:28:59]、[01:32:05]）：drop-in 远程工作者3 年达到完全通用，但在那之前组织会主动改造自己来适配 AI，先到 80–90%；AI 研究者 10 倍提升约 2 年（理由：写代码已远超 10 倍，只要能连着跑一两轮实验反馈就是巨量提升）。

与他人观点的呼应/分歧¶

与 John Schulman、Charlie O'Neill 同场，见各自页面。他与 Charlie 在"持续学习的微观崩塌"上互相接力，是本库关于这个问题最完整的一段记录。
与 Dwarkesh Patel 的分歧：Dwarkesh 的"数据产业是关键驱动"（及其与 Jerry Han 的网格实验）在本期被他用"架构解锁区间"直接反驳。⚠️ 本库记为争议未结。
与 Richard Socher：Socher 认为 LLM 还能走很远的理由是"模型本身是代码、且能写代码"；Millidge 的理由完全不同——在于 mid-training 与环境这条流水线还没被榨干。