跳转至

Stefano Ermon：扩散模型为什么会赢下推理（No Priors，2026-09-18）

说话人认定依据：自动字幕只有 >> 换行符、无姓名标签。单主持 + 单嘉宾，且 [00:00:05] 的开场由主持人自述"今天我和 Stefano 在一起"，全程只有两个声音：提问、把话题往商业与竞争格局上带的一方为 Sarah Guo；讲自己实验室、自己论文、Inception 内部做法的一方为 Ermon。⚠️ 自动字幕把他的名字拼成 "Stephenau Man"、把 Mercury 以外的专名也拼错不少，对照见页末。

本期是本库第一份"非自回归路线"的一手材料。 此前所有关于推理成本与效率的材料（Baseten、vLLM、Cerebras、Reiner Pope）都是在自回归这个前提下优化服务栈或硬件；Ermon 的主张是这个前提本身就是推理侧的瓶颈来源。

概要

Ermon 的论证不是"扩散模型更聪明"，而是一个纯粹关于硬件工作负载形状的论证：自回归模型在训练时是并行的，但在推理时是串行的，而串行工作负载严重受内存带宽约束、极不适配 GPU；扩散模型在推理时的工作负载和训练时几乎一样（同时处理很多 token），因此天然映射到 GPU 擅长的矩阵乘。

他把这件事类比成 2017 年 RNN → Transformer 的那次转折：⚠️ "那次转折解决的是训练侧的串行问题。而在推理侧，对应的那个东西就是扩散模型。"（[00:08:09]–[00:09:11]）

本期最该被单独引用的八条

  1. ⚠️ "更并行的那个方案最终会赢——这就是苦涩的教训。"（[00:10:11]）他把整个公司押注压缩成这一句。推理理由链有三环：经济学由 intelligence per watt / per dollar 决定 → 推理模型的进步很大一块是 test-time compute 的 scaling → ⚠️ 而 RL post-training 的主要瓶颈就是生成 rollout，所以"推理端 scaling 更好的模型，自动地在 RL post-training 上也 scaling 更好"。
  2. ⚠️ 自回归推理的硬件病理，他讲得比本库任何一份材料都直接（[00:09:11]）：你没生成完前面的，就生不出第 10 个 token；这种负载极度 memory bound——大部分时间花在把权重在存储层级之间搬来搬去，算术运算做得极少。
  3. ⚠️ 2024 年那篇论文的确切主张（他自己给的限定很干净）（[00:05:07]）：在 GPT-2 规模（不到十亿参数，"还相当学术"）上首次做到与自回归模型质量持平——同样的数据、同样的参数量、同样的 perplexity，拟合得一样好；⚠️ 但生成快约 10 倍，因为"扩散就是同时输出很多 token"。
  4. ⚠️ 今天的产品化状态（自述）（[00:12:14]）：Mercury 系列与前沿实验室的"速度优化档"模型（haiku / flash / mini、nano 这一档）在基准上持平，同时显著更快，且已经在生产环境上服务真实客户。⚠️ 本库未独立核实这个对标。
  5. ⚠️ 一个具体的客户替换案例，本库读作"软件并行性替代了专用硬件"（[00:17:16]–[00:18:17]）：语音 agent 公司 OpenCall 的流水线是 ASR → 一个要做工具调用和决策的推理型 LLM → TTS，延迟极其关键；他们此前是把 LLM 跑在 Cerebras 的定制芯片上才拿到需要的速度，后来换成扩散 LLM 跑在 NVIDIA GPU 上拿到同样的速度。⚠️ 他给的三个后果是："GPU 虽然紧张，但比定制芯片多得多" → 可获得性更好、成本更低、质量更高。
  6. 主持人立刻把这条推到硬件格局上（[00:18:17]–[00:19:18]）：确实有一类需求是"我就要一块带大量 SRAM 的贵芯片"。Ermon 的回答是两者互补且增益相乘——⚠️ "软件端拿到的增益与硬件端拿到的增益是乘法关系"，并且"也许某天会有人做出更贴合我们这类模型的硬件"。
  7. ⚠️ 他对"新架构创业会不会被大厂吸收"这个质疑的回答，是本库关于初创护城河最具体的一份（[00:19:18]–[00:21:18]）：他承认这个担忧非常成立、也是他自己最挂心的事。他列的护城河依次是——早期是 IP 与商业秘密（想法本身）；然后是服务引擎：⚠️ "你在 vLLM 或 SGLang 上跑不了扩散 LLM，我们必须自己造服务引擎"，所以"就算你训出了扩散 LLM，没有那个 vLLM 的等价物，你照样卡住、用不了"；再然后是真实客户的反馈与由此造出的 eval 和数据；以及自建的 SFT / RLHF / RL 全栈。⚠️ 他明确说这正是他们决定不全部开源的原因，并同时列了代价——社区贡献少、采用更难、on-prem 部署更难。
  8. ⚠️ 扩散模型更可控，而且理由是结构性的（[00:25:21]–[00:26:21]）：自回归模型必须等整个对象生成完，才能知道它是否满足某个约束、是否对齐、能不能用奖励函数打分（他举的例子是生成分子、你在意溶解度）；扩散是由粗到细的生成，所以从很早就知道"这是不是我想要的那类对象"，并且可以用外部奖励函数或约束集去引导生成方向。⚠️ "学术文献里有大量证据表明扩散模型更容易控制，而且有些引导方式在自回归模型上根本不可能。" 他说他们一直在想能围绕这些"自回归给不了的新能力"做出什么产品形态。
  9. ⚠️ 数据效率这一条，是他自己都还没确认的"可能的第二个优势"（[00:27:21]–[00:28:21]）：学术文献里有相当多证据说扩散模型比自回归更数据高效，直觉是——训练时是"加噪再学去噪"，同一张图被许多带噪视图增广过一遍，本质上在做数据增广。⚠️ 他的条件句很清楚："如果这在规模上成立，那么在数据成为瓶颈的任务上就变得更有意思。"

一、从 2014 年的不受待见到 2019 年的 score-based

  • 那个年代的处境（[00:00:05]–[00:01:05]）：他 2014 年到斯坦福做助理教授时，生成模型这个方向并不热、模型也不太行——"我们还在 MNIST 上建小生成模型，能生成出颗粒感的数字图像就算大成功"；⚠️ "那时候这个题目连发论文都难，你得把'训练一个生成模型'论证成一种从无标注数据里学特征、进而帮助监督学习的手段，因为那才是大家在意的事。"
  • 他当时的个人动机其实是世界模型（[00:02:06]）：⚠️ "我当时想的更多是世界模型——我有一个世界模型，就能想象'如果我站起来走出门会发生什么'，我能在脑子里画出来，而这对做决策、对 model predictive control 很重要。" 他坦率承认完全没敢梦想今天 LLM 这种能力，也以为这个问题够难、足以让他忙一辈子——"当然我完全错了，事情演进得比我预期快太多"。
  • 技术路线的来路（[00:03:06]–[00:04:06]）：自回归图像模型又慢又糊 → VAE → GAN 占领了领域，但训练极不稳定、结果很难复现 → ⚠️ "我们想看看有没有办法做出和 GAN 一样好、但更有原则的东西"，于是 2019 年和一位博士生开始做 score-based 生成模型，也就是后来的扩散模型。核心直觉是：如果你能训一个网络去给图像去噪，你就已经足够理解图像的结构，那么应该有办法基于这些 denoiser 造出一个生成过程——不再从左到右一个像素一个像素地生成，而是从纯噪声出发逐步精修到干净图像。
  • 今天的覆盖范围（[00:04:06]）：他说图像、视频、（一定程度上）音乐、以及很多蛋白相关的最好模型都是基于扩散；他自己的组做了大量加速采样与提升质量的技术。然后他开始想：怎么让扩散在文本和代码这种离散对象上工作？ ⚠️ 动机写得很清楚："能不能超越自回归，走向更并行、且内置纠错的东西？"
  • 离散化为什么需要新的科学（[00:11:13]–[00:12:14]）：⚠️ "两个像素的颜色之间你可以插值，插出来仍然有意义；但两个词之间不一定有中间物。" 所以把这套本来深度绑定连续结构的技术扩展到离散空间，需要大量 R&D 和一门新的科学。

二、公司形态与工程现实

  • 规模（[00:13:14]–[00:14:15]）：约两年、约 50 人，大量时间仍花在 R&D 上。⚠️ 他指出扩散侧的"推理算力换质量"的旋钮比自回归多得多——自回归"一次一个 token，没什么可做的"；而扩散可以用蒸馏、以及花哨的微分方程求解技巧（这些在图像/视频扩散里已经很成熟）去极快地采样。
  • 尽量复用既有成果（[00:14:15]）：⚠️ "它仍然是基于 transformer 的模型，所以架构上已有的大量工作不必扔掉；我们仍然用注意力，仍然用公开数据集、评测和基准。" 他把公司定位讲得很直白：创业公司要精打细算，尽量用现成的，把力气放在最能产生影响、最能形成差异的地方——"现在是速度，将来谁知道"。
  • ⚠️ 他自己留了个开放可能（[00:14:15]–[00:15:15]）："完全可能扩散语言模型最终显著比自回归更聪明——没人知道。" 他给出的理由是一种健康的怀疑："我们在造这些极强的 AI 系统，但这一切都非常新。我很怀疑我们已经发现了造这些系统的最佳方式；一定存在别的路。"
  • 人少还是算力少（[00:33:27]–[00:34:27]）：⚠️ "我觉得瓶颈更多是算力，而不是人。" 他说团队"每个人都很有才、也很拼，而且我们有 agent 让我们生产力高得多"。组织结构是两块：一个产品团队负责平台和客户成功、服务当前最好的模型；另一个团队造下一版模型，含训练、RL、推理。
  • 规模数字他明确不给（[00:31:26]–[00:32:27]）：模型大小、FLOPs 都算商业秘密。 他招人时卖的是另一样东西：⚠️ "这仍然是个相对小的领域，有很多东西待发明"——来 Inception 而不去别的实验室的人，要的是所有权、发明新东西、以及一片更开阔的绿地。
  • 最诚实的一段困难（[00:29:23]–[00:31:26]）：⚠️ "这是一套不同的栈"——服务引擎、kernel，很多东西必须自己造，生态不成熟；"开源的东西基本没有，有一些开源模型但都不太好"，这让部署更难、也更难让客户来试，因为他们不习惯。而后训练的兴趣在上升，这对新架构来说是额外的难度——他们只能自建 SFT / RLHF / RL 栈。

三、两个理论性的回答

代码数据"没有物理结构"，扩散还能学到吗

  • 主持人的质疑很尖锐（[00:21:18]–[00:22:20]）：扩散在图像、视频、语音上受益于世界里本就存在一致的结构；但代码这类人类产生的输入数据非常脏，甚至可以说其中很多并不具备你要找的那种真实结构。
  • ⚠️ Ermon 的回答把两条路线归到同一件事上（[00:22:20]–[00:23:20]）：不管自回归还是扩散，训练生成模型本质上都是在建一套压缩方案——"你能把数据压得越狠，你识别出的结构和模式就越多"。这也是为什么"只靠预测下一个词"就能学到数据结构这件事如此神奇。
  • ⚠️ 他用来结束争论的判据是 perplexity（[00:23:20]–[00:24:21]）：2024 年那篇论文用的指标正是 perplexity——"一种'你识别出了多少结构'的度量"；既然在 GPT-2 规模上打平，说明扩散识别出的结构量和自回归一样多。"一切东西里都有噪声。只要你能把 perplexity 压下去，就说明结构一定在那里，而且模型确实挖出来了。"
  • ⚠️ 他把剩下的问题准确地降级为"归纳偏置的经验问题"（[00:24:21]）：transformer 是不是识别这些模式的更好方式？next-token prediction 是不是对的建模框架，还是去噪更对？ "这非常是个经验问题，而目前我们连理解它的工具都没有。"

与"AI 做 AI 研究"的关系

  • 主持人提到这件事在研究圈里同时引发兴奋与绝望（[00:32:27]–[00:33:27]）。Ermon 的回答很收敛：⚠️ "我们还没到那儿。也许我们没有别人有的那些模型。" 他确认他们大量使用前沿实验室的模型，而这显著加快了迭代速度，但：⚠️ "至少现在——六个月或一年后我不知道——人的创造力仍然极其重要：想出对的想法、剪掉搜索空间、识别出更有希望的方向，这些对我们一直非常关键。"
  • ⚠️ 本库对照：这一条与 Richard Socher 那期 构成同周内的直接反差——Socher 认为 auto research 已经能超过整个社区的人类努力，Ermon 说"我们还没到那儿，人的判断仍是关键"。 两人做的任务不同（kernel/超参优化 vs 一条新架构的从零研发），这个差异本身就是本库该记的东西。

四、市场判断：延迟到底值多少

  • ⚠️ 他给的唯一定量估计，方法也交代了（[00:28:21]–[00:29:23]）：他承认"我们还没到前沿级智能，而很多工作负载确实需要前沿级智能"；然后他用 OpenRouter 公开的用例分类法（research、conversational、coding、software engineering、log processing 等）去估算——⚠️ "我估计有 20% 到 30% 的部分里延迟真的非常非常重要"，这至少是一个下界，可以由"在给定延迟预算内给你可能的最高质量"的模型来覆盖。
  • ⚠️ 本库注：这条估计依赖 OpenRouter 的分类，而本库正好有 OpenRouter 自己那期 的一手材料——两页应当互读。
  • 速度什么时候赢（[00:16:16]–[00:17:16]）：⚠️ "一般来说所有人都在意速度：同样质量更快，人总会选更快那个。" 他给的证据是前沿实验室自己也在出更快的版本，而人们愿意付更多钱去拿更快的模型。他的类比是宽带：⚠️ "一旦你习惯了快的模型，你就回不去了。"
  • 主持人给出的宏观框架（[00:15:15]–[00:16:16]）：她指出在根本上受算力与供给约束的环境里，效率研究此前在很多工业研究里是二阶考虑，纯能力 scaling 才是一阶；⚠️ "但如果你根本上相信我们会用掉手上全部的电力、而且有经济理由这么做，那么对效率的关注就会急剧上升。" 她的说法是：现在一家 AI 公司最重要的决定之一，就是手上的每一瓦电要怎么在训练和最有价值的用例之间分配。

五、学术界还能不能做出有影响的工作

主持人的收尾问题是：在这个靠规模化资源的时代，学术 AI 研究普遍被认为很吃力——你在 2024 年那批结果出来之前，是怎么对自己的方向有信心的？（[00:34:27]–[00:35:27]）

  • ⚠️ 他给的答案是一串出自学术界的清单（[00:35:27]–[00:37:28]）：
  • 早期扩散工作：在学术界能训的规模上打赢了 GAN 且稳定得多，"然后整件事就接管了这个领域，变成 Stable Diffusion、Midjourney——那些都始于学术界、我实验室里发展出来的想法。"
  • ⚠️ FlashAttention：他是共同指导者之一，"那是另一个出自学术界、后来在工业界产生巨大影响的东西"。
  • ⚠️ DPO：最初是他组里的一个 rotation 项目；现在这个算法被用来对齐 LLM、扩散模型，"到处都在用"。他强调它的来路——"它只是基于一个聪明的洞察：那个问题里有某种有意思的数学结构，允许你想出一种非常不同、也更高效的后训练与对齐方式。"
  • ⚠️ 他对学术界的定位（[00:36:27]–[00:37:28]）："学术界的好处之一，是它允许你下这些反共识的注。" 他承认资源问题（"资源永远不够，如果有更多算力我们能更高效"），但："你能接触到极好的学生，每个人都在试着做出新东西，人们不怕下注——这就是学术界为什么这么有影响力。"

⚠️ 自动字幕专名对照（未核实的照录）

字幕原文 本页按上下文还原
Stephenau Man / Stepheno / Stephano Stefano Ermon
emnest MNIST
autogressive / auto reagressive / auto reggressive autoregressive（自回归）
den noiseise / deninoisers denoise / denoisers
VLM / SG lang（服务引擎语境） vLLM / SGLang
SFD SFT
evolves / evils（评测语境） evals
open call OpenCall（语音 agent 客户，拼写未核实）
GP2 scale GPT-2 规模
⚠️ Mercury 与 haiku / flash / mini、nano 的对标、20–30% 这个估计 自述，本库未核实

交叉链接