跳转至

Stefano Ermon

来源：No Priors 2026-09-18

  • 背景：Inception 联合创始人兼 CEO；斯坦福教授（2014 年起）；扩散模型的奠基者之一——2019 年与博士生做出 score-based 生成模型，即后来的扩散模型。也是 FlashAttention 的共同指导者之一、DPO 最初在其组内 rotation 项目中诞生。
  • 在本库中的位置：本库第一份非自回归路线的一手材料。此前所有推理成本材料（Baseten、vLLM、Cerebras、Reiner Pope）都是在自回归这个前提下优化服务栈或硬件。

立场与核心观点

  • ⚠️ 他的核心论证是关于硬件工作负载形状，不是"更聪明"（[00:08:09]–[00:09:11]）：自回归模型在训练时并行、在推理时串行，而串行负载极度 memory bound——"大部分时间花在把权重在存储层级之间搬来搬去，算术运算做得极少"。扩散模型推理时的负载和训练时几乎一样（同时处理很多 token），天然映射到 GPU 擅长的矩阵乘。⚠️ 他的类比：2017 年 RNN → Transformer 那次转折解决的是训练侧的串行问题；推理侧对应的那个东西就是扩散模型。
  • ⚠️ "更并行的那个方案最终会赢——这就是苦涩的教训。"（[00:10:11]）推理链三环：经济学由 intelligence per watt / per dollar 决定 → 推理模型的进步很大一块是 test-time compute 的 scaling → ⚠️ RL post-training 的主要瓶颈就是生成 rollout，所以推理端 scaling 更好的模型，自动地在 RL post-training 上也 scaling 更好。
  • 2024 年那篇论文的确切主张（限定很干净）（[00:05:07]）：在 GPT-2 规模（<10 亿参数）上首次与自回归质量持平——同数据、同参数量、同 perplexity；⚠️ 但生成快约 10 倍。
  • ⚠️ 产品化状态（自述，本库未核实）（[00:12:14]）：Mercury 系列与前沿实验室"速度优化档"（haiku / flash / mini、nano 这一档）在基准上持平且显著更快，已在生产环境服务客户。
  • ⚠️ 一个"软件并行性替代定制芯片"的具体案例（[00:17:16]–[00:19:18]）：语音 agent 公司 OpenCall 此前把 LLM 跑在 Cerebras 定制芯片上才拿到需要的速度，后来换成扩散 LLM 跑在 NVIDIA GPU 上拿到同样速度——"GPU 虽然紧张，但比定制芯片多得多" → 可获得性更好、成本更低、质量更高。他同时强调两者互补且增益相乘。
  • ⚠️ 他对"新架构创业会不会被大厂吸收"的回答，是本库关于初创护城河最具体的一份（[00:19:18]–[00:21:18]）：早期是 IP 与商业秘密；然后是服务引擎——⚠️ "你在 vLLM 或 SGLang 上跑不了扩散 LLM"，所以"就算你训出了扩散 LLM，没有那个 vLLM 的等价物，你照样卡住"；再是真实客户的反馈与由此造出的 eval 和数据，以及自建的 SFT / RLHF / RL 全栈。⚠️ 这正是他们决定不全部开源的原因，代价是社区贡献少、采用更难、on-prem 更难。
  • ⚠️ 扩散更可控，理由是结构性的（[00:25:21]–[00:26:21]）：自回归必须等整个对象生成完才能打分（他举生成分子、在意溶解度）；扩散是由粗到细，很早就知道"这是不是我想要的那类对象"，可以用外部奖励函数或约束引导。"有些引导方式在自回归模型上根本不可能。"
  • ⚠️ 数据效率是他自己都还没确认的"第二个可能优势"（[00:27:21]–[00:28:21]）：训练时"加噪再去噪"本质上在做数据增广（同一张图被许多带噪视图增广），文献里有证据说更数据高效；"如果这在规模上成立，那么在数据成为瓶颈的任务上就变得更有意思。"
  • ⚠️ 他用 perplexity 化解了"代码数据太脏、没有物理结构"的质疑（[00:22:20]–[00:24:21]）：不管哪条路线，训练生成模型本质上都是在建压缩方案；"一切东西里都有噪声。只要你能把 perplexity 压下去，就说明结构一定在那里。" 剩下的问题被他准确降级为归纳偏置的经验问题——⚠️ "transformer 是不是识别这些模式的更好方式？next-token 是不是对的框架，还是去噪更对？这非常是个经验问题，而目前我们连理解它的工具都没有。"
  • ⚠️ 市场判断（唯一定量估计，方法也交代了）（[00:28:21]–[00:29:23]）：他用 OpenRouter 公开的用例分类法估算 20%–30% 的用例里延迟真的非常重要，这至少是下界。速度为什么赢：同质量更快，人总会选更快那个；⚠️ "一旦你习惯了快的模型，你就回不去了"（宽带类比）。
  • ⚠️ 对"AI 做 AI 研究"的态度很收敛（[00:32:27]–[00:33:27]）："我们还没到那儿。也许我们没有别人有的那些模型。" 他确认前沿模型显著加快了迭代，但"至少现在，人的创造力仍然极其重要：想出对的想法、剪掉搜索空间、识别更有希望的方向。"
  • ⚠️ 学术界仍能做出有影响的工作，他给的是清单而不是态度（[00:35:27]–[00:37:28]）：早期扩散工作在学术规模上打赢 GAN 且稳定得多，"然后整件事变成 Stable Diffusion、Midjourney"；FlashAttention（他是共同指导者）；DPO（组内 rotation 项目，"基于一个聪明的洞察：那个问题里有某种有意思的数学结构"）。⚠️ "学术界的好处之一，是它允许你下这些反共识的注。"
  • 公司现实（[00:13:14]、[00:29:23]–[00:31:26]、[00:33:27]）：约两年、约 50 人；⚠️ "瓶颈更多是算力，而不是人"；仍是 transformer、仍用注意力和公开数据集；最大的困难是生态不成熟——"开源的东西基本没有，有一些开源模型但都不太好"。

与他人观点的呼应/分歧

  • ⚠️ 与 Rene Haas（同频道 09-03）最该一起读：Haas 的判断是"只要 transformer 还是 AI 的能量单位，它在设计上就是算力密集且内存密集的"，据此推出供应紧张还有三到五年；Ermon 攻击的正是这个"设计上"——如果推理负载的形状可以改，那条约束的一部分是可以被软件拿掉的。
  • 与 Andrew Feldman / Cerebras 的直接竞争关系：OpenCall 那个案例就是从定制芯片换回 GPU。
  • 与 Richard Socher（相隔 4 天）：见 Socher 页，同周内"AI 能不能替你做研究"的一组反差。
  • 与 OpenRouter 那期：他的 20–30% 估计直接建在 OpenRouter 的用例分类上，两页应互读。