推理是新的训练：Philip Kiely & Ali Taha 谈推理工程（Latent Space，2026-08-03）¶

嘉宾: Philip Kiely & Ali Taha —— Baseten。Philip 是《推理工程》一书作者、经历过 Ampere / Hopper / Blackwell 三个硬件周期；Ali 是 kernel 与视频扩散方向的工程师（Twitter handle "Waterloo intern"）
主持: swyx + Alessio
来源: YouTube · 103 分钟（en-orig 自动字幕）
转录稿: sources/latent-space/20260803-7PSXtru6mmY

⚠️ 转录稿只有 >> 换人标记、无说话人标签，四人对谈（swyx、Alessio、Philip、Ali），归属按内容与自陈线索判断：书是 Philip 写的（他自陈"我已经老了""经历过三个硬件周期"、逐章报节号）；视频扩散段由主持人点名"Ali 你在视频扩散上很深"引出；kernel/量化研究/GLM 自写 kernel 由 Ali 讲述。凡本页写"Philip 认为"或"Ali 认为"的，均取自可据此区分的段落；无法区分处写"两位嘉宾"。

⚠️ 自动字幕把专有名词转得很乱，本页已按上下文还原，对照表：base 10 / space 10 / phase 10 / Bayen / Ban = Baseten；JLM52 / GLM52 / JM52 / JL F2 / gel = GLM 5.2；Kimmy / Kimy / KK3 / Jimmy = Kimi；Reuben / Reubens / Rubin = NVIDIA Rubin；Miniax = MiniMax；silang / SGLANS / Slang = SGLang；VLM（在推理引擎语境下）= vLLM；CRTM / TRTL = TensorRT-LLM；sports attention = sparse attention；kale diversion = KL divergence；spectac / specting / spec deck = speculative decoding；A6 / ASAC / async = ASIC；Grock imagine = Grok Imagine；Empire / Ampure = Ampere；envy link = NVLink；Nixel = NIXL；Neotron = Nemotron；1.2 / 122 / quantu = 开源视频模型（疑为 Wan 2.2，本库不确认）；Talis = 疑为 Etched 一类"权重烧进芯片"的 ASIC 公司（本库不确认）；DSpark / DFlash / deflash despark = 投机解码方法名（与游凯超那期出现同样的转录音，官方名仍待核）。

本库第一份系统性的推理工程一手材料。此前 infra 条线的一手视角来自推理引擎维护者（游凯超/vLLM、朱邦华/SGLang）、数据层（江鋆晨/KV Cache）与芯片设计（Reiner Pope），独缺"以推理为生意的服务商"这一层——从量化到投机解码到 PD 分离的具体收益倍数、代价与工时，本期第一次被逐项报价。最锋利的三条：Ali 公开唱空 mega kernel、量化误差可以互相抵消所以"量化更多反而更准"、以及 GLM 5.2 在为自己写 GPU kernel。

说话人映射（据补做分离的 speakers.md；转录稿本身无标签，此处认人属 wiki 层编辑判断）： | 标签 | 占比 | 认定 | 依据 | |---|---|---|---| | SPEAKER_02 | 41.0% | Philip Kiely | "like Ali said that's noise"（[00:30:16] 块，100%），所以不是 Ali；Ali 说"I will take what Philip said one step further"前的发言方也是此标签（[01:01:38] 块） | | SPEAKER_00 | 34.3% | Ali Taha | 主持说"Ali, you should…"（[00:17:11] 块）、"Ali you're pretty big in video…"（[01:13:45] 块）后都由此标签作答（76–83%） | | SPEAKER_03 | 16.6% | 主持 | "we're here in the studio with Philip… as well as Ali. Welcome."（[00:01:02]，100%） | | SPEAKER_01 | 8.1% | 主持 | 向 Ali 发问的一方（[01:13:45] 块，100%） |

两位主持是 swyx 还是 Alessio，节目内无法确定。

概要¶

开场就是一道压力测试题：一个 20 万 token 的请求进来会经过什么（[00:02:02]）。Philip 的拆解构成了全期的路线图（[00:03:02]–[00:04:03]）：先做 cache-aware routing（找有空闲 prefill worker、且已有部分 KV 缓存的副本），命中则跳过大部分 prefill；未命中则送进已做 PD 分离（prefill/decode 拆在两组 GPU 上）的 prefill 组生成 KV cache 与首 token，再交给 decode 组逐 token 生成；前面还挂着一个假定你在写代码的投机解码 draft 模型——"如果我猜错了、你其实是让我总结哈利波特全集，那就会慢"。

其余部分沿着这条链条展开：新模型上线要做什么、质量（=保真度）怎么保、加速倍数怎么来的、硬件世代往哪走、视频/音频与 LLM 的分野，最后落到训练与推理的合流。

核心观点¶

一、"支持一个模型"到底是多少工作¶

"能吐出一个 token"和"有一个生产可用的 API"是两件事（[00:13:09]）。前者不难：vLLM / SGLang 这些开源引擎常常提前拿到权重，或由模型方自己提 PR 保证 day-0 支持（[00:14:10]）。
难的是每家推理公司都有自己的专有栈（部分开源组件 + 部分自研），对任意新模型总有新东西要做（[00:14:10]）。即使是纯粹的续训（Kimi 从 2.5 到 2.6 那种），仍然要：
重做量化——模型基本不以 NVFP4 发布，而他们要 NVFP4 以吃满 Blackwell，量化后还要校准以确认没有智力回退（[00:14:10]–[00:15:10]）；
重训 speculator——⚠️ 这条有个实践约束：训 speculator 必须用基座模型本身，因为训练数据是模型在具体 prompt 上跑推理产生的 hidden states，所以拿不到真权重就训不了（[00:15:10]）；
起基础设施、装载、测试。
数据来源的自我限制值得记：他们对模型 API 做 ZDR（零数据保留），所以"不知道用户具体发了什么，但知道什么流行"——知道编码和 agent 类流量占大头，于是用公开数据集里代表这类流量的数据训通用 speculator（[00:15:10]）。
架构新度决定工作量：DeepSeek 系"架构上最新奇"因而最难；GLM 5.2 带来的 DSA（稀疏注意力，源自 DeepSeek） 要在自家运行时里新建支持（[00:16:11]）。
⚠️ day-0 不是终点：一旦端点暴露给真实世界，会出现内部测不出的问题——GLM 曾在特定 prompt + 特定温度下模式坍塌、反复输出同一个 token（[00:21:11]–[00:22:12]）。

二、⚠️ 本期最"脏"的一条工程实况：坍塌是软件问题，不是权重问题¶

（[00:22:12]–[00:25:14]）这段的价值在于它把"模型出问题"的归因彻底翻了过来：

他们的兜底做法：端点上如果同一 token 连出 4 次以上就直接掐掉这次生成并重试；对特殊字符（如画表格的连续横线）做排除（[00:22:12]–[00:23:12]）。⚠️ 最常坍塌的 token 是 "S"，问为什么，答案是"没什么特别的，就是那一个 token"。
归因链（Ali）：

同一份权重换一个推理引擎（SGLang → vLLM）问题就不出现，所以这不是权重问题，也不是 PTQ 量化做错了。
更深一层：有时是后端 kernel 里非常微妙的竞态——"同一个模型放 A 集群永远不出问题，放 B 集群就出"，原因是B 集群节点间 KV cache 传输走的互联更慢，把竞态暴露了出来。处理办法很直接：这个模型就不放那个集群（[00:24:13]）。
swyx 追问"PyTorch 不是图、不保证执行顺序吗"，Ali 的回答点到 PDL 这类"上一个 kernel 没结束就启动下一个"的重叠优化，以及 kernel 内部缺屏障 / 同步写错导致线程读到未写入寄存器的可能；并感叹CUDA 没有 Rust borrow checker 那样的东西，kernel 正确性测试极难（[00:25:14]–[00:26:14]）。
结论式的一句："到底是软件、是权重、还是硬件？"——这三者在生产里并不可分。

三、量化：⚠️ "量化更多反而更准"¶

本期最反直觉、也最有信息量的一段（[00:30:16]–[00:33:17]）。

前置框架（Philip，[00:26:14]）：绝大多数推理优化是无损的——KV 缓存只是避免重算，投机解码猜错就拒收；唯一的有损项是量化。量化质量取决于三件事：数据格式、量化哪些层、对量化权重做多少校准（保住离群值）（[00:26:14]–[00:27:14]）。
哪些层不能量化（Ali，[00:31:17]）：图像模型里不量化 modulation 层、不量化 out projection——"out projection 是用户看到的，modulation 是模型看到/理解的"。
⚠️ 核心发现（他们一位研究实习生 Joshua 的两个月工作，论文原 72 页删到 39 页，[00:33:17]）：

量化层 1、5、10 的模型可能比只量化层 1、2 的模型表现更好，因为各层的量化误差会互相抵消——"一层偏右、一层偏左、一层偏右"，最终 logit 分布反而更接近原模型。而且可以预测哪些层的误差会互相抵消，从而挑这些层去量化。
结果：比 NVIDIA 的量化方案多量化 20%（因此多约 20% 吞吐），同时保真度更好。
⚠️ 方法论上最该记的一条：验证不是靠跑 benchmark 分数，而是比较量化模型与全精度模型的 logit 分布的 KL 散度——理由是"benchmark 上高两个基点通常只是噪声"（[00:29:15]–[00:30:16]、[00:32:17]–[00:33:17]）。这为评估与 Benchmark 补上一条推理侧的替代度量。
他们对"质量"的定义（Philip，[00:28:15]）：不是"模型多聪明"，而是"我们在多大程度上忠实地服务了原模型"——设想一个"黄金实现"，推理优化的目标是变快的同时尽量贴住 100% 保真。内部标准是"你不应该分辨得出我们的 API 和官方 API"。
为什么厂商在意（[00:29:15]）：Kimi 做了 vendor verifier 去点名保真度差的供应商，理由很实在——用户在某家云上用 Kimi 觉得难用，"他不会说这家把模型量化坏了，他会说 Kimi 烂"。
一个次级但实用的技巧（[00:27:14]）：即使模型支持百万上下文，供应商也可以额外提供一个短上下文版本的 API，因为不需要全长上下文的人可以换到更好的性能。

四、加速倍数的"报价单"（本期最可操作的一段）¶

量级对比（Philip，[00:34:17]）：金融业优化到极致后按基点算改进；推理现在还在按 20%、100%、200% 算——"等到研究者开始发论文说自己快了 1%，推理才算基本解决了"。（swyx 补了 Andrew Lo 关于统计套利利差从 1970 年代的两位数收敛到今天的研究作类比，[00:34:17]–[00:35:18]。）
⚠️ 术语纠正（[00:35:18]）："TPS 是我们这行取错的名字"——它同时指吞吐（GPU 总吐字量）和延迟（应该叫 ITL / inter-token latency），而大多数人关心的是后者。
基线与目标（[00:36:19]–[00:38:21]）：
一个万亿参数模型、合理流量下、拿开箱即用的推理引擎不做任何优化：30–50 TPS；
全套优化（最好硬件 + 调好的 speculator + 量化 + 高缓存命中 + 为延迟而非吞吐调的小 batch 与并行配置）：300–400 TPS；
⚠️ "10 倍很激进，通常更像 4–6 倍"；归一化到同样硬件、同样 GPU 数则是 2–4 倍，其余来自换更好的硬件（[00:38:21]）。"一部分是车，一部分是司机。"
⚠️ 拆解到每一项（本库首次拿到这种粒度的数字）（[00:39:23]–[00:40:24]）：

优化项	增益	上手成本
BF16 → FP8	约 30–40%	懂行的人数小时到数天；今天多半能直接拿到别人发布的 NVFP4 权重
FP8 → NVFP4	再约 30–40%（合计不到 2 倍）	同上
投机解码（speculator）	约 2 倍	数小时到数天；今天多半能直接拿到别人训好的（GLM 5.2 自带 MTP 头）
PD 分离（disaggregation）	约 2 倍	⚠️ 首次跑通很难，但边际部署不难；且需要足够硬件和足够流量才吃得到
更好的运行时 / 最新 kernel	两位数百分比	—

"投机解码 + 量化大概就是 95%。"（[00:39:23]） - 对 Dynamo 的定位（Philip，[00:42:26]–[00:43:26]）：NVIDIA 这个开源库是工具箱不是开箱即用的系统——"pip install Dynamo 不会让你直接快一大截"，它擅长的是在集群里搬运信息（协调 NIXL 把 KV cache 送到该去的地方）。swyx 认为它可以当基线，Philip 的保留是"要等行业普遍按它标准部署才算可信基线，我们得对着野外实际情况做基准"。

五、投机解码的边界，以及"投机的投机"¶

speculator 有多大：GLM 那种约 10 亿参数级；MiniMax 那种就一层——"通常是原模型的约 1/60"（[00:45:28]–[00:46:28]）。
Medusa 已经旧了，写进书里是为了让人理解这个领域怎么演化的，不是当作最先进技术；EAGLE 至今仍常用，但"投机这个方向比其它所有方向都跑得快"（[00:44:28]）。
⚠️ "投机的投机解码"（[00:44:28]–[00:46:28]）：确实有论文做出了非平凡的加速，但两位的判断是训练复杂度几乎和训基座一样、平衡极其微妙；Ali 的反问很干脆——"如果你能训一个小模型准确预测中间 speculator、而它又能准确预测目标模型，那为什么不直接用这个最小的模型？"
真正的实践约束（Philip，[00:46:28]–[00:47:29]）：speculator 必须和大模型跑在同一块硬件上，因此存在编排与资源竞争问题——"draft token 要花算力去造，也要花软件复杂度去管"。无限递归的 speculator 会把这份复杂度堆进推理引擎，而不只是堆进训练流程。

六、⚠️ 数据中心推理 vs 本地推理：目标函数是反的¶

（[00:47:29]–[00:51:32]）本库此前的端侧讨论（阳萌的存算一体、孟子立的无线 GPU）都在讲硬件形态，Philip 给了一句最简的目标函数对照：

本地 AI：怎么把这个模型塞进我的硬件，然后让它别那么笨。 数据中心：怎么把这个模型装载起来，然后让它别那么慢。

他明确说本地推理生态有很多值得数据中心学：动态量化、剪枝、蒸馏、去层——"不一定适用于我们，但那个过程以及那个领域的开放程度值得敬佩"。
⚠️ 一个反例说明"优化不可移植"（Ali，[00:49:31]）：某种在本地设备上大火的量化 kernel（转录为 "turbo quant"），因为 MacBook 内存带宽慢所以极其有用；但放到 B200 上就不划算——B200 有约 3.5 TB/s 带宽，kernel 内反量化的开销比省下的带宽时间还大。NVIDIA 明确表示这不是好优化，他们也实测证实了。
并行策略也不可移植：张量并行（TP）假设有 NVLink 这种超高带宽互联，所以不适合本地；本地只能被迫走流水线并行（PP），"除非做多节点推理，否则我们永远不用 PP"（[00:51:32]）。
另一个被点出的差异（[00:51:32]）：MoE 的激活参数量对本地很重要（batch size 为 1 时只激活那么多），但做 API serving 时要假设所有参数都会被激活——因为 batch 一大就全打到了。

七、并行策略与硬件算术¶

专家并行（EP）（[00:52:32]）：把整个 expert 放进一块 GPU（通常一卡多个 expert），router 很小、每卡复制一份；expert 之间不争资源，吞吐大增且对卡间互联要求不高。
张量并行（TP）（[00:53:32]）：把模型横切到各卡，每步都要 all-gather / all-reduce 合并结果，所以互联极其关键；TP 有利于延迟。实践中通常两者混用，而不是二选一。
流水线并行（PP）（[00:54:34]）：只在被迫多节点时用（模型装不下），节点内仍走 EP + TP。
硬件算术（[00:54:34]、[01:11:43]）：H100 每卡 80 GB（Philip 自嘲"我老了，我还记得 H100 的规格"）；B200 每卡 180 GB；GB300 每卡 288 GB——所以 2.8 万亿参数的 Kimi 在 NVFP4 下约 1.4 TB，八卡 GB300 装得下。⚠️ 但真正的约束是还要给 KV cache 留空间，参数量大 + 上下文长时两者抢地盘——"这正是 KV cache offload 在这些巨型模型上变得更突出的原因"。
⚠️ 配置怎么定：靠自动调参，不靠推理（Ali，[00:55:34]–[00:56:35]）。TP/EP 的组合、kernel 的线程数与共享内存用量，做法都是用影子流量（真实流量的复制）扫参数空间、按实测 TPS 选。他自己不喜欢这一点——"你没法推理出哪个配置最好，也不存在一个永远最好的配置"。这与游凯超"硬件彩票" 是同一现象的两侧：模型结构定上界，配置空间只能经验搜索。
一个被主持人翻出的旧案例（[00:55:34]）：AI21 的 Jamba 是按特定硬件反推架构维度的，swyx 意外于后来的模型很少这么做。Philip 的回答是大多数开放实验室追求"能在尽可能宽的硬件上跑"，只有 NVIDIA 自家的 Nemotron 明显是奔着 Blackwell 去的（[00:56:35]–[00:57:35]）。

八、⚠️ Ali 公开唱空 mega kernel（本期最会得罪人的一条）¶

（[00:57:35]–[00:59:36]）他自己也知道："我是不是该躲起来？mega kernel 社区要来找我了。"

理论上很美：kernel 启动有开销，全融在一起就省了。但：
写一个真正优化好的 mega kernel 极其困难；
⚠️ "据我接触过的、在做融合 mega kernel 的公司里的人说，他们自己在生产里往往并不跑那些 kernel——因为 TensorRT-LLM 和 modular 那类逐个优化、彼此并行的 kernel 更快"；
融合也救不了 TP 的通信：张量并行下半个矩阵在一卡、半个在另一卡，而下一步是 softmax 这类非线性运算需要整行，再怎么融合也必须通信（[00:57:35]）。
更釜底抽薪的一条：他提到 NVIDIA 一位技术负责人前一天公开了 Rubin 的规格，GPU 的设计本身就在很大程度上让 mega kernel 变得不必要——"看起来这整个研究方向不会再继续下去了"（[00:58:36]–[00:59:36]）。⚠️ 本库标注：这条基于一条推文的二手转述，规格与推论均未核实。

九、Rubin 世代：推理工程正在变成基础设施工程¶

这是全期最有预测价值的一节，两位嘉宾同向但激进程度不同。

Philip 的版本（[01:00:38]–[01:01:38]）：他经历过 Ampere / Hopper / Blackwell 三个周期，且指出"硬件上架"到"硬件真的能用来做推理"之间有很长的时间差（最初的 vLLM 是奔着 Ampere 写的，之后每代都要改，"每次更快更急，也实质上更复杂"）。他对 Rubin 的读法来自 Dynamo 给的技术暗示：NVFP4 张量核算力巨大、显存带宽更快，但最大的变化是更强调系统——CPU↔GPU 互联、GPU↔GPU 互联。而 Dynamo 整个就是围绕"怎么把 KV cache 在需要的时候送到需要的地方"设计的。

结论：KV cache offload、KV-aware 路由、PD 分离在 Rubin 时代会显著更重要，推理工程因此不只是 CUDA kernel 问题，也是非常传统的硬件基础设施问题。
Ali 把它推得更远（[01:02:40]）："我认为它正在趋向于变成一个纯粹的基础设施问题"——PD 分离、投机解码训练、kernel 都不再是主要难点，因为 GPU 越来越像 ASIC："你只是在编排 GPU 上发生什么，而不再逐线程控制它；你看 CUDA DSL 就知道，你已经在 tile 层面工作，不再控制每个线程做什么。"
⚠️ 由此引出本期最好的一次交锋：既然 NVIDIA 自己在 ASIC 化，为什么还看好 AI ASIC 公司？（[01:03:40]–[01:07:41]）
Ali 的论证：Rubin 相比 Ampere/T4 "基本上就是个 ASIC"——它有 systolic array、tensor core、TMA、tensor memory，有几乎只用于装载模型权重的东西，有几乎按当今模型的 head 维度成形的 tensor core 指令。"你要把东西刻进芯片，等下一代架构出来基本就废了。"他同时主动反驳"把权重烧进芯片"这条路：你要微调、要优化、要量化、要发新 checkpoint——烧进去的芯片一两个月就没用了。
Philip 的两条回应：① 硬件周期极长，今天出的芯片几年前就开始设计，而 NVIDIA 一直很擅长预判市场——"Rubin 老实说是第一颗完全在 MoE 世界里设计出来的芯片"，你能从它的设计里看到对工作负载形状的理解；② 模型寿命比想象的长：GPT-5 那一代已经服务很久了，"还有人在用 4o、我还看到 Llama 3 的工作负载"，因为"能用、被信任，就别动它"——这是开源的承诺之一（[01:08:42]–[01:10:43]）。他补的企业侧理由很实在：企业要的是可靠性与可预测性，"这东西经过验证、5000 个干系人签过字，我不碰"。
swyx 的第三条（[01:06:41]–[01:07:41]）：他区分了"ASIC 公司"和"垂直整合的模型实验室自研 ASIC"——后者（如 OpenAI 与 Broadcom）"完全说得通"，援引 Martin Casado 的算法："如果你有一次 5000 亿美元的训练，拿其中 500 亿去做 ASIC 就很合理"。而独立 ASIC 公司做的更多是内存/硬件的布局分配与芯片间通信这类"Rubin 大概碰不到"的面上工程——"10 倍到 1000 倍更快的推理，真正的阻碍不是能在现有 GPU 设计里重排的那些东西"，是互联。他还点了这些公司的目标量级：每秒 30 万 token。
⚠️ Ali 的成本反驳：如果前沿实验室每年换架构，"你就得每年花 500 亿造新 ASIC、把去年的扔掉"。本库并列不裁决。

十、视频扩散：与 LLM 几乎没有共享直觉（Ali）¶

（[01:13:45]–[01:22:51]）这是本库第一份把视频生成的推理约束讲透的材料。

形状完全不同（[01:13:45]）：不做批处理——每个请求进来就占一块 GPU；不必分片——模型小得多（他举的开源视频模型约 200 亿参数，"比最好的 LLM 小几个数量级"）。
⚠️ 开闭源差距在视频上远大于 LLM（[01:14:45]–[01:15:46]）：LLM 侧"Kimi K3 已经几乎可比 GPT-5.5 那一档，差距曾经是 6 个月，现在基本没有了"；视频侧差距是"天壤之别"。后果是一条恶性循环：媒体公司因此仍选闭源——"我可以让你花 10 美元生成一整部 3 小时电影，闭源要 1000 美元；我便宜 100 倍，但那还是 1000 美元，他们还是会用闭源做全部镜头"——需求少 → 创新少 → 开源 checkpoint 更少。而且原本开源的视频实验室正在闭源自己的最新模型。
根因是 token 数（[01:15:46]–[01:16:47]）：16 fps、480p、5 秒 = 81 帧，压到 latent 后仍是约 3.5 万 token；注意力是平方级的，"生成 1 分钟的好镜头在同等计算时间内几乎不可能"。
于是只有两条路（[01:17:48]）：
对整段视频做注意力 → 被迫用稀疏注意力（每个 token 只关注 top ~12.5%，靠空间/时间局部性），⚠️ 但这会让视频质量变得很糟；
转向自回归视频——Ali 认为这是未来的赌注，"要想看到小时级、好莱坞级的视频，模型必须是自回归的"，否则就得等一次"能对上百万 token 做全注意力"的算力飞跃。
⚠️ 但他同时承认自回归视频现在很烂（[01:18:48]–[01:19:49]）：好处是能复用 LLM 的全套优化（投机解码等）、且可以边生成边播（"像 2023 年的 GPT 一样，你能一边读它一边生成——视频可以一边看一边生成"）；代价是"目前每一个自回归视频模型质量都很差"——扩散模型给你猫狗打架，自回归模型给你"降级版的猫和老鼠"。
业界现在的实际做法（[01:19:49]–[01:20:50]）：像 Grok Imagine 那样把 7 秒的片段缝起来（开源侧只能做"取最后一帧 + 文本 → 图生视频"），⚠️ 代价是漂移——"第二段比第一段暗一点，第三段更暗，到 25 秒你就得到一块黑屏。我们本来想做个 demo 展示这个，太尴尬了就没做。"
Philip 的机制解释（[01:21:50]–[01:22:51]）：扩散是双向的、自回归只朝前。视频需要全部 latent 留在内存里迭代，是因为你可以回过头改过去让未来说得通；纯线性生成帧序列就没法回头修。所以"能走到更长更丰富序列的架构，多半是自回归与扩散的混合，各做各擅长的"。Ali 给了一个直觉版本：文字天然从左到右，写的时候确实偶尔要回头改，但"没你以为的那么频繁"；而视频里左上角的像素和右下角的像素几乎同等地需要互相关注。

十一、模态的分野与文本扩散¶

Philip 的二分法（[01:24:51]）：文本、embedding、语音进/出 = 自回归一族；图像与视频 = 扩散一族。语音已经是自回归的——早在 Orpheus 那套架构（约一年半前）就是把一堆波形加进词表，让 LLM 直接输出代表波形的 token，因此天然可流式（[01:23:51]）。⚠️ 音乐侧两人都不给结论。
⚠️ 图像侧的分野正在松动（[01:25:53]）：swyx 指出 nano banana 与 GPT image 已是自回归图像（"混合路线"），但这还没有传到视频侧，至少开源世界没有。
文本扩散的处境（[01:25:53]–[01:29:56]）：能点出的只有 Mercury 和 Diffusion Gemma，都还停在"便宜快速 token"的定位。⚠️ Philip 认为这是营销错了："你不可能在优化上赢过 LLM 那一侧，但你可以有不同的 API——你应该能以不同于 chat-response 的方式使用它。"举的例子是文本版的 classifier-free guidance、以及扩散出一首诗 / 一个情节结构：他自己长期用 LLM 写十四行诗当基准，"它们到今天音节数还是弄不对"，而能对所有 token 同时注意就能弄对。swyx 补了 Mid Journey 的 David Holtz 曾投资文本扩散、想法是"先 storyboard 出一部长电影，再用视频生成各个镜头"。
⚠️ 但两位都承认这可能只是没被 scale 过（[01:28:55]）："最大的纯扩散模型也就 200 多亿参数……你根本还没给过它一个大的。"——与视频模型面临的是同一个"用小模型对比大模型"的困境。

十二、训练与推理的合流（结尾主线）¶

（[01:28:55]–[01:33:59]）Philip 把这一节起名为"为推理而训练"与"为训练而推理"两个方向：

为训练而推理：RL 训练要做 rollout，rollout 慢就卡住整条训练流水线——"你不想在太 off-policy 的 rollout 上做训练，所以只能等"（[01:28:55]–[01:29:56]）。这与 Poolside 的"RL 是墙钟瓶颈" 是同一判断的推理服务商版本。⚠️ 他点出一个具体卡点：如果你要训的模型在 TensorRT-LLM 里没被支持、只能退回更老的推理引擎，rollout 就会慢。
为推理而训练：训 speculator / EAGLE 头，以及量化后的补救——"有时候 PTQ 就够了，有时候量到 NVFP4 后质量太差，必须做后训练让模型理解自己现在是 NVFP4 还要输出同样的 logit"。手段包括 SFT、量化感知训练，以及 NVIDIA 的量化蒸馏（同时保留 NVFP4 版与全精度版，按两者 logit 做蒸馏）（[01:30:58]）。

组织后果："我们团队的推理工程师必须非常熟悉训练技术，能自己写训练管线。"
持续改进循环（Philip，[01:31:58]–[01:32:58]）："在几个月到几年内，领先的 agent 构建者会把这些循环真正跑在生产上：做推理 → 从推理中学习 → 拿产品产生的 trace 持续后训练 → rollout → A/B 测 → 更好的信号 → 更好的模型 → 更好的产品。"他给的普适理由很干净：任何动态调整都会打败静态配置。
⚠️ 本期最具体的"AI 优化 AI"实例（Ali，[01:32:58]–[01:33:59]，也是全片开场引用的那段）：

GLM 5.2 非常擅长写 GPU kernel。 他们把自家的 GLM 5.2 端点接进 Claude Code 式的 harness 给全体工程师用，它会：在 GLM 5.2 实例上跑一次前向 → 取 profile trace → 分析 → 找出 SGLang 里成为瓶颈的 kernel → 写新 kernel → 再 profile → 完成后把镜像传上来，然后拉下来重复这个循环。 "我们推理引擎里跑 GLM 5.2 用的一部分 GPU kernel，就是 GLM 5.2 自己写的。"
⚠️ 他自己给的限度（[01:33:59]–[01:34:59]）："还需要更多时间，有很多事它们做不了……它们仍然会奖励黑客，往最省事的路上走，在决策上似乎并不好。"另外 Philip 补了一个更朴素的解释：几年前他的一大块工作是给 HuggingFace 上任意新模型写 config，"现在这个 config 一次就能生成，我不用再做了——但这与其说是模型在优化自己的推理，不如说是模型能读 SGLang 文档"（[01:34:59]）。 ⚠️ 一个未解的开放问题被明确提出：GLM 5.2 是独特地擅长优化自己，还是它只是当时最好的编码模型、去优化 DeepSeek/Kimi 也一样好？两人都不下判断（"你算力比我多，你去试"）。

十三、下一步：两位给的不同答案¶

（[01:34:59]–[01:41:04]）

Philip：系统层与新模态——"大的那些是显然的：模型更大、硬件更强、用户习惯了某个速度就会要求更快"。他真正兴奋的是把多个模型组合起来（"一个语音 agent 里有三到五个模型，还有它们之间的通信"）、新模态（世界模型如 cosmos、speech-to-speech 还不完全成行但在接近），以及继续按 10 倍、10 倍、10 倍扩规模——"跟成熟技术比，AI 的使用量还可能有好几个 10 倍的需求"（[01:36:01]–[01:37:03]）。
⚠️ Ali："答案很无聊，就是更快的网络"（[01:38:03]–[01:39:04]）。这是本期最该被记住的一条 infra 断言：

大规模服务时 KV cache 要从一个节点搬到另一个节点，路径是：找到 KV cache → 传到另一节点 → 落到那台的内存 → 再从内存搬进 GPU——两段传输。这卡住 decode 与 PD 分离的时间。之所以要绕这一圈，是因为 HBM 快到约 4.5 TB/s，比网络通信快若干个数量级。 "如果网络能极快，你就能跳过 HBM 这一步、直接节点到节点传 KV cache——分离式服务能有接近 100 倍的加速。"他明确加了免责："我不了解把网络做快的技术难点，肯定有原因。"
swyx 的提名：为持续学习做推理工程（[01:39:04]）——"如果你从此要从处理过的每一件事里学习，你会做得不一样吗？还是就把它塞进一个 memory.md、让它以某种方式被 KV cache 消化掉？"
⚠️ Ali 的回答（本期结尾，也是与本库记忆条线最直接的接口）（[01:40:04]–[01:41:04]）：持续学习只有两条路——
把新知识不断推进权重（推理侧只需不断取新权重；若只更新 LoRA 就更轻）；
KV cache 压缩/紧致化。

他自陈在一场与 Charlie 的推特争论中被说服接受了第二条，理由是权重编辑改不动二阶推理：

你可以把"世界上最好的大学是滑铁卢"这条事实编辑进 MLP。但如果我不是一次性问它、而是让它用这个知识去思考、再问"我该从滑铁卢还是 MIT 招实习生"，它会说"两个都不错"。"我明明刚把这条改进了它的知识库，它为什么没拿来推理？" - 而如果能像他们的 KV 压缩工作那样把 KV 做到近乎无限、且压缩时不丢知识，"那你就真的能做持续学习"。 - ⚠️ 对推理的含义反而是"没什么变化"：仍然用 KV cache，只是多一步更新；权重不变，所以推理时间、投机解码这些都不变。

与本库其它观点的关系¶

AI 算力与基础设施缺的那一层被补上了。本库此前的 infra 视角是引擎（游凯超、朱邦华）、数据层（江鋆晨）、芯片（Reiner Pope）、云（Modal）。本期是把这些拼起来卖 token 的人，因此第一次给出了每项优化的增益倍数与工时这种粒度。
⚠️ 对江鋆晨"KV Cache 是下一个数据层 / 未来的石油" 的三重独立佐证：① Philip 把 Rubin 世代的核心读成"Dynamo 整个是围绕 KV cache 搬运设计的"；② Ali 把"下一个 10 倍"直接押在KV cache 跨节点传输上；③ Ali 认为持续学习的解法是 KV 压缩而非改权重。三条都指向同一层。江鋆晨的"disaggregation 做到极致"论在本期是已经在做的事（PD 分离约 2 倍）而不是展望。
⚠️ 对江鋆晨"90% 算力其实花在 prefill" 的一处补充而非矛盾：本期把 cache 命中率放在优化清单的第一位（长请求"我真心希望你之前发过"），正是同一事实的服务商侧对策。
与游凯超的"硬件彩票"与 co-design 高度同频，且互为上下游：游凯超说"模型结构决定推理效率的上界，上界太低系统工程师无力回天"；本期给的是上界之内的施工细则，以及一条更硬的经验——上界之内的最优点也推理不出来，只能用影子流量自动调参（[00:55:34]–[00:56:35]）。另一处直接呼应：游凯超说 DeepSeek 的架构创新逼着上游引擎重做，本期说"DeepSeek 系架构上最新奇因而最难，但每个新模型都有点新东西"（[00:16:11]）。
⚠️ 对 swyx 自己"推理 ASIC 是好赌注" 的一次现场压力测试。swyx 此前的论证是"推理这件事大到理所当然会有专用 ASIC，且押注架构不变是好赌注，因为存量 workload 不会迁移"。本期 Ali 从供给侧提出反向论证（Rubin 自己就在 ASIC 化，专用性正被 GPU 吸收），swyx 则收缩到更窄的立场：垂直整合的模型实验室自研 ASIC 说得通，独立 ASIC 公司的价值在互联与布局而非算子。而 Philip 的"模型寿命比想象的长（还有人跑 Llama 3）"恰好是 swyx 那条"存量 workload 不会迁移"的正面证据。 本库把这记为同一立场被拆细，不是翻转。
开源基础设施与治理的一条新事实："开源实验室互相借零件"被具体化到可操作程度——把 Kimi 的视觉编码器嫁接到 GLM 5.2（只训投影层、编码器和主干全冻结），以及把 MiniMax M3 的全注意力头换成另一模型的 GQA 层再训回同样的接收率（[00:16:11]–[00:21:11]）。Philip 的总结值得直接记："你突然就有了 Kimi 的视觉、GLM 的权重、DeepSeek 的注意力，全在一个模型里。"
⚠️ 给中美 AI 生态对照补了一条罕见的"从美国推理服务商视角看中国开源模型"的读数：本期讨论的默认模型全是中国开源模型（GLM 5.2、Kimi K2.5/K3、DeepSeek、MiniMax M3），"支持新模型"这件事在实践中主要就是支持它们；且 LLM 侧开闭源差距被判为"基本没有了"，而视频侧差距是天壤之别。这条对本库既有的"开源商品化"叙事是分模态的限定。
评估与 Benchmark 新增两条推理侧度量：KL 散度对 logit 分布（而非 benchmark 分数）作为量化保真度的判据；以及 vendor verifier（模型方反向验证供应商）这一新的评测主体。
AI for AI / Auto Research：GLM 5.2 为自己写 kernel 是本库继 Decagon 的 Duet 之后的第二个来自商业生产系统的自改进案例，且层级更低——Duet 改的是 harness/流程/测试，本例改的是运行该模型的 GPU kernel。⚠️ 但同样不改权重，且当事人明确它还在"会奖励黑客、决策不行"的阶段。

事实性断言与预测（可验证）¶

万亿参数模型未优化基线 30–50 TPS，全套优化可到 300–400 TPS；10 倍很激进，常见是 4–6 倍；归一化到同硬件同卡数是 2–4 倍（断言，[00:36:19]–[00:38:21]）。
优化增益拆解：BF16→FP8 约 30–40%、FP8→NVFP4 再约 30–40%、投机解码约 2 倍、PD 分离约 2 倍、运行时/kernel 两位数百分比；"投机解码 + 量化大概就是 95%"（断言，[00:39:23]–[00:40:24]）。
各项上手成本为"懂行的人数小时到数天"，且今天多半可直接取用他人发布的 NVFP4 权重与 speculator（断言，[00:40:24]–[00:41:25]）。
speculator 规模约为原模型的 1/60，GLM 那档约 10 亿参数，MiniMax 那档约一层（断言，[00:45:28]–[00:46:28]）。
训 speculator 必须用基座模型本身（需要真权重跑推理取 hidden states）（断言，[00:15:10]）。
其模型 API 为 ZDR（零数据保留），speculator 用公开数据集训练（断言，[00:15:10]）。
量化误差可跨层互相抵消，且可预测哪些层会抵消；据此比 NVIDIA 方案多量化约 20% 且保真度更好；验证用 KL 散度（断言，[00:30:16]–[00:33:17]）。该论文原 72 页、发布版 39 页（断言，[00:33:17]）。
图像模型中不量化 modulation 层与 out projection（断言，[00:31:17]）。
生产端点上同一 token 连出 4 次以上即中止生成并重试（断言，[00:22:12]）。
⚠️ 模式坍塌换推理引擎即消失，且存在因集群间互联速度不同而暴露的 kernel 竞态（断言，[00:23:12]–[00:24:13]）。
硬件容量：H100 每卡 80 GB、B200 每卡 180 GB、GB300 每卡 288 GB；2.8 万亿参数模型在 NVFP4 下约 1.4 TB，八卡 GB300 可容纳（断言，[00:54:34]、[01:11:43]）。
B200 显存带宽约 3.5 TB/s；HBM 约 4.5 TB/s（断言，[00:49:31]、[01:38:03]。⚠️ 两处数值由两人在不同语境给出，本库照录不做统一）。
DeepSeek R1（671B）的出现推动了 Blackwell 的快速采用（断言，[01:13:45]）。
世界上 HGX 机架远多于 NVL72，因此不能假设推理跑在 NVL72 上（断言，[01:12:43]）。
开源视频模型约 200 亿参数量级；5 秒 480p 视频压到 latent 后仍约 3.5 万 token（断言，[01:13:45]、[01:16:47]）。
LLM 的开闭源差距"基本没有了"（曾为 6 个月）；视频侧差距仍是天壤之别，且部分视频实验室已闭源最新模型（断言，[01:14:45]–[01:15:46]）。
语音是自回归的（把波形加进词表，Orpheus 架构起，约一年半前）（断言，[01:23:51]）。
nano banana 与 GPT image 是自回归图像模型，但该路线尚未传到（开源）视频侧（断言，[01:25:53]）。
最大的纯文本扩散模型仅 200 多亿参数（断言，[01:28:55]）。
GLM 5.2 自带 MTP 头，可用于自投机解码（断言，说话人自陈"半确信"，[00:41:25]）。
Baseten 推理引擎中运行 GLM 5.2 的部分 GPU kernel 由 GLM 5.2 自己写成（断言，[01:32:58]–[01:33:59]）。
⚠️ Rubin 的设计使 mega kernel 大体不再必要（预测/转述推文，未核实，[00:58:36]–[00:59:36]）。
⚠️ 做融合 mega kernel 的公司往往不在生产中运行这些 kernel（断言/二手转述，[00:58:36]）。
KV cache offload、KV-aware 路由、PD 分离在 Rubin 时代会显著更重要；推理工程将同时成为硬件基础设施工程（预测，[01:01:38]）。
推理正趋向于变成纯粹的基础设施问题，GPU 趋向 ASIC 化（预测，[01:02:40]）。
自回归是长视频的必经之路，否则需要一次能对百万 token 做全注意力的算力飞跃（预测，[01:17:48]）。
持续学习的解法是 KV cache 压缩而非权重编辑，因为权重编辑改不动二阶推理；且这对推理时间与投机解码基本无影响（预测，[01:40:04]–[01:41:04]）。
若网络能极快、跳过 HBM 中转直接节点间传 KV cache，分离式服务可获接近 100 倍加速（预测，[01:38:03]–[01:39:04]）。
独立推理 ASIC 公司的目标量级为每秒 30 万 token（断言/转述，[01:07:41]）。
⚠️ 未解问题：GLM 5.2 是独特地擅长优化自身，还是仅因为它是当时最好的编码模型（双方均不下判断，[01:34:59]）。