跳转至

Philip Kiely & Ali Taha（Baseten）

  • 背景: Baseten 推理团队。Philip Kiely 是《推理工程》一书作者，自陈经历过 Ampere / Hopper / Blackwell 三个硬件周期（"我已经老了，我还记得 H100 的规格"）；Ali Taha 做 GPU kernel、量化与视频扩散方向（Twitter handle "Waterloo intern"，来自滑铁卢实习生传统）。
  • 公司定位: 推理服务商——同时提供按 token 计价的公开模型 API 与专属部署；主要服务对象是中国开源模型（GLM、Kimi、DeepSeek、MiniMax）在美国的托管。
  • 首次收录: 2026-08-03 Latent Space

⚠️ 归属说明：该期转录稿无说话人标签（只有 >> 换人标记），四人对谈。本库按内容与自陈线索区分二人（书、硬件周期史、并行策略讲解 → Philip；kernel、量化研究、视频扩散、ASIC 论证 → Ali），无法区分处记为"两位嘉宾"。

立场与关注点

Philip Kiely

  • "质量"= 保真度，不是聪明度：设想模型有一个"黄金实现"，推理优化的目标是在变快的同时尽量贴住 100% 保真；内部标准是"你不应该分辨得出我们的 API 和官方 API"（视频页 [00:28:15]）。
  • 推理还处在"按倍数改进"的早期：金融业优化到极致后按基点算改进，推理现在还在按 20%、100%、200% 算——"等到研究者开始发论文说自己快了 1%，推理才算基本解决了"（[00:34:17]）。
  • 本地推理 vs 数据中心推理的目标函数是反的：本地 = 怎么塞进硬件，然后让它别那么笨；数据中心 = 怎么装载起来，然后让它别那么慢（[00:47:29]–[00:48:31]）。他明确认为本地生态的动态量化/剪枝/蒸馏与其开放程度值得数据中心学习。
  • Rubin 世代 = 系统问题：从 Dynamo 的设计反推，最大的变化不是算力而是CPU↔GPU、GPU↔GPU 互联；因此 KV cache offload、KV-aware 路由、PD 分离会显著更重要，推理工程将同时成为传统硬件基础设施工程（[01:01:38]）。
  • ⚠️ 模型寿命比外界以为的长："还有人在用 4o、我还看到 Llama 3 的工作负载"——能用、被信任，就别动它；企业要的是可靠性与可预测性（[01:08:42]–[01:10:43]）。这是对 swyx "存量 workload 不会迁移" 的正面证据。
  • 持续改进循环即将进生产："几个月到几年内，领先的 agent 构建者会把'推理 → 从推理中学习 → 持续后训练 → A/B'这个循环真正跑起来"；理由很干净——任何动态调整都会打败静态配置（[01:31:58]）。
  • 下一步的兴奋点：多模型组合（"一个语音 agent 里有三到五个模型，还有它们之间的通信"）、新模态（世界模型、speech-to-speech）、以及继续 10 倍、10 倍地扩规模（[01:36:01]–[01:37:03]）。

Ali Taha

  • ⚠️ 公开唱空 mega kernel（本库首个明确的反 mega kernel 一手表态）：理论上美（省 kernel 启动开销），但写好极难；融合救不了张量并行的通信（非线性算子需要整行，必须跨卡）；且据他接触的从业者说，做融合 mega kernel 的公司自己在生产里往往并不跑它们，因为 TensorRT-LLM / modular 那类逐个优化、彼此并行的 kernel 更快。他还认为 Rubin 的设计让 mega kernel 大体不再必要，"这整个研究方向不会再继续下去了"（[00:57:35]–[00:59:36]，⚠️ 最后一条基于一条推文的二手转述，未核实）。
  • ⚠️ 量化误差可以互相抵消：量化更多层可能比量化更少层保真度更好，且可以预测哪些层的误差会抵消；据此他们比 NVIDIA 方案多量化约 20%（多约 20% 吞吐）且保真度更好。验证方法不是 benchmark 分数而是量化模型与全精度模型 logit 分布的 KL 散度（[00:30:16]–[00:33:17]）。
  • 模式坍塌是软件问题不是权重问题：同一份权重换推理引擎就不坍塌；更深处是 kernel 里的竞态，"同一个模型放 A 集群永远不出问题，放 B 集群就出"——因为 B 集群节点间 KV cache 传输走更慢的互联，把竞态暴露了（[00:23:12]–[00:24:13]）。
  • ⚠️ 推理正在变成纯粹的基础设施问题，GPU 在 ASIC 化："你只是在编排 GPU 上发生什么，而不再逐线程控制它"；Rubin 相比 Ampere/T4 "基本上就是个 ASIC"（systolic array、tensor core、TMA、tensor memory，指令形状几乎按当今模型的 head 维度定制）。由此他对独立 AI ASIC 公司持怀疑：下一代架构一出，刻进芯片的东西就废了；且若前沿实验室每年换架构，等于每年花 500 亿造新 ASIC 再把去年的扔掉（[01:02:40]–[01:07:41]）。他同时主动反驳"把权重烧进芯片"——要微调、要量化、要发新 checkpoint，烧进去的芯片一两个月就没用了。
  • ⚠️ "下一个 10 倍是更快的网络"（他自称"很无聊的答案"）：分离式服务里 KV cache 跨节点要走两段传输（找到 → 传到对端 → 落对端内存 → 再进 GPU），之所以绕这一圈是因为 HBM 快到约 4.5 TB/s，比网络快若干数量级。"如果网络能极快、直接节点到节点传 KV cache，分离式服务能有接近 100 倍的加速。"（[01:38:03]–[01:39:04]）
  • 视频扩散的推理形状与 LLM 完全不同：不做批处理、一请求一卡、模型小几个数量级；瓶颈是 token 数与平方级注意力（5 秒 480p ≈ 3.5 万 token）。稀疏注意力会明显伤画质，所以他押注自回归视频是通向长视频的路——但坦承当前每一个自回归视频模型质量都很差，业界实际做法是缝 7 秒片段，代价是逐段漂移直到黑屏（[01:13:45]–[01:20:50]）。
  • ⚠️ 开闭源差距分模态：LLM 侧"基本没有了"（曾是 6 个月）；视频侧是天壤之别，并因此形成"需求少 → 创新少 → 开源 checkpoint 更少"的恶性循环（[01:14:45]–[01:15:46]）。
  • 持续学习：KV 压缩派。他自陈在一次推特争论中被说服放弃"把知识推进权重"，理由是权重编辑改不动二阶推理——你可以编辑进"最好的大学是滑铁卢"，但问它"该从滑铁卢还是 MIT 招实习生"它仍会说"都不错"。⚠️ 推论是：如果 KV 能压到近乎无限且不丢知识，持续学习就解决了，而推理本身几乎不用变（权重不变 → 推理时间、投机解码都不变）（[01:40:04]–[01:41:04]）。
  • ⚠️ GLM 5.2 在为自己写 GPU kernel（本库最具体的生产级 AI-for-AI 实例）：把自家 GLM 5.2 端点接进编码 harness，它跑前向 → 取 profile trace → 找出 SGLang 里的瓶颈 kernel → 写新 kernel → 再 profile → 传镜像 → 循环。"我们推理引擎里跑 GLM 5.2 用的一部分 GPU kernel，就是 GLM 5.2 自己写的。"他同时给了限度：模型仍会奖励黑客、"在决策上似乎并不好"（[01:32:58]–[01:34:59]）。

两人共同的工程判断

  • "能吐一个 token"≠"有生产可用的 API"：前者因开源引擎常提前拿到权重而不难；后者要重做量化与校准、重训 speculator、起基础设施，且 day-0 之后还要持续修 bug（[00:13:09]–[00:15:10]、[00:21:11]）。
  • 加速的来源可以逐项报价（详见视频页表格）："投机解码 + 量化大概就是 95%"（[00:39:23]）。
  • 最优配置推理不出来，只能自动调参：TP/EP 组合与 kernel 参数都靠影子流量扫参数空间按实测选。Ali 明确表示不喜欢这一点——"你没法推理出哪个配置最好，也不存在一个永远最好的配置"（[00:55:34]–[00:56:35]）。
  • 开源实验室互相借零件是可操作的：把 Kimi 的视觉编码器嫁接到 GLM 5.2（只训投影层，编码器与主干全冻结）；把 MiniMax M3 的全注意力头换成另一模型的 GQA 层再训回同样的接收率。Philip 的总结："你突然就有了 Kimi 的视觉、GLM 的权重、DeepSeek 的注意力，全在一个模型里。"（[00:16:11]–[00:21:11]）
  • 训练与推理正在合流：为训练而推理（rollout 慢就卡住 RL 流水线，且不能用太 off-policy 的 rollout）+ 为推理而训练（训 speculator、量化感知训练、NVIDIA 的量化蒸馏）。组织后果是"推理工程师必须熟悉训练技术、能自己写训练管线"（[01:28:55]–[01:30:58]）。
  • Dynamo 是工具箱不是开箱即用系统："pip install Dynamo 不会让你直接快一大截"，它擅长的是在集群里搬运 KV cache（[00:42:26]–[00:43:26]）。

已收录访谈

日期 视频 主持
2026-08-03 推理是新的训练：推理工程全景 swyx & Alessio

相关