跳转至

Sean Lie（Cerebras CTO）：100 到 10000 TPS 的推理前沿，以及"1000 token/s 正在变成新的 batch mode"（Latent Space，2026-09-02）

说话人认定依据：自动字幕只有 >> 换行符，没有姓名标签。嘉宾身份由开场"We're here at Cerebras HQ with CTO Sean Lee"（[00:01:00]）确定。⚠️ 主持方至少两人（对话中有互相接话），但无法逐句区分，本页一律写"主持人"。

自动字幕专名对照表：Sean Lee→Sean Lie、Halapenio/jalapeno→Jalapeno（OpenAI 自研芯片代号，⚠️ 本库未核实该名称的官方写法）、Groq（多处作 Grok，按语境——谈 LPU/SRAM 芯片时为 Groq，谈 Grok Bot 时为 xAI）、Ruben→Rubin（NVIDIA 架构）、MB172→GB200 NVL72（⚠️ 原文含混，本库不强行还原）、D matrix→d-Matrix、Edge/Etched→Etched、Z HBM→Samsung Z-HBM、Deep Speed（[00:43:20] 主持人玩笑，疑为 DeepSeek 的口误，不替换）。

⚠️ 以下不裁决：GPT-J uh running at over 4,000 uh 400 TPS（[00:05:01]）——原文数字自相矛盾（4000 还是 4400 不明），本页只写"四千级 TPS"。

概要

本库此前的 Cerebras 材料来自 CEO Andrew Feldman（2026-05，No Priors：630 亿 IPO、晶圆级、快推理的商业论证）。⚠️ 本期是同一家公司的 CTO，讲的是架构与竞争格局，几乎没有重叠——而且本期录于 Hot Chips 次日，是本库唯一一份把当年 Hot Chips 各家发布横向点评一遍的材料。

本期最该被单独引用的六条

  1. ⚠️ 标题那句是本期最该被引用的判断（[00:00:00]、[00:32:13]）："过去被认为很快的 1000、100 或 200 token/秒，正在迅速变成新的 batch mode。" 它仍然有用——prompt processing、高并行负载——但"光能做 prompt processing 是不够的"。
  2. ⚠️ 速度的价值论证不是"用户体验"，是"更多推理轮次 = 更聪明的 agent"（[00:06:02]）：agentic 循环里你是在一轮一轮地等；跑到 4000 TPS，你就能做更多 agent 循环、更多推理，"最终你得到的是明显更有能力、更聪明的 agent"。
  3. ⚠️ 产能全部售罄，而且大部分给了 OpenAI；OpenAI 又把其中相当一部分留给自己内部用（[00:12:03]–[00:13:03]）。具体用途他举了两个：事故响应（服务中断时"每一秒每一分钟都要紧"）和最关键的研究应用（额外的推理带来明显更聪明的回答）。
  4. ⚠️ 他对 Groq 新品的质疑，是本期技术含量最高的一段（[00:21:05]–[00:24:08]）：为什么只发 31B 模型的性能数？为什么 Jensen 在 GTC 上花半小时讲的 attention/FFN 解耦一个字没提？他的推断——非晶圆级的 SRAM 架构每片内存不够，跑万亿参数模型要数千片 LPU 才装得下权重；而 Cerebras 单片的内存约是其 100 倍。
  5. ⚠️ 最大的未开发机会：所有模型都是为 NVIDIA GPU 设计的（[00:30:11]–[00:31:13]）——不只是"为 GPU"，而是为某一款特定 GPU。"我们展示的是同一个模型快 14 倍，而那是个为完全不同的架构设计的模型。一旦允许哪怕只是稍微调整模型架构，就能拿到巨大的收益。"
  6. ⚠️ 晶圆级真正的难题不是当年以为的那两个（[00:39:18]）：大家以为最难的是把这么多 die 连起来和良率——"那确实是必须解决的根本挑战"，但最终真正的关键是供电和散热，以及如何可靠地规模化制造。⚠️ 他预言 3D DRAM 会重走一遍这条路——"画一张 DRAM 叠在逻辑上的 PPT 是一回事，真把它供上电、散出热是另一回事"。

一、产品线与速度阶梯

CS-4 / Nexus 平台

  • 设计目标（[00:04:01]）：让晶圆级进入主流、进入超大规模，并解决高密度数据中心的实际问题。做法是一个模块化机架平台——前面模块化电源、后面模块化服务器（他们叫 backpack）。
  • 相对上一代：两倍供电、两倍互联带宽、一半延迟，全部在系统架构层完成（[00:04:01]）。
  • 结果：整体性能 2 倍，Hot Chips 上演示 GPT-J 跑到四千级 TPS——"几乎感觉像是假的"（[00:05:01]）。
  • ⚠️ Nexus 是为多代产品设计的（[00:10:02]），与明年的下一代晶圆芯片是一起设计的。

CS-5（明年）

  • 再 2 倍（[00:11:03]）。他给的具体目标：
  • 中等规模模型（GPT-OSS、Gemma 这类）→ 最高 10,000 TPS；
  • 前沿模型（Kimi、DeepSeek、GPT-5.6）→ 最高 5,000 TPS。
  • ⚠️ 他的收尾判断："现在全世界看到了超快推理的价值，我们赌的是，连这都只是开始。"

与 OpenAI 的关系

  • ultra-fast 合作（[00:08:02]）：OpenAI 最大、最强的模型，跑到其常规 GPU 速度的 14 倍。
  • 产能分配（[00:12:03]）：全部售罄，"每一兆瓦都在被极度战略性地部署"；很大一部分给 OpenAI，不只因为商业安排，也因为 co-design 的默契。
  • ⚠️ 主持人指出的一个商业观察（[00:14:04]）：OpenAI 本可以全留给自己、谁也不知道，但它选择也开放给企业客户。Sean Lie 不替 OpenAI 解释，只说从外部看这说得通——使命上要推进可能性边界（内部用有助于此），但它现在也是一家在谈 IPO 的公司，两边都在平衡。
  • ⚠️ 主持人自己的那句吐槽值得记（[00:26:08]）："超快前沿负载显然是整个推理市场增长最快的一段。我想要它，而且我付多少钱都嫌不够。对 OpenAI 来说提供它可能反而是个失误——不过这对 Cerebras 是好事。"

二、他对整个竞争格局的点评（本期最独特的部分）

对 OpenAI 自研芯片 Jalapeno

  • 第一层评价（[00:16:04]）："他们造出了一块明显更好的 GPU。" 他强调这本身就是大成就——"NVIDIA 不是傻子，他们占据市场是有原因的"，一出手就做出明显更好的 GPU 很了不起。
  • ⚠️ 但他说真正让他兴奋的不是那些 Pareto 曲线，而是设计方法论（[00:17:05]）：他们用了一种截然不同的、AI-first 的方法论来造芯片，因此造得更快、也拿到了这些成绩——"这百分之百是我们这个行业的未来，而由 OpenAI 领头并不意外，这本来就是他们的行事风格"。
  • 组合效应（[00:18:05]）：Jalapeno 把吞吐和延迟两端都往外推了——"即使我摘掉 Cerebras 的帽子，这对行业也是好事，水涨船高"。明年 Jalapeno 与 CS-5 同时可用时，可以组成一整套快推理产品组合，还能进一步做 prefill/decode 解耦等集成。⚠️ 他明确说 Jalapeno 不是为解耦而特化的，是为吞吐特化的（[00:19:05]）。

对 Groq

  • 背景（[00:21:05]）：Groq 已被收购（他用了 "post-acquisition"，⚠️ 收购方本期未点明，本库不猜）；他说 SRAM 架构正在变主流，连 NVIDIA 也在拥抱 SRAM 设计，等于承认传统 GPU 设计跑不到超快区间。
  • ⚠️ 他转述的场外议论（[00:21:05]–[00:22:06]）：
  • 为什么不用 30B 以上的模型发布？
  • 为什么 Jensen 在 GTC 上讲了半小时的 attention/FFN 解耦，这次一个字没提？
  • 他的评价是"这很能说明问题"、"在全面量产的产品上，只给出一个非解耦的 31B 模型的性能数字，很可疑"。
  • ⚠️ 他的技术推断（[00:23:07]）：非晶圆级 SRAM 设计每片芯片内存不够——要跑几万亿参数的前沿模型，光装下权重就要数千片 LPU。而 Cerebras 一片芯片的内存约是其 100 倍，"两个数量级的规模差是白拿的"。他预测的后果是：对方最终会转向明显更小的模型。
  • ⚠️ 他给这段做了收敛（[00:24:08]）：这与 Cerebras 无关也成立——"我在这个领域待了很久，我们当初需要晶圆级集成，就是为了聚合足够的 SRAM 来让它对大模型真正有用。"

对 NVIDIA / AMD / TPU / Trainium

  • ⚠️ 一句概括（[00:33:14]）："AMD、Trainium，某种意义上还有 TPU，在我看来都在试图造一个更好的 Rubin。" 他强调这价值巨大（"我们需要更多 token、更便宜的 token，这是现实"），但也有价值去在别的向量上突破边界——那正是 Cerebras 在做的。
  • 他对 NVIDIA 的定性（[00:32:13]）："NVIDIA 在做我们所有人预期它会做的事"——继续推吞吐，而这绝对是对的。

对 Etched

  • ⚠️ 他的评价相当直接（[00:34:15]–[00:35:16]）：他们说得很少，而且说过的话和最初说的已经变了很多（他补充"他们自己也承认"，环境变化很正常）。他的反应是"图形设计非常impressive，但我看不到他们在做超越'比传统 GPU 更好'之外的东西"；提到"分布式存储因为分布所以更快"这类说法"我不太理解，很希望他们能解释清楚"。Hot Chips 上他们确实有个机架，"显然在造东西，但感觉还有点远"。
  • 主持人要他 steel man（[00:35:16]），他给的答案就是下一节。

三、他认为真正的下一个前沿：芯片之外的集成

  • ⚠️ 核心主张（[00:36:17]）："应用、问题、模型现在都大到你在单颗芯片上什么也做不成。所以一切都归结于集成——怎么把更多算力、更多内存、更多互联聚到一起。" 他说最让他兴奋的是单颗芯片之外的创意：机架、节点、封装、互联，主持人补了一句"工厂"，他接受。
  • 他点名的两个方向：
  • d-Matrix 的 3D DRAM 封装（[00:36:17]）——"这是我们整个行业需要多做得多的事"。
  • Samsung Z-HBM（[00:38:18]）。
  • ⚠️ Cerebras 自己也在做（[00:37:17]）：backpack 做的把电直接送到晶圆正面，本质就是一种紧凑的 3D 封装；他们两年前就启动了 DRAM 堆叠项目，理由完全一样。
  • 他给的"三要素"（[00:38:18]）：造一块 AI 芯片只有三件事——算力、互联、内存；而在低延迟场景里，内存带宽是关键。
  • ⚠️ 他对 Cerebras 在这条路上的优势论证（[00:40:18]）：良率与三维封装的规模化问题他们已经解决过一次，而"Samsung、d-Matrix 和其他所有人都还要在这段时间里解决它"。

异构解耦生态：计算机架构师的视角

  • ⚠️ 他明确说 Cerebras 相信异构解耦（[00:25:08]）："推理已经不再是一种负载了，里面有很多子负载，你得为每个问题用对的硬件。" Cerebras 选的是 frontier ultra-fast 这一格。
  • ⚠️ 他对"解耦会不会让数据中心被切得太死"的回应，是本页最该记的一个框架（[00:27:08]–[00:29:10]）：

    "我们每天设计芯片的时候都在决定：这块硅片面积是给内存、给算力、还是给 IO。" 在几百兆瓦到多吉瓦的尺度上，把不同硬件凑到一起很容易就划算了；到那个点上，就好像你是在把整个数据中心当成一台计算机、一颗芯片来设计——"我要这么多能力来跑 attention、这么多来跑 prefill"。"对计算机架构师来说，工具箱里有这么多工具，这是梦想。"

  • 他给的更细一层拆解（[00:28:09]）：不只是 prefill/decode——再往下还有加载 KV cache、做 attention、把专家铺在不同硬件上并做负载均衡，每一项都可以有更定制的硬件方案。

⚠️ 这一节与 江鋆晨（LMCache / KV Cache 解耦） 和 Akshat Bubna（Modal） 讲的是同一件事的硬件侧，应一起读。

四、中美：开源模型市场"95% 到 100% 是中国的"

⚠️ 这是本期唯一涉及地缘的一段（[00:40:18]–[00:42:20]），但密度很高。

主持人先起了个头——最近有个模型在 OpenRouter 上表现很好，而且根本不跑在美国芯片上。Sean Lie 的回答：

  • 事实判断："开源模型市场 100% 是中国的。嗯，差不多吧，95%。" 大部分被认为高质量的大型开放模型都来自中国实验室。
  • ⚠️ 他把话说得很平衡："在某种意义上，这种分享正在发生、全球社区因此受益，这是好事。" 但也明显是一个战略上很难受的位置——对模型有这么深的依赖。
  • ⚠️ 他指出的第二层，本库此前少有材料：与此独立地，支撑这些中国模型的硬件基础设施也在背后慢慢建起来。
  • 他的结论（[00:42:20]）："这不是一家公司或一个 fab 能解决的，需要政府层面、国家利益层面的行动。" 他自陈 Cerebras 一直在推动、也支持任何维持美国主导地位的举措。⚠️ 他同时加了一句"这不容易，那些人很懂行"。

⚠️ 这一条应与 中美 AI 生态对照 里"护栏误杀正在把美方基础设施开发者推向中国模型"并读——Simon Mo 的那份材料 讲的是为什么美方开发者在用中国模型，本期讲的是这个格局在硬件侧的延伸。

五、几条零散但值得记的

  • 他对这一届 Hot Chips 的总体判断（[00:03:01]）："半导体行业历史上从未见过这种跨全部层级的创新密度"——芯片、互联、系统设计、软件、光学、方法论、工具链，"所有人都在全面推进"。他把这形容为硬件的黄金时代。
  • 公司定位的转变（[00:07:02]–[00:09:02]）：第一代芯片主要是技术演示——"我们告诉很多人这是未来，多数人的反应是'你们疯了，这不可能'"。现在已经从证明可以造转向解决真实问题、带来真实能力，公司的重心相应转向扩产能。
  • ⚠️ AI 写 kernel：主持人说"大家严重低估了 AI 代码生成写 kernel 这件事，而这对你们特别有利"，Sean Lie 回"绝对，我是这件事的坚定信徒"（[00:31:13]）。他还提到 Cerebras 在用 OpenAI 的工具推进自家芯片设计和软件（[00:19:05]）。
  • 更多交互式负载（[00:29:10]–[00:30:11]）：超快推理会打开交互式图形设计这类场景——图像/视频生成变成创作流程里的内联环节，而不是等待。
  • IPO（[00:42:20]）：他自陈"有时还得掐自己一下才相信我们 IPO 了，而且是史上最大的半导体 IPO"。

相关页面