跳转至

Sean Lie

来源:Latent Space 2026-09-02

  • 背景: Cerebras 联合创始人兼 CTO,晶圆级(wafer-scale)架构的主设计者。自陈"在这个行业待了很久",20 年前就在参加 Hot Chips。
  • 本库收录起点: 2026-09-02 Latent Space 访谈(44 分钟,英文自动字幕,录于 Hot Chips 次日、Cerebras 总部)
  • ⚠️ 与 Andrew Feldman(同公司 CEO)的分工:Feldman 那期(2026-05)讲的是商业论证(IPO、快推理造新商业模式、G42/OpenAI 合同);本期讲的是架构与竞争格局,几乎没有重叠。

立场与核心观点

⚠️ "1000 token/s 正在变成新的 batch mode"

([00:00:00]、[00:32:13])本库认为这是他最该被引用的一句:

"过去被认为很快的 1000、100 或 200 token/秒,正在迅速变成新的 batch mode。"

它仍然有用——prompt processing、高并行负载——但"光能做 prompt processing 是不够的"。

速度的价值论证:不是体验,是 agent 的智能

⚠️([00:06:02])他明确把论证落在 agentic loop 上:你是在一轮一轮地等;跑到 4000 TPS,就能做更多 agent 循环、更多推理——"最终你得到的是明显更有能力、更聪明的 agent"。

产品阶梯

  • CS-4 / Nexus 平台([00:04:01]–[00:05:01]):模块化机架(前面模块化电源,后面叫 backpack 的模块化服务器);相对上代 2 倍供电、2 倍互联带宽、一半延迟,整体性能 2 倍。Hot Chips 上 GPT-J 跑到四千级 TPS(⚠️ 原文数字自相矛盾,本库不裁决)。
  • CS-5(明年)([00:11:03]):再 2 倍——中型模型(GPT-OSS/Gemma 这类)到 10,000 TPS,前沿模型(Kimi/DeepSeek/GPT-5.6)到 5,000 TPS。
  • 产能([00:12:03]):全部售罄,"每一兆瓦都在被极度战略性地部署"。大部分给 OpenAI;OpenAI 又把相当一部分留给内部用——他举的两个用途是事故响应("每一秒每一分钟都要紧")和最关键的研究应用。
  • 与 OpenAI 的 ultra-fast 合作([00:08:02]):OpenAI 最大、最强的模型跑到其常规 GPU 速度的 14 倍。

⚠️ 最大的未开发机会:模型都是为 NVIDIA GPU 设计的

([00:30:11]–[00:31:13])不只是"为 GPU",而是为某一款特定 GPU(B200、GB200 这类)。

"我们展示的是同一个模型快 14 倍,而那是个为完全不同的架构设计的模型。一旦你打开'哪怕只稍微调整一下模型架构'这个可能性,就能拿到巨大的收益。而如果再往 co-design 走,机会几乎是无限的。"

⚠️ 他同时是 AI 写 kernel 的坚定信徒([00:31:13]),并提到 Cerebras 在用 OpenAI 的工具推进自家芯片设计和软件([00:19:05])。

异构解耦:把数据中心当一颗芯片设计

  • 立场([00:25:08]):"推理已经不再是一种负载了,里面有很多子负载,你得为每个问题用对的硬件。" Cerebras 自选 frontier ultra-fast 这一格。
  • ⚠️ 他对"解耦会不会把数据中心切得太死"的回应,是本页最该被引用的框架([00:27:08]–[00:29:10]):

    "我们每天设计芯片的时候都在决定:这块硅片面积是给内存、给算力、还是给 IO。" 在几百兆瓦到多吉瓦的尺度上,把不同硬件凑到一起很容易就划算了;到那个点上,就像在把整个数据中心当成一台计算机、一颗芯片来设计。"对计算机架构师来说,工具箱里有这么多工具,这是梦想。"

  • 更细一层([00:28:09]):不只 prefill/decode——还有加载 KV cache、做 attention、把专家铺在不同硬件上并做负载均衡,每一项都可以有更定制的硬件。

⚠️ 晶圆级真正的难题不是当年以为的那两个

([00:39:18])大家当初以为最难的是把这么多 die 连起来和良率——那确实是必须解决的根本挑战,但最终真正的关键是供电、散热,以及如何可靠地规模化制造。

⚠️ 他预言 3D DRAM 会重走一遍这条路:"画一张 DRAM 叠在逻辑上的 PPT 是一回事,真把它供上电、散出热是另一回事。" 他把这当作 Cerebras 的优势——这些问题他们已经解决过一次([00:40:18])。

他认为下一个前沿在芯片之外

⚠️([00:36:17])"应用、问题、模型现在都大到你在单颗芯片上什么也做不成。所以一切都归结于集成。" 他点名的方向:d-Matrix 的 3D DRAM 封装、Samsung Z-HBM;Cerebras 自己两年前就启动了 DRAM 堆叠项目([00:37:17])。他给的"三要素"是算力、互联、内存——而低延迟场景里内存带宽是关键([00:38:18])。

他对同行的公开点评(本库唯一一份这种横向材料)

对象 他的判断
OpenAI 的 Jalapeno "他们造出了一块明显更好的 GPU",而且真正让他兴奋的是AI-first 的设计方法论让芯片造得更快——"这百分之百是我们这个行业的未来"([00:16:04]–[00:17:05])
Groq ⚠️ 质疑为什么只发 31B 非解耦模型的性能数、为什么没提 attention/FFN 解耦。推断是非晶圆级 SRAM 每片内存不够——跑万亿参数要数千片 LPU 才装得下权重,而 Cerebras 单片内存约是其 100 倍。预测对方会转向更小的模型([00:21:05]–[00:24:08])
NVIDIA "在做我们所有人预期它会做的事"——继续推吞吐,而这绝对是对的([00:32:13])
AMD / Trainium / TPU ⚠️ "在我看来都在试图造一个更好的 Rubin。" 价值巨大,但也该有人在别的向量上突破([00:33:14])
Etched ⚠️ 相当直接:说得很少且说法变过;"图形设计非常 impressive,但我看不到他们在做超越'比传统 GPU 更好'之外的东西";"分布式存储因为分布所以更快"这类说法"我不太理解"([00:34:15])

中美立场

⚠️([00:40:18]–[00:42:20])"开源模型市场 100% 是中国的。嗯,差不多吧,95%。"

  • 他把话说得很平衡:"这种分享正在发生、全球社区因此受益,这是好事。" 但战略上明显很难受——对模型有这么深的依赖。
  • ⚠️ 他指出的第二层,本库此前少有材料:支撑这些中国模型的硬件基础设施,也在背后慢慢建起来。
  • 结论:"这不是一家公司或一个 fab 能解决的,需要政府层面、国家利益层面的行动。"⚠️ 他补了一句"这不容易,那些人很懂行"。

与他人观点的呼应/分歧

  • 与 Andrew Feldman:同公司,观点一致,分工互补(商业 vs 架构)。
  • 与 江鋆晨(LMCache / KV Cache 解耦)与 Akshat Bubna(Modal):讲的是同一件事的硬件侧——他把 KV cache 加载、attention、专家分布都列为可定制硬件的子负载。
  • 与 Reiner Pope(MatX):"最大化计算相对通信"与他的"三要素"是同一套架构直觉的两种表述。
  • 与 肖志斌:⚠️ 两人都指向"下一代最伟大的芯片公司是 AI native 的"——肖志斌从架构师角度说,Sean Lie 从 Jalapeno 的设计方法论说。
  • 与 Simon Mo:⚠️ Simon Mo 讲的是为什么美方基础设施开发者在用中国模型(护栏误杀);Sean Lie 讲的是这个格局在硬件侧的延伸。两条并读,见 中美 AI 生态对照。

已收录访谈

日期 视频 频道
2026-09-02 推理前沿:从 100 到 10000 tokens/秒 Latent Space