跳转至

Walter Goodwin

Fractile 创始人兼 CEO(2022 年夏创办)。Fractile 做面向最大模型的全栈快推理芯片——⚠️ "全栈"在这里的字面意思是:自己有前端设计、自己的物理设计团队、自己的后端实现团队,先进封装也自己做,而公司规模约 150 人("我们在上面每一个环节都很瘦")。

本库收录他的理由:⚠️ 他给了本库两样此前完全没有的东西——① 芯片产业链的交接点到底在哪(架构师 → 前端设计 → Broadcom → GDSII → TSMC),本库此前的芯片材料从微观电路一路到代工供应链都覆盖了,但没有一份讲清"一个自研项目里哪一段自己做、哪一段外包给谁";② "带宽的 scaling law"这个框架,以及支撑它的那条历史不对称——20 年里 flops 涨了约百万倍,内存带宽只涨了约 40 倍。

⚠️ 这是一期创始人访谈,公司的技术声明全部自述、本库未核实;而他最核心的论题(带宽是被低估的那条边)恰好是押注带宽的一方最有动机主张的。

核心观点(2026-10-02)

来源:No Priors / Fractile:带宽的 scaling law

⚠️ 带宽的 scaling law:他最该被引用的一段

  • 历史不对称([00:30:18]):⚠️ "我们在过去 20 年里把 flops 放大了大概一百万倍。同一时间段里,内存带宽涨了约 40 倍。"
  • 他们声称的量级([00:29:17]):⚠️ 每块芯片带宽是 HBM 基芯片的 25 倍(自报)。由此他们内部在探索"基本上就是带宽的 scaling law",对照传统的 flop scaling law。
  • ⚠️ 他给的两条"已知的带宽 scaling law":
  • MoE 稀疏度:等智能下从 1/16 稀疏走到 1/128、1/256 会省掉大量 flops,⚠️ 但"在今天 HBM 基的 GPU 或 XPU 上高效服务这类模型会变得极其难以承受——你经常会被带宽卡住,服务时 MFU、flops 利用率非常非常低"。
  • 注意力:"有些注意力形式更不耗带宽。对某个给定的智能水平,它们倾向于更耗 flops。"
  • 结论的形状:"当你推进带宽这条前沿,你就能把另一样东西省下来——我们可以减少为达到某个智能水平所用的 flops 数。而这对这些模型的全局吞吐是一个乘数因子。"
  • ⚠️ 本库记这条的意义:它把"模型架构的选择空间"直接挂在"内存带宽的供给"上——带宽真被抬高一个量级,今天因服务代价而不敢做的架构会重新进入可选集。但这正是他最有动机主张的论题,本库未核实那 25 倍数字与两条 scaling law 的实证强度。

⚠️ 硬件彩票的双向性:新硬件要先在旧彩票上赢

([00:28:16]–[00:29:17])他承认芯片公司必须跨越一组二元性:既要在"硬件彩票"下对即将到来的工作负载极其在行("这些会在 HBM 基的 GPU 或 XPU 上被训练出来",所以要擅长把今天超激进的 MoE transformer 跑得更快更省),才有资格去"探索你自己能不能对新的模型格局施加一些引力"。

⚠️ 本库记这条为 硬件彩票 那条判断("谁迁就谁:现实是硬件更强势")的供给侧自述版本,而他把它讲得更精确:新硬件只有先在旧彩票上赢了,才有资格去发新的彩票。

⚠️ 一次公开承认的架构转向:SRAM → 高带宽 DRAM

([00:10:11]–[00:12:11])本库认为这是他最该被长期回看的一段,因为它是一条可追溯的路线修正,而修正理由很具体。

  • 起点:前两年做 SRAM 方案——他自己说"有点像 Groq 或 Cerebras"。机制是 SRAM 和逻辑住在同一片硅上,所以计算单元与权重 / KV cache 之间带宽极高,"能把语言模型推到每秒数千 token"。
  • ⚠️ 转向的理由是上下文,不是参数([00:11:11]):"今天 AI 里有两样东西在长。一个显然是模型的参数;但另一个——而这才是真让我们对那条架构路线紧张起来的——是不断增长的上下文长度。" 时间点是 2023 年底到 2024 年。
  • 转向后([00:12:11]):skunk works 项目 + 和内存厂商与逻辑代工伙伴更紧密合作,去拿对 DRAM 的高得多得多的带宽;平台 ⚠️ "明年下半年量产爬坡"(即 2027 年下半年),目标是"把 GPU、TPU 上那种更高容量更低成本 DRAM 的可扩展性,和 Groq 芯片或 Cerebras 芯片的全部速度优势统一起来"。
  • ⚠️ 本库标注一处可检验的分歧:这是本库第一次看到一家快推理芯片公司公开说 SRAM 路线在上下文长度上扩展不了。本库已有的 Cerebras 一侧材料(Sean Lie、Andrew Feldman)讲晶圆级 SRAM 的优势与"晶圆级真正的难题不是当年以为的那两个",但没有正面回答长上下文的容量问题。并列不裁决,可被 2027 年的实际部署检验。

"诱人的错配"与推理经济学的收口

  • ⚠️ 错配([00:13:11]):"今天我们拥有的那些快推理芯片,有超高带宽内存但容量低得惊人。而它们并不在跑长上下文注意力——你还是得切回 GPU 去做那件事。" 落点:"恰恰是我们几乎有能力把这些东西做快得多的那个领域,我们也没有那项技术能力。"
  • ⚠️ 经济学收口([00:14:11]):"当你看在数据中心尺度上为数千用户跑推理是什么样子,经济账实际上坍缩成本质上是你所用内存的每 GB 成本。"
  • 他对"速度用在哪"的区分([00:12:11]–[00:13:11]):⚠️ "更快的聊天机器人"是快推理的"更快的马"(他直接用了福特那个反问);真正的能力电梯是把数万亿参数的模型以每秒数千 token 跑起来,用在长时间运行的 agent 上。

⚠️ 节奏:他主张的不是"每几周一块新芯片",而是压缩观察到量产的延迟

([00:14:11]–[00:22:14])

  • 他承认的张力:"任何时刻你都希望手上已经量产地握着一块恰好针对你在意的工作负载的芯片。但如果你真有那块芯片,六个月后你又会想要别的。"(主持人补:"今天我们大概每两周出一个模型。")
  • 他的"理智来源"是找共性([00:16:12]–[00:17:12]):"一个新的 LLM 迫切地想要多出几个数量级的内存带宽"、"这些 LLM 在生成文本时倾向于自回归、极低 batch"——"内存带宽是它们统一在呼喊的东西之一"。⚠️ 而变化最快的是"开源中国模型的前沿,注意力机制的确切形态每隔几周就会在前沿上翻一遍"。
  • ⚠️ 他用 Amdahl 定律否掉了"前端提速就够"这件事([00:17:12]–[00:18:12]):"当你处在一长串组织的链条里时也类似——如果接下来那一段仍然会是常规瓶颈、常规节奏,那么作为一家只做前端的芯片设计创业公司,把 12 个月的前端设计工作缩到其中一小部分,并没有压倒性的必要或回报。"
  • 两条硬约束([00:18:12]–[00:19:12]):⚠️ fab 周期"即使在超级加急的情形下也是三到五个月";⚠️ 芯片需要"真正三到五年的摊销窗口"才是合理的财务决定;而量产爬坡本身是 12 到 18 个月。
  • ⚠️ 于是他明确否掉激进版本([00:19:12]–[00:20:13]):"我不相信我们最终会走到每隔几周就出一块根本性新芯片的状态,只因为我们把那个时间缩短了。因为这是物理世界。"
  • ⚠️ 他真正主张的论题([00:20:13]–[00:22:14]):价值在压缩"从一个观察到把那个赌注变成量产"的延迟,结果是"更多的射门机会"与"任何时刻都握着一个滚动的赌注前沿,随时准备扣下量产扳机";而他把这明确类比成前沿模型:⚠️ "芯片领域里对应前沿模型的那件事就是:如果你能找到办法在结构上刻出三到六个月的优势,你就会赢下所有那些部署。"
  • ⚠️ 主持人当场加的唯一限定必须一起记:"那只有在你关于'该量产哪一个'的决策是正确的时候才成立。" 他答"没错"。
  • 他想要的另一个后果([00:21:13]):对照"把一套英伟达系统拆开,里面有大概六到九颗定制芯片,全是英伟达自己造的"——"所以那里已经有一个差距了";他希望"生产力高到足以开始用同样的方式造我们自己的回应"。

⚠️ "架构师意图 → GDSII":把 10 年除以四,但瓶颈形状和 RSI 一样

([00:22:14]–[00:27:16])

  • 主持人的一手材料:她问过"前三大半导体公司之一的 CEO"这个问题,对方说 "10 年",而且不让她把这个预测公开。
  • 他的启发式([00:23:14]):⚠️ "过去几年一个挺成功的启发式是:永远质疑你那个逻辑上的假设,然后把时间尺度除以四。" 所以他把 10 年除以四再减一点,判断"接下来几年里会有一种端到端的原型制作"。
  • ⚠️ 但瓶颈形状比时间估计重要([00:23:14]–[00:25:14]):"芯片设计中间仍然卡着一些循环,是 NP 难问题的传统解法。如果你真想输出那份 GDSII 文件,今天你仍然要跑一堆版图工具,用常规算法做 place and route,而它们会连着跑好几天。"
  • 他推广成一条判断:"世界上很多难问题都有点像这样:有大量思考现在可以被自动化,但同时也有某件事情内在的延迟。"
  • ⚠️ 他直接拿 RSI 做类比:"我们在用 AI 指导 AI 模型开发这件事上就看到这个,也就是 RSI 的工作。是的,我们现在可以有极高的智能在指导我们的实验,但我们就只是被实验卡住了、被计算时间卡住了。"
  • ⚠️ 他引的是本库已有的材料([00:27:16]):"也许是 Beren Millidge 最近在 Dwarkesh 那期说的——你也许可以在发起一个实验前思考一百年,然后再用这些模型思考另一百年人类等效的时间去想那个实验的结果。" 他的落点:⚠️ "所以在我们去摆放某个电路之前,我们将会生成大量的推理 token。"
  • ⚠️ 他由此提出的产业建议,本库认为是全期最可操作的一段([00:25:14]–[00:26:16]):
  • 最终签核短期不变:"Cadence 和 Synopsys 和 TSMC 以及其它代工厂合作了几十年,造出那个最终的检查标记……告诉你它符合那家代工厂定下的规则——那种工作极其有价值。"
  • ⚠️ 但中间那段该被替换:"但你能不能在中间有某种模糊的摆放算法,把你带到几乎到最终设计的地方、帮你迭代更快?我认为那正是人们该多做工作的地方,否则那就是瓶颈。"
  • 被问"不会被代理模型替掉吗",他的回答是有限元分析、热估计那类仿真近似"有巨大回报",而回报恰来自 Amdahl 定律:"我们加速了智能、加速了实验之间的周期,于是加速那些试验本身就重要得多了。"

⚠️ 市场结构:为什么前沿实验室不该在芯片上押差异化的重注

([00:31:18]–[00:34:20])本库认为这是他最有结构价值的一节。

  • 现状([00:31:18]):"今天所有大规模部署的人基本都在试图尽可能多地部署分开的平台",因为"算力这种东西对这些玩家已经变得如此存亡攸关",所以供给多样性的需求会持续存在。
  • ⚠️ 他对第一方自研最锋利的一句([00:31:18]–[00:32:18]):"今天有个说法是,那些第一方自研努力的首要用途是压低大家付给英伟达的价钱。这里面可能也有点道理,因为那些努力在架构上相当相似。" 他给的判据很清楚:"那是一个并非押在'使能另一些芯片无法使能的根本能力'上的赌注。" 剩下的作用是议价、总体产能、一点控制权。
  • ⚠️ 本库记:这是本库第一次看到"自研芯片的主要功能是议价"被一个第三方芯片创业者明说,并给出了"是否使能新能力"这条判据。与 Dylan Patel 的四层价值分配、Satya Nadella 的"硅的多样化" 并读。
  • 前沿实验室为什么需要极速([00:32:18]–[00:33:19]):"对前沿实验室来说,有一扇溢价能力、溢价智能的窗口,那是它们存在的全部理由。否则我们所有人就一直用 Kimi 的模型了。" ⚠️ 所以在来自开源的背后压力下,想在前沿部署就必须同时有最好的权重与最快的部署。
  • ⚠️ "为什么不会被实验室整个吃掉":一个不对称博弈论证([00:33:19]–[00:34:20]):
  • "假设我是实验室一号,我在某种专有硅上全押了;然后实验室二号发现了某个新的计算突破,它在同等智能下交付远好得多的计算效率,但它只在它们选择部署的那块芯片上成立。我可能在铺够那块芯片、也拿到那个 5 倍计算效率之前的九个月里就死了。"
  • 结论:"所以这些公司迫切需要部署和彼此相同的平台。它们在玩的是不同的游戏——它们是在模型层竞争。而在芯片层做深度差异化的赌注、并在那些差异化赌注上全押,对任何在前沿玩的人来说都是不理性、非常危险的一步。"
  • ⚠️ 本库标注两面:这是一条真正的博弈论论证,同时也恰好是一家第三方芯片公司最需要成立的论题。 可检验性不错——它预测"前沿实验室不会在芯片上长期走远",而反向证据是 Google TPU 十多年的坚持,而他自己在同一期里承认 TPU 开了自研的头。 本库记为可检验的争议,不裁决。

与他人观点的交叉

  • 与 Reiner Pope(MatX):两人都是"自底向上重做推理芯片",但押的边不同——Pope 的材料偏逻辑与 systolic array 的微观设计,Goodwin 押的是内存带宽与容量。本库并列。
  • 与 Sean Lie / Andrew Feldman(Cerebras):⚠️ 正面分歧——他把 SRAM 路线描述成自己主动放弃的方案,理由是长上下文的容量。
  • 与 Stefano Ermon:Ermon 说"20–30% 的用例里延迟才是主指标",Goodwin 给了这条需求的供给侧瓶颈归因(容量 × 长上下文)。
  • 与 肖志斌:肖志斌讲"AI 吃掉的是验证,不是设计";Goodwin 讲的是place and route 这段 NP 难循环——两条合起来是"芯片流程里哪几段 AI 短期进不去"的互补答案。
  • 与 Beren Millidge:他直接引用 Millidge 的"实验之间可以思考一百年",并把它搬到芯片设计上。⚠️ 这是本库第一次看到一条 RSI 侧的论证被芯片一方直接复用。
  • 与 Rene Haas:Haas 讲"供应链紧张至少还有三到五年"与"AI 吃掉的是验证";Goodwin 的 fab 周期三到五个月、摊销窗口三到五年是同一条物理约束的另一侧表述。

视频