Reiner Pope¶
MatX 联合创始人/CEO——为 LLM 设计专用芯片的美国创业公司;此前在 Google 工作(PaLM 推理优化背景)。以"白板从零推导"的教学风格在 Dwarkesh 频道做了数据中心与芯片两期硬课。
核心观点¶
- "最大化计算相对通信"是芯片设计的第一性原理,从 ALU 位宽(门数随位宽平方增长——这是低精度算术有效的唯一根本原因)到 systolic array 到跨芯片推理,同一权衡贯穿全栈(芯片设计课 00:14:44–00:15:49、00:34:58–00:37:06)。
- 传统处理器 7/8 的面积花在数据搬运(寄存器堆/mux)而非计算,Tensor Core/systolic array 的本质是把矩阵乘外层循环烧进硬件、让权重驻留(00:17:03–00:34:58)。
- "GPU 是一大堆微型 TPU 平铺";TPU 粗粒度摊销成本、GPU 细粒度搬运灵活。MatX 的公开答案是 splittable systolic array(01:15:29–01:19:55)。
- 芯片设计"大多是 sizing 决策"(寄存器堆 vs 阵列面积预算);含反馈环的逻辑是时钟频率的真正瓶颈(00:37:06、00:46:43–00:47:45)。