跳转至

肖志斌谈 AI 芯片：制程降的是功耗不是速度、SRAM 停止微缩、软件能追回 2–3 倍（月球大叔，2026-09-07）

  • 嘉宾: 肖志斌（ZFlow AI 创始人兼 CEO；20 余年芯片架构师，历经 Oracle SPARC 数据库加速、阿里巴巴含光 800、稀疏化 AI 芯片创业）
  • 主持: 月球大叔
  • 来源: YouTube · 117 分钟
  • 转录稿: sources/uncle-moon/20260907-gxeP0tAm8mc（无字幕，faster-whisper large-v3-turbo GPU 转录 + pyannote 说话人分离，2 位说话人 / 1102 段）

说话人认定依据：SPEAKER_01 = 月球大叔（主持）、SPEAKER_00 = 肖志斌（嘉宾）。

机械依据充分：开场 [00:00:00] 的片头集锦之后，SPEAKER_01 自报"在硅谷采访 100 个有意思的人，这里是月球大叔，今天我们请到了肖志斌老师"并介绍嘉宾履历，紧接着 SPEAKER_00 答"感谢月球大叔的邀请"。其后结构稳定：SPEAKER_00 成段长叙述，SPEAKER_01 短问与应和。

⚠️ 分离在抢话处确有错配，本页据内容纠正了以下几处（举例，说明标签不是判决）： - [00:23:31] 那一块："没错，就看过这么多芯片公司的起起伏伏……我觉得后边会有一家很大的 AI native 的公司" 被打成 SPEAKER_01，但这是嘉宾的内容（主持人不可能自称看过这么多芯片公司）。 - [01:12:03] 前后的职业建议段："我永远的建议就是"被切给 SPEAKER_00，而下一句"你肯定先去那家 AI Infra 公司"被切给 SPEAKER_01——两人在此处抢话，逐句归属不可靠。本页只引用语义明确处。 - [01:14:04] 提问的尾句"或者帮助公司提升最多的一次决策是什么"被并进 SPEAKER_00 的轮次，实为主持人的提问。

本页凡引用主持方处写明"月球大叔"，其余默认为肖志斌。

本地转录专名对照表（转录稿拼写 → 本页采用）：韩光800→含光 800、西数化→稀疏化、Zflow/Z Flow→ZFlow AI、上Micro System/Sound Microsystem→Sun Microsystems、Spark 处理器→SPARC、RESC5→RISC-V、Sci5→SiFive、Synops/Synopsis/Synos→Synopsys、Mental Graphics→Mentor Graphics、Platium→Palladium（Cadence 仿真器）、Press and Load→place & route（布局布线）、dinner scaling→Dennard scaling、fem fat→FinFET、Immuration/immigration→emulation、Glock/Grock/Groker/clog→Groq、Tenslorent→Tenstorrent、Sabanova→SambaNova、Talus→Taalas、sml→ASML、东京链子→东京电子（Tokyo Electron）、常新/常存→长鑫（CXMT）/长存（YMTC）、方具/方济厂/方菌→foundry（晶圆代工厂）、袋→die（裸片）、良力→良率、留片→流片、晾产→量产、摩尔定力→摩尔定律、利用力→利用率、平引→瓶颈、卷机体系架构→计算机体系结构、Long Time/Rontime→runtime、磁源→词元（token）、Specular Decoding→speculative decoding、ServiceIO→SerDes、伪延迟→尾延迟（tail latency）、MO1→MoE、caribrate→calibrate、几张运算→矩阵运算、Dipsy→DeepSeek、GBT5.6→GPT-5.6、SGLAN/VRM→SGLang / vLLM、open cloud→OpenClaw、金城老师→江鋆晨、杰森/老黄→黄仁勋（Jensen Huang）、如鼠夹真/如暑假之→如数家珍、惊喜（在优化语境下）→精细、结测速度→决策速度、水到七成→水到渠成、猜测了（在部门语境下）→裁撤了、负能→赋能、Color Code→Claude Code、雨门货门→与门或门、三个集→三个极（gate/source/drain）。

⚠️ 以下几处本库不裁决，照录存疑： - Eopat（[00:02:01]）：语境是"发明 CPU 里 branch prediction 架构、在 UT 任教 20 年、到浙大讲课的教授"，指向极可能是 Yale Patt，但本库不替他认定。 - DSAL（[01:40:31]–[01:41:34]）：他说"英伟达最近提了一个叫 DSAL，就是 AI Token Factory Simulator 这个事情，Jensen 在 GTC 上提过"。名称拼写存疑，本库不猜，只照录他给的功能定性。 - 能力/能反/能反程（[01:50:38]–[01:51:38]）：语境是"芯片公司的成本来自固定资产投资，所以 ___ 反而是其次的；互联网公司大部分成本投在 ___ 上面"。疑为「研发」或「人力」，两种读法都通，本库不裁决，正文按语义描述、不替他填词。 - 两倍吸收（[01:02:55]）、不急不限（[00:21:29]）、住所（[00:22:30]）、Open Model Ways（[01:19:08]）、Zlasher（[01:05:58]）、闪门（[00:57:54]）、浪机构（[00:57:54]，SambaNova 某位联创的名字）：语义不明或为人名/专名，不猜。 - kimi case rate 是 2.3 trillion parameters（[00:44:39]）：疑为 Kimi K3，但本库不替他认领型号；DeepSeek V4 的 1.6T 参数同段给出，一并照录为"他说"。

概要

这是本库第一份完整的"芯片架构师视角"材料。此前本库的芯片侧来源分两类：芯片公司 CEO/创始人（Reiner Pope、Andrew Feldman、Lip-Bu Tan、Pat Gelsinger、阳萌）与推理软件侧（游凯超、Simon Mo、朱邦华、江鋆晨）。肖志斌处在两者之间：他做了 20 多年软硬件协同设计与架构定义，现在做的是给这两侧当仲裁的仿真工具。

最该被单独引用的七条：

  1. ⚠️ "制程进步降的是功耗，不是速度"（[00:35:39]–[00:36:39]）。本库此前多处把制程当性能代名词——他给的具体数是 TSMC N3 → N2 功耗省 10–15%，而速度只提升 3–5%。真正的收益是同样机架里能塞进更多算力。
  2. ⚠️ SRAM 在 5nm 到 3nm 之间停止微缩（[00:38:39]–[00:39:39]）。逻辑还能继续缩，SRAM 的 cell size 不再变小。 他直接点名这条对 Groq 与 Cerebras 这两家把模型放在片上 SRAM 的公司意味着设计哲学要变。
  3. ⚠️ 软件能从 7nm 追回多少：他给了一个可引用的量级（[00:59:54]–[01:00:55]）。7nm → 2nm 的物理差距约 2–3 倍（且因 SRAM 不缩要打折）；而 PD 分离 + 低精度量化 + speculative decoding/MTP + runtime 调度能拿回约 2–3 倍，再加上利用率从行业平均 30–50% 提到 80–90%。⚠️ 但他立刻自己反驳了这条的安慰性："你有 7nm，我有 2nm，我也能做同样的软件优化。"
  4. ⚠️ "下一代最伟大的芯片公司是一家 AI native 的芯片设计公司"（[00:22:30]–[00:23:31]）。他的论证不是技术而是组织：现有芯片公司的工程师不愿意让 AI 取代自己现在的工作，而真要用好 AI 必须从架构到验证到物理设计全流程重做——"很难革自己的命"。
  5. ⚠️ 英伟达的护城河在他这里是"执行力 + 供应链"，不是软件（[01:02:55]–[01:04:58]）。这条与本库既有的软件侧叙述正面冲突，且他自己点破了这个分歧："从软件的角度看英伟达，节奏是比较慢的；但从芯片的角度看，它执行力第一。"
  6. ⚠️ 半导体产业链的国别分布，他给的是"中美之间最全"（[00:29:34]）：美国握 IP/EDA + 架构设计，中国有代工（中芯国际）、DRAM/NAND（长鑫、长存）、EDA 与 IP 公司；荷兰 ASML 的光刻机、日本的设备（东京电子）与材料、英国的 ARM 各据一环。
  7. ⚠️ 他对薪资结构的判断，本库认为是本期最该进 AI 与就业 的一段（[01:50:38]–[01:53:38]）：硅谷芯片工程师工资长期低于软件工程师，原因是芯片公司的成本大头是固定资产投资；而现在云厂商也在变成这种结构——capex 成为最大投资，收入不再能靠软件复制无限 scale。他由此推论大模型工程师的薪资会向"用 EDA 工具的芯片工程师"靠拢，只有少数架构师级别的人维持顶尖回报。

核心观点

一、芯片是怎么做出来的：一条他完整讲完的流水线

⚠️ 这一节是科普性描述，本库收录是因为它给后面几条判断提供了必要前提；读者若只关心结论可直接跳到第二节。

  • 周期（[00:13:20]、[00:19:27]）：传统 CPU 芯片设计两年 + 流片 + 系统软件上线，总共三到五年。英伟达把节奏带到每年一代甚至一年多款，但研发是 overlap 的——"我们现在看到的 B300/GB300，可能是两三年以前的设计"。
  • 角色链（[00:14:21]–[00:17:24]）：需求（市场/Hyperscaler 场景）→ 架构师做 PPA（Power/Performance/Area）+ Cost 的 trade-off 并出 spec → 微架构师把 spec 变成可实现硬件、写 RTL → 验证工程师（功能/形式/时序/physical 验证 + FPGA 与 Palladium 级仿真）→ 综合、物理实现、布局布线、clocking/power → 与系统厂商 co-design 封装 → 送代工厂。
  • ⚠️ 验证工程师与设计工程师的配比是 1:2 到 1:3（[00:16:22]）——验证的人比设计的人多。理由他说得很直接："芯片一旦流片失败，可能几亿美元就没了，一两年时间也没有了。"
  • 代工环节（[00:17:24]–[00:18:26]）：版图送到台积电或中芯国际，三到四个月做 mask，一层层往上"在硅上面印刷"；一个芯片的复杂度由印刷层次决定，现在要几十甚至接近上百层 mask。回片后测 wafer defect → 切 die（良率由晶圆厂保证）→ 封装 → 上 PCB 做系统验证 → 送样 → 量产。
  • 一个历史细节（[00:20:28]）：他说黄仁勋早年把最后一笔钱拿去买了一台仿真器给 GPU 做验证。过去芯片基本要流好几次片才成功，现在大部分一次流片成功，少量做 metal fix。⚠️ 这是他转述的行业故事，本库未核实。

二、"纳米"到底是什么，以及它降的是什么

  • 65nm 之前的"纳米"是物理量（[00:32:35]–[00:33:36]）：指晶体管栅极长度（gate length）。
  • ⚠️ 65nm 之后"纳米更多是一个营销词汇"（[00:33:36]）：它代表一代技术，而不是某个单点物理参量——可能是新型晶体管（如 FinFET）、M0 pitch（最底层金属互联宽度）、standard cell 面积、SRAM density 的组合。
  • ⚠️ 推论：不同厂商的同名制程不可比（[00:34:36]）："三星、Intel 或台积电的 7nm 跟另一家的 7nm 其实没有可比性。" 真正该比的是standard cell 面积、SRAM density，以及某种设计下的 PPA。
  • ⚠️ 反常识的那一条（[00:35:39]–[00:36:39]）："大家觉得 7nm 到 5nm 或 3nm 芯片速度变快了，实际上重点不在速度，重点在功耗。" 具体数字：台积电 N3 → N2，功耗省 10–15%，速度提升 3–5%。每一代之间功耗的收益远比速度多。
  • 为什么功耗才是目的（[00:36:39]–[00:37:39]）：功耗降低 → 发热降低 → 同一个机架里能塞更多 compute → 计算密度增加。
  • Dennard scaling 的终结（[00:36:39]–[00:37:39]）：以前供电电压跟着面积一起降，现在所有晶体管有一个基准电压，再往下降不下去了。配套解释：芯片功耗分静态功耗（开关稳态下的耗散）与动态功耗（开关切换时的耗散）；12nm/16nm 以上主要是动态功耗，之后漏电流效应让静态功耗越来越大。
  • ⚠️ SRAM 停止微缩，以及它对谁最要命（[00:38:39]–[00:40:39]）：AI 芯片大约一半是逻辑、一半是 SRAM（片上 memory）；SRAM 的 scaling 在 5nm 到 3nm 之间就停下来了，cell size 不再变小，而逻辑部分还能继续缩。他把推论直接点到公司名上：Groq 与 Cerebras 都是基于片上 SRAM 的架构，SRAM 不缩意味着它们的设计哲学要变——"或者架构配比不一样，或者要做别的事情，比如 3D 堆叠"。

三、一个 token 是怎么被吐出来的：他的数据中心全链路

本节与本库 游凯超、江鋆晨、Baseten 推理团队 的材料高度重叠但视角不同：前几位从软件往下看，他从硬件往上看。

  • 链路（[00:40:39]–[00:45:40]）：prompt 经网络到网关 → 调度器排队并决定发往哪台服务器/哪块 GPU → 若有上下文则做 RAG 取历史（可能在数据库、磁盘，或如果是进行中的对话则在 GPU memory 里）→ 组装 input prompt → runtime 把模型调进 GPU、做 prefill（计算密集型、可并行、token 间无依赖，由 GPU 算力决定，可做 batching）→ 产出 KV Cache（存在 GPU，太大则落到 SSD/flash）→ decode（memory bound：每产生一个 token 都要把全部 KV Cache 读进 GPU、把全部权重过一遍，且新 token 又生成新的一列 KV Cache 要写回）。
  • 分布式的必然性（[00:44:39]–[00:45:40]）：他给的模型尺寸是 DeepSeek V4 已到 1.6T 参数、Kimi（⚠️ 型号存疑）2.3T 参数——所以推理也必须分布式，KV Cache 与权重要在多 GPU/多服务器间传，互联交互时间必须与计算时间匹配，否则流水线被最慢那一环拖住（他用的词是 starving）。
  • 软件优化的空间有多大（[00:45:40]–[00:46:41]）：他举 NVIDIA 称 B200 上某个 120B 开源模型两个月内靠软件优化性能提升 5 倍（⚠️ 转述厂商说法，本库未核实）；月球大叔补了一条 OpenAI 用 GPT-5.6 优化自己 GPT-5.6 推理性能的新闻（⚠️ 同样未核实）。
  • 优化的四个层次（[00:46:41]）：kernel level → runtime 调度组织 → compiler/模型编译 → 资源调度。他的方法论落点是："要做好优化，其实要做好抽象；抽象好了以后，你就可以交给 AI 很多事情。"

四、三家 SRAM/Dataflow 芯片公司：Groq、Cerebras、SambaNova

  • 为什么 GPU 不适合 decode（[00:50:44]–[00:51:45]）：GPU 是 high throughput 的 streaming machine，并行处理极强，做 prefill 非常合适；但 decode 阶段计算资源配比不合适——GPU 大部分是 idle 的，一直在用 HBM 来回搬数据。
  • Groq 的架构（[00:51:45]）：他说这很像他自己博士做的 many-core DSP——所有任务数据常驻芯片内部，通过 dataflow 流水在多个 core 之间流动，靠软件调度，不需要数据在片内片外频繁搬运。
  • ⚠️ 他对 flash attention 一类工作的定性值得单记（[00:52:48]）：这些优化本质都是在让数据尽可能留在 GPU 内部、减少搬运，也就是在 GPU 上模拟 dataflow——"但最终 GPU 不是一个 dataflow machine，所以英伟达需要一个类似 Groq 的 dataflow 架构去辅助它"。这是他给 NVIDIA 收购 Groq 的解释。
  • 同期的另一侧（[00:52:48]）：他说前两天参加 AMD 的 Advanced AI event，AMD 在与 Cerebras 合作做 prefill/decode 异构的推理集群。
  • Cerebras 与 Groq 的异同（[00:52:48]–[00:55:52]）：逻辑架构非常像（都是片上 SRAM + dataflow），Cerebras 多的是晶圆级（wafer scale）——不切 die、不单独封装，芯片之间用晶圆上预留的线宽直接互联。他列了三个由此产生的工程难题：
  • 供电：原本从 die 旁边引脚供电，整片晶圆周边不够，所以必须做垂直供电。
  • 散热：晶圆很大，cooling 是问题。
  • 良率：切 die 时坏的直接丢掉，晶圆级封装在一起必然含坏芯片，所以要设计绕过坏芯片的互联机制。
  • ⚠️ 他的评价是"技术很酷但路径不唯一"（[00:55:52]–[00:56:54]）："Wafer scaling 是非常酷的技术，但其实不一定要做 wafer scaling"——3D 堆叠、高速互联都能解 scaling。同时他给了正面的一面：垂直供电现在已经成为数据中心芯片的普遍方向，说明它很多技术走在前沿。他的总评是"非常棒的公司"，并指出当时台积电也要配合它一起做。
  • SambaNova（[00:57:54]–[00:58:54]）：多位联创是他在 Oracle 的旧同事。定位是折中的 dataflow 架构——SRAM 占很大部分，但还带 DDR/HBM，不像 Groq 和 Cerebras 那样激进（纯 SRAM 在模型大到一定程度放不下，就需要更多芯片）。
  • 把模型焊进芯片（[00:11:18]–[00:12:18]）：月球大叔问起，他点名是加拿大的 Taalas，创始人来自 Tenstorrent（Tenstorrent 现任 CEO 是 Jim Keller）。他的评价：做法非常激进，但投资人愿意投代表一种趋势——特定任务下模型会固化，从经济效益上讲值得把模型焊死在芯片里。技术上它并非完全焊死：芯片上留了多层 metal，可以只重做 metal 层流片，比 full mask 便宜，"但它的可编程是要把 wafer 再送回晶圆厂做 metal fix"。

五、"下一代最伟大的芯片公司是 AI native 的"

  • AI 进芯片设计的现状分布（[00:21:29]–[00:22:30]）：
  • 验证用得最多——因为验证像编程：有 input、有 output、还有可验证的仿真器判断对错，所以很像 coding agent。
  • 正向设计相对少。
  • 物理设计（floor plan 等）EDA 公司（Synopsys、Cadence）已经大量在用 AI。
  • ⚠️ 缺的一块是架构——"选什么样的架构、做什么样的芯片、芯片定义怎么做，目前这种架构的工具还非常少，还需要架构师起很大作用"。这正是他公司要填的位置（见第七节）。
  • ⚠️ 他给的障碍是组织而非技术（[00:22:30]）：现在芯片设计公司"有自己的一套流程，很多工程师不大愿意用 AI 取代自己现在的工作"；而一旦要取代就是全流程、要用 AI native 的方式思考。所以——

    "下一代最伟大的芯片公司，实际上是一家 AI native 的芯片设计公司：从架构到设计到验证到仿真物理设计，都要用 AI native 的思路来做这家公司。"

  • 他的加重语（[00:23:31]）："或者只有这样的公司，才可能在以后的情况下 survive"——因为老公司"很难革自己的命"。

六、英伟达：他给的护城河与软件侧的看法正相反

  • ⚠️ 这一段是本期最该被 AI 基础设施 页收进去的分歧点。 月球大叔先说了软件/AI 圈对英伟达的普遍印象——"最躺的公司、最舒服的公司"、软件"慢慢慢慢地走"（[01:02:55]、[01:04:58]）。肖志斌的回应是从芯片行业看结论完全相反：
  • 执行力（[01:02:55]–[01:03:56]）："英伟达是芯片行业里面执行力最强的公司。" 依据：每代芯片迭代速度非常快；做架构的激进程度也非常快——"它有点像一个初创公司：某个想法，它说做了就做进去了，而很多公司还在写论文一直没做进去"；能从模型侧拿到 feedback 并以创业公司的速度做架构演进。他把收购 Groq 的决定做得非常快也算进这条——"要收购一家软件体系跟自己不兼容、还可能有威胁、自己也能做的公司，这个决定做得非常快"，并归因于 founder led 的公司决策速度快。
  • 供应链（[01:03:56]）：他引黄仁勋近期采访的说法，很大的优势在供应链把控。他给的推论对挑战者是硬的——即使你能设计出针对某场景更好的推理芯片架构，"你拿不到 HBM 的产能，拿不到台积电的产能，内部工程师的迭代速度也不一定比得过英伟达"。
  • 他自己的一句限定（[01:04:58]）："只要 Jensen 还在带这个公司，这个优势还是会持续的。"
  • ⚠️ 本库标注这条与本页第二/三节并不矛盾：他同时认为workload 固定后会有越来越多人做定制推理芯片（[01:02:55]，他类比"当年视频火，大家都开始做视频芯片"），并且承认英伟达最大优势在训练、推理会被更多人分（月球大叔的概括，他答"说的也对"，[01:01:55]）。他的论点是"定制推理芯片会有，但护城河不在架构而在产能与迭代速度"。

七、"AI 推理最缺的是什么"：他的答案是系统优化能力

  • 直接回答（[01:05:58]–[01:06:58]）：最缺的还是算力；但从瓶颈角度讲，缺的是"持续做系统优化、把 token cost 持续降下来"的能力——因为模型越来越多、芯片架构眼花缭乱、后面还会更异构，再加多模态与 agent infra，优化空间很大但人跟不上。
  • 他的终局判断（[01:06:58]）："AI 应该成为一个像 utility 一样的基础设施，水跟电一样。" token 成本肯定会降下来。
  • ⚠️ 但他把降价的时间尺度交还给物理世界（[01:07:58]）：电厂与电网要五年以上周期、晶圆厂有自己的规律、光刻机的每年交付量也是一道卡。月球大叔替他把这句收成"卡在物理世界的执行速度上"，他确认。
  • ⚠️ 由此推出的那条，本库认为是本期最有杠杆的一句（[01:08:59]）："如果物理世界有限，那就软件来补。" 而现在软件上的算力浪费非常大——"很多 GPU 的利用率其实非常低"，且因为模型变化太快、硬件演化缭乱，大家其实都没有更精细地去做那些优化。只有成本或物理世界的限制倒逼，大家才会把优化做到极致，而且这个优化必须自动化。

八、软件能追回多少硬件差距：本期最该被中美对照引用的一段

月球大叔的提问很直接（[00:58:54]）：一边是 2nm/5nm 芯片跑大模型，另一边只能用 7nm/12nm，软件层面能追回多少？

  • 先拆物理差距（[00:59:54]）：7nm 与 2nm 的差别在同性能下的功耗（计算密度）与互联（SerDes speed）两处，大概 2–3 倍。⚠️ 但因为 SRAM 在 5nm–3nm 之间不缩，这部分收益要打折。
  • 软件能拿回的两块（[00:59:54]–[01:00:55]）：
  • PD 分离 + 低精度量化 + speculative decoding / MTP + runtime 调度优化：约 2–3 倍。
  • 利用率：从行业平均 30–50% 提到 80–90%。
  • ⚠️ 他立刻自己把这条的安慰性拆掉了（[01:00:55]–[01:01:55]）："如果是同样的（水平），我有 2nm 的芯片、你用 7nm 的芯片，我也能同样做这些软件优化。" 也就是说——软件优化能补上的是"对方没优化好"的差距，不是制程差距本身。 月球大叔总结成两面："好的一面是无论拿到怎样的芯片都有大量优化空间；不好的一面是 2nm 的也有优化空间，都可以往前走"，他确认。
  • ⚠️ 但他紧接着给了一条结构性的反向理由（[01:01:55]）：制程领先的一方"不需要软件做得那么精细，因为芯片迭代太快，而软件也需要成本"；工艺受限的一方反而必须做更多系统级 co-design、做得更细，拿到的 benefit 更多——代价是人力与资源成本更高。月球大叔把它收成"这也就是很多资源受限的公司能够做出不错创新的原因"，他答"没错"。本库认为这是本页对中美对照最有价值的一条机制性解释。

九、EDA、RISC-V 与产业链的国别分布

  • 美国握的是什么（[00:25:33]–[00:26:34]）：IP 与 EDA（RISC-V 起于美国，ARM 架构属英国，x86 属美国）、架构与设计。三家最大的 EDA 公司是 Synopsys、Cadence、Mentor Graphics——"如果没有这三家公司，基本上大家都没办法设计芯片。"
  • EDA 为什么只有这几家（[00:27:34]–[00:28:34]）：① 行业经历了大规模并购，这几家是把无数小创业公司收拢合成的；② 后端物理设计工具是与代工厂 co-design 出来的——"你的物理设计工具跟那个制造节点其实是一起开发出来的，需要这些代工厂配合"。这两条加起来是他给的 EDA 护城河解释。
  • 产业链的国别分布（[00:28:34]–[00:29:34]）：
  • 中美之间产业链最全：美国有 IP/EDA/架构；中国有代工（中芯国际）、DRAM/NAND（长鑫、长存）、以及很多 EDA 与 IP 公司。
  • 荷兰：ASML 的光刻机。日本：半导体设备（东京电子）与材料。英国：ARM 的 IP。
  • 日韩各有自己 special 的环节（代工、设备或材料）。
  • ⚠️ 他关于开源社区跨越地缘政治的一条观察（[00:31:34]–[00:32:35]）：RISC-V 圈子里很多创业公司创始人是他的校友或朋友，美国有 SiFive 为首的一批、台湾有 Andes 做 RISC-V IP、国内有很多阿里系的人出来做 RISC-V 芯片。他的评语是："即使在中美地缘政治这么紧张的情况下，大家在开源这一块的配合或者合作还是非常多的。" 月球大叔补了一句芯片厂商大会与学术大会上"一水的华人面孔，都是师兄师弟那种感觉"。
  • RISC-V 为什么会出现（[00:30:34]–[00:31:34]）：他转述与 RISC-V 部分创始人的交流——当时做架构研究要用 ARM，但 ARM 是 license 结构、面向 mobile application、比较贵、对学术研究不够自由，所以他们决定推一个开源指令集生态。好处是可以从头设计、可扩展性好、不需要兼容 legacy、面向新 workload。⚠️ 他给的一条普及性事实：英伟达自己的 GPU 芯片里很多控制器/处理器大量使用 RISC-V。
  • FPGA 为什么"不火了"（[00:24:31]–[00:25:33]）：它在主流 AI 数据中心推理里不是更有效的实现；但在芯片验证/emulation 里仍大量使用，在可编程性要求高、协议随时在变的芯片间互联、以及非常碎片化的场景中仍在用。他的原则性说法是：workload 固定之后，FPGA 不是最有效的实现。

十、开源：他按"位置"而不是按立场回答

背景是月球大叔提到黄仁勋近期带头号召支持开源（⚠️ 倡议名称转录为 Open Model Ways，本库不认领，见页首）。

  • 硬件侧（[01:20:08]）：硬件很少开源，RISC-V 这种开源 IP/指令集比较少见；大量 IP（SerDes 等）都要 license。
  • 软件侧（[01:20:08]）：软件开源造就了互联网的繁荣——他举的组合是 Google 的几篇论文 + x86 服务器 + 开源 Linux + 开源大数据处理系统，"造就了上一代互联网的繁荣"。
  • ⚠️ 模型开源他给的是一个位置函数，不是价值判断（[01:21:11]–[01:23:13]）：
  • 对个人：绝对是好事——可以在更复杂的项目上贡献，技能可迁移（"从一家公司到另一家公司，技术和 knowledge 可以转移"）；可以部署私有化的 OpenClaw agent、自己把控数据。
  • 对企业：取决于你在什么位置。领先的大模型公司一旦开源，前期巨额训练投入如何收回成本是个大问题；后来者开源则可以把自己的生态做大。对使用方企业，开源方案若能做到合规与 safety 有保证，可以降低成本，也可以作为对大模型公司的 leverage。
  • ⚠️ 对国家：同样是先来后到的问题——"如果中国是在美国的位置上，中国也不一定会开源。后来者通过开源的方式追赶，是业界比较常见的一个模式。"
  • 月球大叔的落点（[01:23:13]）：开源对各方考虑不同，"但无论如何，作为一个个体永远支持开源"。

十一、职业与薪资：他把 AI 行业的未来类比成半导体的过去

  • 硅谷芯片工程师薪资低于软件工程师的结构性解释（[01:50:38]–[01:51:38]）：
  • 芯片公司的成本来自固定资产投资——流片费用、EDA license、IP 费用，所以（⚠️ 此处转录含混，见页首）投在人身上的部分反而是其次的；顶尖架构师很稀缺，但大部分人是"用 EDA 工具的 engineer"，工资不高。
  • 互联网公司过去相反：大部分成本投在（⚠️ 同一含混词）上面，一旦产出软件就可以无限成本地 scale。
  • ⚠️ 他说这个结构正在反转（[01:51:38]）："现在这些云厂也变成了有点像我们原来传统的半导体公司：capex 变成了最大的投资，而且 revenue 的成本跟硬件是成比例的，而不是说你通过复制可以无限 scale。"
  • ⚠️ 由此推出的薪资推论（[01:52:38]）："大模型可以认为是你的 EDA 工具，更多的软件工程师变成了用 EDA 工具的人。" 所以顶尖的那批（类比芯片行业的架构师）还能维持很好的回报，但大模型工程师会变成用 AI 工具的软件工程师，薪资会有变化。月球大叔补充当前高薪是因为技能紧缺 + 为了维持领先地位，进入平稳期后"很难想象还和现在一样"；肖志斌补了一句限定——开这么高工资的其实是很小一部分人。
  • 对高中生要不要学计算机的回答（[01:53:38]–[01:54:40]）：要学。理由是"人人都要变成架构师"——能上下拉通、用工具帮你实现很多事情，但底层的东西还是要学，加上商业模式与自己的 taste 与 know-how。
  • ⚠️ 他对没有兴趣的人给的是另一条路（[01:54:40]–[01:55:41]）："如果这不是你的兴趣……AI 可以提升 productivity，你可以变成像半导体行业工程师用 AI 的那种人，可能不是顶尖的待遇，但生产力提升到一定水平，大家的基本福利还是可以的。" 但他随即给了一个更重的尾巴——"我觉得社会最后有可能真的会两极分化，很多人其实可能就不需要工作。"
  • 他自己的职业方法论（[01:10:01]–[01:13:03]、[01:28:18]）：每次选择都问"这个东西能不能学到我原来没接触过的"；尽可能做创新性的、能看到全局的项目。他把自己定义成"做架构的就是想在不确定性中寻找确定性"。⚠️ 他主动给了体谅：稳定、解决身份问题也是正当选择，"在没有后顾之忧的情况下"才建议追创新项目。

十二、ZFlow AI 在做什么，以及他对这条商业模式的自我诊断

  • 产品（[00:08:14]–[00:09:15]、[01:36:25]–[01:40:31]）：把模型编译 + runtime 调度 + AI 系统仿真 + 自动 profiling 合成一个统一平台。价值主张是客户在没有硬件的时候就能仿真各种硬件优化方法，并回答"什么样的模型跑在什么样的硬件上最经济"——这个硬件可以是已存在的，也可以是不存在的。
  • 定位（[01:37:25]）：他明确说想做中立（neutral）平台——兼容不同芯片架构与系统，可以把 NVIDIA 的东西和 AMD 或非 NVIDIA 的硬件放在一起做仿真优化。他指出很多芯片公司内部也把自研 simulator 开放给上层用，"但我们不一样"。
  • 对开源生态的定位是互补而非竞争（[01:36:25]）：想给 vLLM/SGLang 这类 serving runtime 提供 virtual backend——"你的 runtime 可以跑在一个虚拟的仿真环境下面，就不需要那么多 GPU 资源去做优化，甚至可以提早做这些优化"。
  • 已公布的结果（[01:34:24]–[01:39:31]）：在 8 卡 B300 上对 DeepSeek V4 做 day-zero serving 支持，得到 1.5 倍峰值吞吐 + 2–3 倍尾延迟改善。方法是先用仿真决定配置（例如要不要做 PD 分离、多少 GPU 做 prefill、多少做 decode），再把配置落到 serving 框架上。⚠️ 他主动说明这是真实结果不是仿真结果——与 Neocloud 合作、对方提供 GPU 资源。
  • ⚠️ 他给的仿真精度，本库认为是本页最有信息量的一组自报数字（[01:38:26]–[01:39:31]）：prefill 阶段 90% 以上精度，decode 阶段 80–90%。差距来自动态行为：batching/concurrency 的动态、以及 MoE 模型里的 expert 路由（数据分布不同，路由就不同）。他的应对是用 profile 得到的结果去 calibrate 仿真模型。
  • 难点他说得很具体（[01:40:31]）：仿真精度与可优化性之间要做大量抽象——系统架构要抽象、网络要仿真（topology、switch 仿到什么精度、路由怎么仿、拥塞控制算不算），且只需good enough。"如果没有真正做过很复杂的实际系统、又能抽象出来做这一套，其实是很难做到的。"
  • 他给的行业先例（[01:41:34]）：NVIDIA 最近提的"AI Token Factory Simulator"（⚠️ 名称转录存疑）与他们是类似概念——"Jensen 在 GTC 上提过这个事情，这个东西确实太难了。"
  • ⚠️ 他与月球大叔一起给这条商业模式做的负面诊断，本库认为比产品介绍更值得记（[01:43:35]–[01:47:35]）：
  • 历史类比是数据库的 query optimizer——他说数据库优化"复杂度其实跟 AI 差不多甚至比 AI 更复杂"，因为数据库有大量随机、data dependent 的动态行为，而 AI 虽有 MoE/batching 的动态，大部分还是矩阵运算，比较固定。
  • ⚠️ 但"数据库加速公司其实很少成功"：业务形态变化非常快、技术栈太深、做数据库的人自己也有 optimizer，所以商业模式很难定义。
  • ⚠️ 他给的行业规律是本页最该被 AI 商业化与价值捕获 引用的一句："要么你带着客户——客户需要你、信任你；要么你带着资源——你有 GPU resource。必须要靠一头，要不然很难。纯粹做 infra 或 optimization 的公司，很难占住这个位置。" 月球大叔接："很多看起来是 AI infra 公司，实际上是 GPU 公司"，他确认。
  • 月球大叔给的正面类比是 VMware（[01:46:35]–[01:47:35]）：一开始看不清商业模式，突然有一天每家云厂商都得部署这套东西。肖志斌的回应是"至少从我的角度讲，黄仁勋已经看到了这个事情"（指 AI Token Factory Simulator），并给了缺口的定性——"很多 AI infra 公司缺的不是优化工程师，缺的是资源。" ⚠️ 月球大叔当场不同意："我觉得也缺工程师，因为现在这种复杂程度，毕业生搞不了。" 他给的合格人选画像是工业界多年、懂底层 GPU 与架构的人，或者深度参与 SGLang / vLLM 社区的人。肖志斌答"其实是的"。
  • 他的融资与 BD 节奏（[01:31:23]–[01:33:24]）：大部分时间在 BD——找合作伙伴、与潜在客户聊、签 MOU、定义生意模式；burn rate 很低；融资刻意压在很短的窗口内做，而不是长期占用时间。他自陈的逻辑是先把 business 讲通、有付费用户、value 做出来，融资是水到渠成，并主动说明"我做 CEO 也在学习过程中"——有的人是持续融资、融更多做更多事，"融资是另外一套 skill set"。

与本库其它观点的关系

  • AI 基础设施：本页给该页补了三条此前缺的硬件底层事实——制程降的是功耗（N3→N2：功耗 10–15% / 速度 3–5%）、SRAM 在 5nm–3nm 停止微缩、以及验证工程师与设计工程师 1:2–1:3 的配比。他对英伟达护城河的判断（执行力 + 供应链，而非软件）与该页既有的软件侧叙述构成直接分歧，本库并列不裁决。
  • 中美 AI 对照："软件能追回 2–3 倍，但对方也能做同样的优化"是本库迄今对"软件补硬件"这一说法最严格的一次限定；而"工艺受限的一方反而被逼做更细的系统级 co-design"给该页已有的 DeepSeek infra 的一手观察（游凯超） 提供了机制解释。产业链国别分布（中美最全，荷/日/英各据一环）是该页第一份来自芯片架构师的版本。
  • AI 商业化与价值捕获："AI infra 公司要么带客户、要么带 GPU 资源，纯优化公司占不住位置"是该页此前没有的供给侧行业规律，且他用数据库加速公司少有成功做了历史佐证。
  • AI 与就业："大模型是你的 EDA 工具"这个类比，以及互联网公司正在变成 capex 主导的半导体式成本结构，是该页第一条从另一个行业的薪资史反推 AI 行业薪资未来的论证。他的收尾"社会最后有可能真的两极分化，很多人其实可能就不需要工作"应与该页已有的各方立场并列。
  • 开源基础设施："开源与否是位置函数而非立场"——领先者难回收成本、后来者靠开源做生态、"如果中国在美国的位置上也不一定会开源"——与 Simon Mo、游凯超、Eiso Kant 的论证角度都不同，本库把它记为一条去道德化的解释。
  • 月球大叔：本期是该频道在本库中第一份纯芯片架构材料，此前该频道的来源集中在推理 infra（朱邦华、江鋆晨、游凯超）与应用层（李正韬）。