肖志斌：AI芯片，英伟达，全球供应链，2纳米，中美日韩，Groq，Cerebras，SambaNova，创业，AI原生

[00:00:00] SPEAKER_00: 英伟达是芯片行业里面执行力最强的公司 还有比如说光刻机的每年交付量上面 其实也是一个卡 大家觉得7纳米到5纳米或者3纳米 其实芯片的速度变快了 那实际上重点不在意速度 重点实际上是在功耗 SPEAKER_01: 好像之前听到硅谷有一家公司 甚至想把某些模型直接焊在芯片里 SPEAKER_00: 所以我觉得下一代最伟大的芯片公司 实际上是一家AI Native的芯片设计公司 SPEAKER_01: 您这真是如鼠夹真呀 感觉您这脑子里边整个就是芯片的发展史 和各种厂商的地图呀 太夸张了 SPEAKER_00: 因为芯片一旦流片失败 这个可能就是几亿美元就没了 然后一两年的时间也没有了 SPEAKER_01: 在硅谷采访100个有意思的人 这里是月球大叔 今天我们请到了肖志斌老师 从业20多年的顶级芯片架构师 99年考入这大竹可真学院 后来在美国UCD工读博士 [00:01:00] 毕业后一直在从事芯片行业 我们有请肖志斌老师 SPEAKER_00: 感谢那个月球大叔的邀请 然后观众朋友大家好 SPEAKER_01: 我们直接进入主题 您20年的职业路径非常非常有意思 一开始的时候 您把加速器做到CPU里面 后来开始专门做专用的AI芯片 然后再做稀疏芯片 现在您却创办了一家 不造芯片的系统优化公司 对于我来说 看到您这种转型 就在思考 是不是意味着 AI性能的竞争的主战场 正在从晶体管芯片 转向这些软件 优化和开发 您是怎么做出这样的转型的 SPEAKER_00: 这是一个非常好的问题 其实首先回答 是的 就是AI芯片的战场 从芯片设计本身转向了这种系统级的设计 包括这种异构系统的软件的设计 那其实我过去20多年 有一件事比较幸福的事情 [00:02:01] 就是说我自己做的事情 一直是没有离开本专业 一直是芯片设计相关 然后更确确的说 其实就是软硬件协同设计和架构设计 然后我从一开始在浙大本科 读的是WE 后面为什么去做这个架构和芯片设计呢 是因为当时上了这种计算机组成的课 然后计算机体系结构 包括当时有一个很有名的教授 叫做Eopat 然后他是发明CPU里面的这种 Branchi Prediction的这个架构的这个老师 UT20年的教授到浙大去讲课 正好暑期我上了他这个课 然后从此就喜欢让他做Computer Architecture 或者是计算机体系结构 然后我直接所有过去20多年做的事情 从本科研究生博士到加入Oracle去做CPU的设计 当时做数据库的加速芯片的设计 [00:03:02] 之后在阿里巴巴做韩光800和AI芯片的设计 在之后创业做稀疏的AI芯片 到目前我做这家AI基础设施的系统优化公司 那其实一直做的就是一件事情 怎么样让系统变得更有效 那系统更高效的做计算 就一直是做同一件事情 那我最早的话其实是做DSP处理器 当时是在浙大读本科研究生的时候 做的是单核的DSP处理器 那时候大概是在02、03年开始 当时有这种类似于863的项目 当时在国内要支持做这个 自主研发的CPU和DSP处理器 那我有幸从本科的时候就参与了那个项目 然后在浙大又读研究生 当时在浙大读研究生 参与这种比较大的DSP处理器的正向研发工作 [00:04:03] 还是非常少见的 所以我们当时我的这个研究生的课题 当时是在基于MIPS MIPS一种传统的这种处理器架构 基于MIPS处理器指令集上面做多媒体指令的扩展 最后这个DSP处理器是为了做 当时是很简单做那个MPEG 是VCD的编辑码 有语音跟视频的编辑码 那这是我的研究生的项目 然后博士的项目呢 就在UC Davis读博士 那从单核的DSP就变成了Mining Core的DSP 当时解决的一个问题是用Mining Core的方式做流适计算 叫做Data Flow Computing 去做Communication Problem 还有这种视频的编辑码的问题 还有一些这种Big Data的这种大数据的查询和排序的一些问题 那这样在这种流适的结构上面 [00:05:06] 其实就是跟现在的所谓的用AI处理器的这种Data Flow的架构很像 就是让数据在片上流 而不把数据放到这个芯片外面 所以数据实际上是在很多的Mining Core的 就很多Core的DSP处理之间进行流动 然后每个DSP处理器 它的那个这个指令和Memory 指令和那个数据的Memory非常非常的小 然后通过某种互联的方式把这些芯片连接在一起 那当时这个架构其实还是非常有先进性的 每个DSP处理器它可以tune它的frequency和voltage 这是我的博士课题 然后之后在Oracle的话就进展到 我们在CPU里面支持这种数据库加速 那当时Oracle是买了Sound Microsystem 我们大概是在2015年左右 那我是2017年加入Oracle 那Oracle当时我们还在做Spark处理器 [00:06:08] 可能很多听众朋友不知道Spark处理器 Spark处理器当时Spark跟IBM的PowerPC 还有X86是主要的几类大型的这种服务器的CPU的指令集 Spark的这个服务器当时是几年之内不用关机 加上那个Solaris操作系统它是非常稳定 Oracle买了上以后呢我们当时想做一些创新 那怎么创新 那Oracle的主业是做数据库 那我们就想在Spark的处理器里面 把数据库的这些操作放在CPU的作为一个coprocessor 或者是一个加速器单元 跟CPU共享整个所有的memory带宽 然后这样可以saturate整个CPU的memory带宽 然后可以做in-memory的这种数据库 我们当时有TPCH 这个可能做数据库人知道 TPCH是一个benchmark里面有22条query 然后我们当时是把这些算子硬化到硬件里面 [00:07:12] 然后设计一套指令集 然后设计一套run time 然后跟Oracle的这个database去做这个对接 就相当于变成了Oracle的这个query optimizer的一个accelerator 你可以用这个东西来加速某些操作 那这在Oracle大概做了五六年这个事情 之后的话就是在阿里了 给阿里巴巴做第一代的AI芯片 再往后的话就是上一家AI芯片公司 我们做西数化的AI芯片 到现在我们做Zflow AI 那所有这些经历 最终我们是看到整个芯片 因为这个摩尔定力越来越慢 所以芯片level的这个单芯片的这个 这个算力性能的提升或者是功耗的降低 其实都越来越变成了一个瓶颈 那瓶颈其实在系统层次和软件层次 所以这也是为什么如果我自己做的事情不是瓶颈了以后 [00:08:14] 或者是已经有很多AI芯片公司在解决这个单芯片的问题 那我觉得我应该要去解决一个瓶颈 瓶颈新的瓶颈的问题 新的瓶颈就在系统 所以这也是为什么我们创建Zflow这家公司 我们通过做架构的方式 架构仿真的方式 去指导AI芯片的设计 还有这种AI系统的优化 然后我们把模型的编译 Long Time的调度 还有AI系统的仿真合在一起 做成一个统一的平台 这样我们的这个客户在没有硬件的时候 他就可以去仿真各种硬件优化的方法 然后在特别是现在这些AI的这种集群越来越贵越来越大 其实很多系统工程师 他是没有这种硬件支持的 所以我们的这种系统仿真 其实给了他们一个很好的一个工具 去做系统优化 那带来的好处就是 [00:09:15] 直接提升这个AI模型在硬件上面的这个效率 然后我们回答了一个非常重要的问题 就是到底什么样的模型 跑在什么样的硬件上是最经济的 那这个硬件有可能是已经存在的 还有这个硬件有可能是不存在的 我们通过仿真把这两件 和那个做自动profile 把这两件事情合在一起了 所以回到刚才你的问题啊 就是确实我们这个AI系统的瓶颈 不在于AI芯片了 更多的是在于系统还有软件 SPEAKER_01: 哎呀感谢萧老师 就刚才听您讲这么长 就感觉您亲身经历了 就是说你看VCD 多媒体 大数据 数据库 一直到现在AI 就感觉 因为我之前读的是多媒体的PRD 我之前小时候也用过VCD 就感觉过去二十多年 就是所有和人类 就是科技息息相关的这些东西 您都是站在一个 计算机体系结构和芯片的方式 [00:10:17] 亲身参与过 SPEAKER_00: 对对对 SPEAKER_01: 这真的是就是听完你讲 就感觉一种波澜壮阔的历史 就是说整个大时代背景下 您在里边 自自不倦在干活那种感觉 反正我是能听出来的 我不知道 大家是不是 因为我是做软件的 我不是做硬件的 但是我能感知到 过去二十多年 您在这些所有的这些 不同的方向上 做了很多很多 在体系结构和芯片上的那些努力 对尤其是刚才您说到 你现在转型是因为摩尔定律 它已经快失效了 在摩尔定律失效的情况之下 您就去做更多的软件 对我们可以后边再继续 慢慢地去深入地聊一下 每个阶段的故事 SPEAKER_00: 其实我这家公司 是一个系统优化公司 其实是所有AI芯片公司 或者要做芯片的公司 其实都需要先做 我现在做的这件事情 所以我也不排斥 如果我们看到机会 我们也会跳进去做芯片 也许是孵化出一家芯片公司 对理解 SPEAKER_01: 您刚才也说了吗 就是说如果您发现仿真 发现某些模型 更适合跑在某一种架构上 您可能自己就去做那种架构了 [00:11:18] SPEAKER_00: 对而且现在是模型的这种 架构比较converge了 比如说如果有一个模型 它用在这个特定任务上 它就能达到我们人类的需求 对吧我们的需求 比如说扫地机器人 或者是某种 比如说在停车场里面 监测这个车辆 类似的这种特定任务 如果这些特定任务 已经不怎么改变了 那我们完全可以去做芯片 去做专用的芯片 去加速这个事情 对 SPEAKER_01: 这个我好像之前听到 硅谷有一家公司 甚至想把某些模型 直接焊在芯片里边 是不是有这种意义 SPEAKER_00: 那个是加拿大的一家公司 叫Talus Talus那个founder 实际上是Tenslorent的founder 然后Tenslorent架构 是另外一家 AI推理芯片公司 它现在的CEO是Jim Keller 就是硅谷传奇架构 然后Talus那家公司 我觉得他们是做得非常激进 但是我觉得 为什么投资人还要投他们 我觉得就代表了一种趋势 有可能在特定任务下 [00:12:18] 模型变得更加的固化 那经济 从经济的效益上讲 是值得去把这个模型 去焊死在芯片里面的 当然它那个架构 其实有一定的灵活性 它不是完全的焊死 它是在芯片上面 还有不同的Metal 就是然后它好几层的Metal 可以去做重新流片 所以它比每一次重新 Full Mask的这个流片 是要便宜的 所以它是可以可编程的 但是它的可编程是 还要把你的Wafer 再送到晶圆厂 重新做Metal Fix 对 SPEAKER_01: 哎呀 真的是外行看热闹 内行看门道 您这个讲故事 也会描述这些芯片厂商 故事的能力太强了 感觉接下来这个访谈会 非常非常的精彩 然后就是 那您刚才讲了吗 您有可能也后边 还会再去做芯片 就是我作为一个 非常非常不知道芯片 怎么做出来的人 就特别想了解 一颗芯片到底是怎么设计 [00:13:20] 和实现就是量产 了解 SPEAKER_00: 其实芯片设计 其实是非常的 这个整个这个设计的周期 是非常长的 像我们以前做CPU芯片 那基本上是三 两年设计周期 然后流片 然后最后系统加软件 最后要上线 可能要三到五年 那最近 就是英伟达 就把这个芯片的节奏 这个带起来了 就是说每年 甚至于一年出 好几款芯片 那芯片一开始 其实是说 就像建房子 我们要决定 到底做什么样的芯片 你到底是做 编解码芯片呢 还是在做这个通信的 这个比如说WiFi 某一个标准的芯片 还是做比如CPU GPU相对比较通用 所以决定做什么芯片 那这个是实际上是市场驱动的 或者是你 比如说你跟某家公司 某家Hyper Scaler 这种云服务的公司 他看到了一个应用场景 他觉得 比如说在有些云厂商 [00:14:21] 他做编解码芯片 比如说有一些 做视频流的这个公司 他这个挺有意思 就是说这是一个应用场景 就是每个人的手机的编解码能力 都不一样 所以他的那个手机视频输入的时候 是各种五花八门的格式 然后他要通过一个Transcoding 把它变成统一的格式 存在那个服务器上 然后分发的时候 大家手机的性能又各有不一样 分辨率又不一样 又把这个格式又转成不同的格式 那这个就是一个专门的芯片 那这就是先从需求说法 有这么一个需求 如果我用CPU去做的话 那非常贵 有甚至于Transcoding 很多CPU是不带这种编解码的能力的 所以你需要加很多的这个 这个CPU服务器专门做这件事情 所以先从需求开发 然后需求好了以后呢 那就是架构师要入场了 架构师要 这是我们叫做PPA [00:15:22] Power Performance Area 还有Cost的这个Tradeoff 芯片到底做多大 然后有哪些功能 那这些功能跟竞争对手之间呢 又有什么样的差距 因为我芯片这个竞争非常惨烈的 就是说基本上第一名 占了大部分的市场 那第二名在小部分 第三第四名只能喝汤 或者吃四只汤都喝不到了 所以你可以还要去做竞争市场的这个调研 你的芯片一两年之后不能落后 这是架构师要做的事情 架构师最后出来一个芯片的Spec 在后面我们这里面还有一个微架构师 微架构师就是把芯片的Spec 芯片的Spec有可能是指令级 有可能是芯片的high level的 block level的这些这个结构 然后这些结构和功能定义好了以后呢 那微架构师就要出厂了 怎么样去把它变成一个可以实现的硬件 因为同样一个功能 [00:16:22] 比如说我做一个编辑码的这个FFT 我有无数落着干种实现的方法 那每一种实现的方法都有那个不同的tradeoff 那微架构师就进来了 然后架构师给它这个constrained 微架构师把它变成一个微架构 那微架构的很多都微架构人也会写RT 这个叫做硬件编程语言 把它翻译成硬件的编程语言 那中间之后的话就是验证工程师要上了 就是说验证工程师 其实以前没有AI的时候啊 就是一个芯片设计工程师 呃一个芯片设计工程 那基本上大半可能是1比2或者1比3 设计工程师跟验证工程师的这个配比 所以需要很多的验证工程师 然后这里面做功能验证 形式验证 时序验证 physical验证 还有就是在芯片没有出来之前要做immigration 你要去用FPGA这种方式去做验证 [00:17:24] 你要去买Cadence的大的那个叫做Platium 那种大的这个仿真器做验证 所以这里面验证是非常重要的 因为芯片一旦流片失败 这个可能就是几亿美元就没了 然后一两年的时间也没有 所以验证非常重要 再往后的话 这种RT而实现以后 他要做综合 然后最后做物理实现 然后最后做布局布线 然后clocking power 然后跟这个系统厂商去codesign 你的power怎么样进去 你的package封装是怎么做 封装做完了以后呢 最后你送到方济厂 方济厂就是台积电啊 这个或者中芯国际吧 这些厂呢大概要三到四个月的时间 那三到四个月做什么事情 你把那个版图送过去以后呢 他们就是做mask 一层一层一层的往上 你可以认为就是在硅上面画图做印刷 那这个印刷 每一层的这个印刷的层次 [00:18:26] 一个芯片的复杂度啊 由它的印刷层次决定的 一般现在都要几十 甚至于接近上百次 上百次这种mask 然后三四个月以后呢 你的这个晶圆就回来了 回来了以后你要找晶圆测试厂 先验证你这个Wafer有没有defect 这是就是不是功能验证 最后呢就是Wafer回来了以后 你要切成一个一个的袋 那这个是要保证良力的 就是没有defect 晶圆厂保证的是你这个 袋的这个良力 然后你再把这个袋送给封装厂 去变成封装的这个格式 然后最后封装的芯片 要跟这种做系统的厂商 PCB放在系统板子上面去做测试 然后做功能验证和各种 各种实验室条件下的验证 然后最后就是给客户送样了 送样完了以后呢 再后面就是晾产 所以整个过程非常长 对整个设计周期也非常长 [00:19:27] SPEAKER_01: 这听起来太长太复杂了我的天哪 对这个周期得多长呀 最后能晾产的话 SPEAKER_00: 最后一般的话以前我们说是三到五年 但是从英伟达的芯片 芯片从设计到开发的话就是大概两年左右的时间 但是现在有些芯片其实变成了每年都迭代 但实际上它的能源是overlap的 就是说每年出一代 但是实际上是研发过程中实际上是可能是两到三年以前就开始了 所以我们现在看到的比如说 英伟达的B300GB300 可能是三年以前 两三年以前的设计了 SPEAKER_01: 这个真的是太长太长了 感觉中间有一些披露的话 就会出现很大的延迟和问题 SPEAKER_00: 没错就是从设计到你整个Wafer的良率 到供应链到你这个封装测试的散热 到你最后你的软件要同时匹配 所以中间出错的概率非常的 [00:20:28] 这也是为什么做芯片验证是非常重要的 做验证 当时这里讲个故事啊 当时老黄不是做芯片吗 就是英伟达做芯片 他当时最后老黄这个钱用的差不多了 最后花了他最后的那部分钱 去买了一台仿真器 就是为了给芯片做验证的 当时这个GPU做验证用的 然后在这样导致他在没有留片之前 因为以前做芯片啊 这个验证工具还非常的这个有限 所以以前的芯片基本上要留好几次片 才可能成功 但是后面根据这个验证手段 还有这种emulation的工具 所以你可能大部分的芯片 都是一次性留片成功 少量的是需要做这个metalfix 但是这也非常正常在芯片二页里面 SPEAKER_01: 那现在我还看到硅谷有一些公司 用agent开始就是说介入 然后承担一些设计和那个验证的一些角色 您对这些公司有什么判断 [00:21:29] SPEAKER_00: 我非常了解 因为很多公司都是我朋友嘛 他们自己在做 SPEAKER_01: 我就不说公司名字了 SPEAKER_00: 对对对对 我觉得这是一个趋势 用AI来设计芯片呢 现在大家还是在做验证这个工作 因为验证其实有点像编程 所以它有点像coding agent 就是它是有input output 而且还有可验证的这种仿人工器 是验证你到底出不出错 所以用AI来做验证的这个工作特别多 做AI做正向设计这个呢 还相对少一点 用AI来做那个物理设计 比如说是不急不限啊 floor plan啊 其实这些EDA公司已经像Synos Cadence 已经大量在用AI来做了 对所以我是觉得 所以我是觉得用AI来设计芯片 是一个大势所趋 但是这里面还缺一块 一个是架构 怎么样 选什么样的这个做什么样的芯片 然后芯片的这个定义怎么做 [00:22:30] 目前这种架构的工具 还是非常少的 还需要架构师在里面起很大的作用 然后第二个事情是说 现在这些芯片设计公司 有一个比较大的问题 就是采用agent或者AI agent 因为大部分的这个 它有自己的一套流程 所以很多工程师是 就是不大愿意在这个用AI来 取代他自己现在的那个工作 因为如果一旦要取代 其实是要整个全流程 要用AI native的方式去思考 所以我觉得 下一代最伟大的芯片公司 实际上是一家 AI native的芯片设计公司 那其实是从架构到设计 到验证到仿真物理设计 其实都要用AI的这个 native的思路来做这个公司 目前我觉得大部分芯片公司 在adoptAI这一块 只是作为一个住所 但是真的要把AI [00:23:31] 用到它的价值用到最大的话 一定是一家新的 AI原生的这种组织的芯片公司 SPEAKER_01: 哎呀您这个非常开放呀 您对于这个问题 您坚信就是后边 还会有更伟大的芯片公司 没错 就看过这么多芯片公司的 起起伏伏 经历过这么多代 芯片的研发 我觉得后边有会有一家很大的 AI native的公司 然后做出超级超级牛的芯片 SPEAKER_00: 对或者只有这样的公司 才可能在以后的这个情况下 能够 survive 对但是现在因为芯片公司 它都有原来的一套逻辑 就很难是在原有的基础上去做这个事情 很难革自己的命 SPEAKER_01: 对没错 哎呀这么一看的话 机会太多了是不是 对 年轻一带往前冲就完事了是吗 没错没错 SPEAKER_00: 哎太强大太强大 SPEAKER_01: 就太激励人心了好不好 我不知道看完这个节目中 有多少人同学回去搞新片 加油啊大家 对刚才您提到了很多很多点吗 就是因为我之前是搞那个视频网络传输的 所以说我大概知道 您说那个整个流程 [00:24:31] 但是我从来没有从那个芯片设计这个角度去考虑 不过我也听到了很多朋友 在YouTube的时候 他们说为了解释 对 他们说为了节省YouTube 这每年这么多视频的编辑码 对 肯定是要做很多那种定制化的硬件 来做这些事情 因为他们一定是有这个需求在 需求 SPEAKER_00: 而且是从TCEO的角度 这个杖势可以算得过来的 SPEAKER_01: 对他太大了 全球第一的那个视频公司 没错 还有就是第二点就是 我在读PGD的时候 经常听到一个单词FPGA 对你刚才您也提到了FPGA 对对对 但是他好像在这两年不太火了 对 你有没有这种感觉 反正我是感觉不太火 SPEAKER_00: 其实FPGA它现在不在 就是说用于主流的 AI数据中心的推理 其实是它不是更有效 但是在FPGA比如说做芯片的验证 Immuration其实还大量的用 在有一些场景下面 它对于可编程性要求比较高 还是大量的用 还有FPGA做互联 比如说芯片跟芯片之间的互联 如果它的协议是随时在变的话 [00:25:33] 那其实就是说它可能是不是一个 如果你workload固定以后 它不是一个最有效的实现 但是对于这种非常这个碎片化的场景 其实FPGA在很多情况下还一直在用 SPEAKER_01: 明白 还有一个问题就是 也是你刚才讲到了很多方面 架构师 微架构师 业证工程师 之前经常听到一个言论 说美国是拥有全球最先进的芯片技术 然后NV Apple这些特别特别擅长设计和架构这一块 然后呢 但是他们又把所有的那些制造 就是外包给了台积电 大家都说美国擅长芯片设计 然后台积电是擅长芯片制造 这个论断是对的吗 SPEAKER_00: 我觉得是对的 就是甚至于就是说美国 其实拥有的其实一个是IP和EDA 第二是架构跟设计 就是像这种Risk5也从美国开始的 [00:26:34] 像ARM的架构虽然是英国的 还有这种X86的架构 就是指令级IP这一块 然后EDA公司像Synops Cadence 跟Mental Graphics 就是三家这个最大的EDA公司 如果没有这三家公司 那基本上大家都没办法设计 或者设计芯片 SPEAKER_01: EDA全称是啥 SPEAKER_00: EDA是电子设计自动化 对 它主要干嘛的呢 它就是帮助刚才我说的每一步 它都是通过工程师跟EDA工具一起做到的 SPEAKER_01: 就跟MetLab一样一种专用工具 没错 SPEAKER_00: 比如说做架构设计相对比较少 但是Synopsis比如说有这种PAU的工具 Platform Architecture Archer 然后做把这个RT而变成这个网表 那像Cadence Synopsis有这种Synthesis的工具 然后做RT的验证 有这种Simulation的工具 VCS啊这些 然后做Physical Design 有Press and Load的工具 然后做Timing验证 [00:27:34] 有Timing验证的工具 做那个形式验证 有形式验证的工具 做Package 有Package Design的这种EDA工具 其实是每一个工种 都有一个对应的工具 在帮助那个工程师在做这件事情 SPEAKER_01: 那这些工具卖的贵不贵 SPEAKER_00: 这个工具也卖的非常贵 而且有些东西只有这几家公司有 对 SPEAKER_01: 只有他们有的原因 是因为他们在这个工具上 积累了大量的那个 沉淀了知识和产权吗 SPEAKER_00: 其实是的 其实EDA行业经过了这么多年的发展 其实是有大规模的这种 merge acquisition 就是这些公司其实是收购 收并购了很多很多的小的创业公司 最后合成了这几家大的公司 这是第一点 那第二点就是说它的后端 就物理设计的这些工具 其实都是跟这个方具厂 一起co-design出来的 所以你的物理设计工具 跟那个方具 就是刚才我们说的这个制造的节点 比如说几纳米几纳米 [00:28:34] 其实是一起从开发出来的 就是需要这些方具厂的配合 大家一起做 所以这里面有就是资本和这种 这个这个业界的这种 acquisition的这个merge的这些 呃沉淀 也有跟这些物理设计方具 就是生产厂家 合作出来的这些经验吧 SPEAKER_01: 哎呀这个东西门道也太深了 就是这些东西其他国家 包括咱们中国 它有没有人在做呢 SPEAKER_00: 呃有呃就是因为半导体的产业链 supply chain非常非常长 就是方具呢 方具又包括这种逻辑的这种 这种呃生产厂 还有memory的生产厂 方具什么意思 方具就是呃 其实是新贵新变厂吧 就是就台积电啊 smic啊他们这些都是叫方具 呃那那中国也还有这些 常新啊常存啊是做DRAM的 还有做NAND的呃是有 [00:29:34] 然后中国也有很多EDA公司 然后也有IPJ的公司也有 然后就中国中美之间 其实是产业链最全的呃 呃但是其其他在其他一些国家 比如说像荷兰sml做光刻机 对吧然后日本在呃半导体设备 有东京链子然后日本这边还有一些 做材料的这些公司 其实都是半导体产业不必不可少的一环 呃像英国有ARM对吧 ARM他是有IP 嗯所以呃 主要门内最全的其实还是中美之间 但是日本韩国他有自己的一些 special的这些呃 不管是呃方具还是设备还是材料 对 SPEAKER_01: 哎呀您这真是如鼠夹针呀 感觉您这脑子里边整个就是芯片的发展史 和各种厂商的地图呀 太夸张了 太夸张了 刚才您还提到了一个RESC5的东西 啊对 我因为经常就是看博克利那边的那些工作嘛 对 [00:30:34] 他们家就特别擅长做开源 对 开源软件呀各种VRM SJ9 对 但是我也知道RESC5 我既然是个开源指令机的芯片 对对 您觉得他们为什么要这样做一个开源指令机的东西 呃 SPEAKER_00: 我觉得我我记得跟RESC5的有一些这个这个创始人 他有过一些沟通啊 当时他们要要做一些架构的研究或者是开发 他们要用ARM 但是ARM是一个license的一个结构 然后而且ARM在就是说 呃 他是针对于这种mobile的这种这种application 然后他也也比较贵 然后对学术研究不够自由 所以他们决定要推这个开源的这个生态做新的指令机 而且新的指令机有很多好处啊 你可以从头开始设计 然后可以可扩展性啊 这就设计的非常好 还有就是不需要兼容很多的原来一些legacy的东西啊 面向新的workload 所以呃 [00:31:34] 开源这个指令机这一块 我觉得RESC5 其实业界已经大量在用这个RESC5的这个这个指令机的处理器了 包括像英伟达自己的呃 呃GPU芯片里面其实有很多的控制器或者处理器 其实都是大量用的RESC5 SPEAKER_01: 哦这个是真不知道 但是我确实知道很多就是国内也好 就是这边贵国也好有大量 它有一个产业联盟感觉是 SPEAKER_00: 啊对有个叫RESC5 submit 还有RESC5的这个联盟 然后其实很多RESC5的创业公司的founder 都是我们朋友嘛 也是我们呃就是很多好朋友 特别在国内国国外都是 像美国这边是Sci5 以Sci5为首的这些RESC5公司 然后像台湾有Andes 他们是做RESC5 IP的 那国内有其他有蛮多的 有很多阿里系的人出来做RESC5芯片 也都是我们的校友或者是朋友 感觉这个圈子很小啊 SPEAKER_01: 就是如暑假之 大家或多或少可能都认识对不对 啊对因为芯片行业相对来说 [00:32:35] SPEAKER_00: 大家是还是比较紧密的 因为上下游的关系嘛 即使是在中美地缘政治这么紧密的情况下 大家还是就是其实是在开源这一块的啊 啊这个呃配合也好 或者是开源这边的合作还是非常多的 对真好真好这种感觉 SPEAKER_01: 而且经常看到就是芯片的那些厂商大会 或者学术大会 嗯一水的华人面孔 也感觉都是师兄师弟那种感觉 SPEAKER_00: 对对是 SPEAKER_01: 对然后而且刚才你说到了 就各种纳米制程嘛 咱们再说说这个纳米制程的问题 对对对 天天看新闻天天看各种报道 2纳米3纳米5纳米7纳米 SPEAKER_00: 对这些纳米叫到底意味着什么 呃其实是以前啊 我们一个制程几纳米几纳米 其实是啊在那个呃制造的里面有一个物理的这个参数 就是对应那个纳米那大概是在65纳米之前啊 啊就是说那比如说我们其实所有的这个芯片 [00:33:36] 其实都是由这种transistor或者晶体管组成 那晶体管现在大部分就是就是三个集嘛 一个门一个source一个chain 然后以前的这个纳米都是指这个gate这个lens 就是门的这个长度 然后在65纳米以前那之后的话 那之后的话其实这个这个纳米更多的是一个营销的词汇 就是说纳米代表着一代技术 那这个不是一个单点的技术 也不代表一个物理参量 它有可能是啊新型的这一代代表新型的这个晶体管 比如fem fat 然后代表它的那个metal pitch 就是就是因为那个龟上面叠那个线啊 那个是metal 就是用铜铜互联或者是用这个金属互联 然后metal的最底层的那个金属的那个互联的那个那个宽度 那叫m0pitch 那这个这个pitch呢也算是一个技术参数 [00:34:36] 还有就是standard cell的这种标准的这种门级电路的这个cell的size 还有sram的这个density sram是某一种片上的memory 那这个都是整个所有的这些参数代表了一代的技术 那那厂商就把它定为7nm 5nm或者12nm 但实际上没有一个物理参数对应它 而且每一家厂商比如说三星 英特尔或者是台积电 他们的7nm跟另外一家7nm其实也没有可比性 那最终要比的其实是说 大家看看我你的standard cell 就是standard cell是一个门啊 就是说比如说雨门货门 这种基本的逻辑单元的面积 PPA 然后或者是你的sram的这个density 或者sram的size 还有就是比的是在某种设计下面的PPA 就大家比的是这个 就很难两个工艺 虽然同样叫7nm很难直接对比 SPEAKER_01: 那对于我们这些普通人来讲 [00:35:39] 听完您说了这么多的名词 反正还是不太理解 但是大概知道很牛很牛逼 就是那么就是单纯进程的这种进步 比如说从7nm变成5nm 从5nm变成3nm 对 它到底解决了什么问题 进步了哪些东西 又没有解决哪些问题 SPEAKER_00: 对 这里面其实是有一个 因为有一个反常识的问题 大家觉得7nm到5nm或者3nm 其实芯片的速度变快了 那实际上重点不在意速度 重点实际上是在功耗 就是说在同样性能下面 功耗可能可以降一半 或者每一代之间 功耗的变化 或者是benefit 或者是益处吧 其实是远比速度变化更多的 比如说台积电 有可能N3到N2 就是3nm到2nm的这个节点 它的power就是功耗 就是功耗可能节省10%到15% [00:36:39] 但是它的速度 可能就是3%到5% 这样的那个节省 所以每一代芯片之间 其实是功耗 其实是最重要的 在同样性能情况下 功耗降的更多 SPEAKER_01: 真是第一次听到这个表述 对 SPEAKER_00: 然后功耗降了以后 在同样的一个rack 比如说我的一个机架里面 你就可以塞更多的compute 那计算的密度就可以增加 SPEAKER_01: 因为它散热变也降低了 对吧 热量也降低了 SPEAKER_00: 对 热量也降低了 以前哈 就是说在可能更没有到5nm 7nm之前 就是功耗跟面积 其实是有个叫做dinner scaling 就是说你的你的supply voltage 就是你芯片的那个电压 跟着面积也一直往下降 但是现在因为所有的门 所有的transistor 是有一个基准的这个电压的 [00:37:39] 就再往下降降不下去了 所以大家也知道 一个芯片的功耗分为两部分 一个是静态功耗 一个是动态功耗 静态功耗就是说 你可以认为所有的这些逻辑电路 其实就是一个门或者一个gate 那静态功耗就是说 当你开的时候跟关的时候 稳定状态下 然后它产生的功耗 那动态功耗就是在你这个开关 状态之间 这个产生的功耗 叫做动态功耗 以前在12nm 甚至16nm以上 主要是这个动态功耗 但是后面就是静态功耗越来越大了 就是说漏电流的效应 越来越多了 所以功耗当时动态 这个有点复杂 SPEAKER_01: 没事你讲 我觉得大家能够尽可能的 去跟上你的思路 讲实在是太好了 因为这个东西 我觉得你已经是努力的 以最通俗的语言 让大家去理解了 大家可以多看几遍反出 SPEAKER_00: 对 因为这里面 这个芯片的这个行业里面的 [00:38:39] 这个技术 这个stack特别的深 然后又有这个各种名词太多了 所以我尽可能的去解释 但是大家记住的意思 这个整个芯片工艺 比如7nm到2nm之间 这种更多的是 大家要讲的是一个功力的 就是power的这个问题 其实是降的是功耗 SPEAKER_01: 所以说一个2nm和7nm 两个芯片 可能就是2nm的就是芯片的那个功耗 只有它的几分之几 然后因为它功耗降低了 热量变低了 所以说它可以在一个机柜里面塞更多 对 而这个单机柜的话 就能产生更大的能力 然后也不用那么多的数据搬运 全部都在在一起 没错 SPEAKER_00: 但是这里面如果要细讲的话 那可可以讲的很细啊 比如说以AI芯片为例 AI芯片里面你知道一半是逻辑 一半是SRAM SRAM是一种on-chip的memory 那SRAM的这个scale 在5nm到3nm里面它就停下来了 [00:39:39] 就SRAM再往下工艺再往下的话 SRAM的这个cell size它不会变了 这是一个大家可能很多人 不是特别清楚的一个问题 不清楚 对 然后逻辑那个部分呢 确实还能再往下继续scale 然后这里就有个问题 那这意味着什么 SPEAKER_01: 这意味着什么呢 SPEAKER_00: 这意味着 这很有意思啊 就是说 这回到我们这个AI模型的这个角度 然后AI模型的SRAM里面 有prefill跟decode 然后如果是计算密集型的是有帮助的 如果是对内存或者memory 占大部分的这个memory boundary的这个问题呢 其实是比如说你像Glock Cerebras是两家基于这种on-chip SRAM的 AI芯片公司 那如果SRAM不能scale 那意味着它的那个芯片设计 哲学是要有一些变化的 对 [00:40:39] SPEAKER_01: 所以说他们就得做其他的一些事情 SPEAKER_00: 对 或者是他们的这个架构的配比 就会不一样 对 或者是要做一些别的事情 比如说3D堆叠啊 或者是其他的一些 SPEAKER_01: 那就太深了 我们可以看看后边 能不能一起把这个事了解清楚一下 对 那么 在深入的去讲这些芯片和AI的那个交互之前 我们可以先大概给大家普及一下 比如说我run起一个大模型 在一个数据中心 对 然后用户发了一个prompt 对 给这个模型 对 那么整个这个数据中心里面 这些芯片是怎么交互 到最后把这个token给吐出来 而且可以持续不断的吐token SPEAKER_00: 这其实是一个非常好的问题啊 其实我们可以捋一捋啊 就是 比如说用户当你说了一句话 你产生了一个prompt对吧 那这个prompt要经过你的设计 设备通过网络送到对方的网关 经过网络 然后网络以后第一步在服务器那边 它是有一个大的调动器的 就是说你先 [00:41:39] 你这个input或者你的prompt 你提的问题是要有一个排队的 等待的一个过程 然后那个调动器是 把你放在某个队列里面 根据GPU或者是计算资源 放在一个队列里面 然后去调动器去解决一个什么问题 就是下一步应该怎么做 把你发送到哪里 哪个服务器上面 或者哪个GPU上面具体的 然后在这个你问的问题 其实如果你还有上下文的话 它还有一个rag的过程 就是说 有从你的上下文的历史数据里面 把那部分数据 有可能在一个数据库 或者是在一个磁盘上面 或者是在已经存在 如果你这个数据 你跟它对话 不是几天以前的对话 是正在进行中的对话 那有可能是放在GPU的这个memory里面 然后你要把那部分数据 跟你现在新的问题组成一个prompt [00:42:39] 这个叫做一个input prompt的这个组织 那组织完了以后呢 那我们这一部分的这个上下文 就要送给大模型了 那大模型 大模型实际上是已经 送给大模型在哪呢 实际上是有一个long time 就是有个软件在那等你的输入 那一旦开始收到你这个调动器 也把你这个上下文发给它了以后呢 然后这个long time 就要开始做下一步的动作了 干嘛呢 是把模型调进来 然后做prefill的这个动作 就是把这一部分动作 就是把你整个上下文 全部送给那个模型 那个long time 会把你的模型 从memory或者是某个地方 调到GPU里面 然后同时把你的这个 你的这个上下文和 这个中间还可以做bathing 就是把很多用户的请求 放在一起做并行计算 所以这叫做prefill的这个阶段 那这个prefill阶段 那这个prefill阶段 [00:43:39] 是一个计算密集型的 是可以做并行的 然后它没有token 跟token之间的dependency 所以它是计算密集型 所以由GPU的计算能力决定 然后做完了这一部分以后呢 它就会产生一个神奇的东西 叫做kvcache SPEAKER_01: 我们可以看一下第二期视频的那个 金城老师的kvcache公司 对对对 SPEAKER_00: 然后这个kvcache呢 就会存在某个地方 有可能是在GPU 如果太大了以后 有可能存在这个这个storage 就是flash上面 SSD上面 然后这个kvcache有了以后 那下一部分就是这个decode的这个阶段 就是大模型开始要图答案了 它图答案是一个token一个token去图 所以是decode 这个叫做decode的一个phase 这个decode其实这个就比较麻烦了 它是一个memory bounded 就是内存密集型的这个任务 [00:44:39] 它要把这个所有的这些kvcache 全部读到GPU 然后所有的大模型的权重 全部要过一遍 就为了产生一个token 一个磁源 然后而且磁源跟磁源之间 产生的又会产生这个磁源以后 又会产生新的kvcache的中的一列 那这个新的kvcache 要存到原来的那个kvcache里面 那这个产生的新的kvcache 跟模型又要重新再读一遍 要发发送给这些 就是产生下一个token 所以你想想看 这里面有大量的数据的搬运的这个过程 这也是为什么这一部分 其实是数据搬运和那个memory bandwidth 是一个平引 然后同时还有另外一个问题 就是互联的问题 这就会涉及到 因为现在这个大模型 比如说开源的模型 像deep-seek v4 已经到1.6 trillion parameters 然后kimi case rate 是2.3 trillion parameters 就这个模型非常大 所以基本上你可能做推理的话 [00:45:40] 也要做分布式 所以这些kvcache 或者是这些模型 还要发送到不同的这个gpu 或者是服务器上 然后中间还要做这个互联的交互 然后互联交互的那个时间 跟你计算的时间 你还要匹配 这样可以就是你的流水线 不会因为某种方式做这个staving 我们叫做就是不会因为最慢的那一环 停顿下来 所以这里面有大量的这种long time的工作 就是现在做很多AI infra公司 在做的这些事情 SPEAKER_01: 然后每多做一点这种AI infra 就可能挤出一点那个就是性能 然后推的更快 或者说更省那个现存一些 SPEAKER_00: 没错 所以这里面其实优化的工作非常大 比如说像英伟达 他号称就是比如说他的B200 有一些模型啊 像OpenAI的Open的那个model 120B的那个模型 他是说两个月以后通过软件的优化 [00:46:41] 性能提升了5倍 5倍啊 这也是 SPEAKER_01: 对 昨天那个OpenAI不也说了吗 他们用最先进的自己的GBT5.6 优化自己GBT5.6的那个推理性 也提高了百分之好多好多 SPEAKER_00: 对 这里面其实优化有很多层次了 就这种kernel level的优化 有long time的这个调度组织的优化 然后有compiler模型编译的优化 还有这种资源调度的优化 其实这个 其实优化其实是对于 就是你要做好优化 其实要做好抽象 然后只要抽象 好了以后 你就可以交给AI很多事情 可以AI来做了 SPEAKER_01: 那这些那个优化工程师之后的 那个职业发展会变成什么样 SPEAKER_00: 我觉得一定 这也是为什么我要做我们现在这家公司 就我们其实是想把整个这个过程都自动化 但是实际上是缺一些步骤 比如说我们先构建了一个AI系统的仿真器 [00:47:42] simulator 然后再构建了这个仿真跟优化做在一起 然后我们还有一个自动profiling 就是光仿真 仿真是能仿真一些在precompile 就是这个静态的一些行为 在动态的一些行为 还有一些涉及到GPU底层硬件的这些行为 比如kernel的一些performance kernel的启动的开销 很多东西我们需要做这个自动profiling 然后达到这个数据 然后去calibrate我们的仿真的这个模型 所以我们做了这么一套 有仿真有编译优化 有long time调度 还有profiling的这么一整套工具 我们目标其实是 就是为了解决这个优化问题 目前的AI还很多时候还不能做到自动化 或者是他不能在一个虚拟的硬件上做这些事情 他需要一个真实的硬件去做更多的迭代 SPEAKER_01: 真实的硬件就意味着成本太高了 [00:48:42] SPEAKER_00: 真实硬件就是成本太高 然后你还要有一个真实的这个系统部署在那 然后如果你这个 他也不能做这种if else的这种exploration SPEAKER_01: 对 但是通过你的描述感觉 AI在发展几代 把我们这些context都准确的拿走之后 好像是可以干这种优化这件事情 SPEAKER_00: 也可以 因为我们公司也在用AI agent的 把我们做的一些工具串在一起 它其实是可以的 SPEAKER_01: AI native 对 这就是AI native 对 然后还有一个问题 就是在刚才您在描述的过程当中 大量的计算 SRAM DRAM HBM 对 就是最近存储柜 对吧 能不能跟大家讲一下 这个存储柜 到底是哪一个环节导致 SPEAKER_00: 存储柜 其实首先是这个模型越来越大 所以存储也分为这种memory 就是HBM DRAM 还有这种NAND 就是Sandisk 这些公司做的这种SSD [00:49:43] 那 有 他存储柜的原因呢 一个是在 serving模型的时候的这种DRAM 就是它模型越来越大 第二是中间的KVCache也越来越大 而且KVCache跟你的上下文的长度 跟你的用户的concurrent request都成正相关 所以这是DRAM 因为HBM也是一种DRAM 然后另外一个是我们人类产生了这么多的数据 那得用一个地方去存嘛 那这就是这些 还有我们做模型训练 需要很多checkpoint 那这些数据其实是越来越多 越来越多 用AI产生的内容 包括直接产生的内容 包括中间的这些KVCache 可能都要offload再放在一个地方去存 这是为什么存储越来越贵的原因 对 SPEAKER_01: 对啊 虽然最近这两天存储又暴跌了 咱们就具体不了这些事情 [00:50:44] 对 SPEAKER_00: 投资的事情其实挺有意思 就是说跟产业是有相关 但是它有自己的一套 这个还有一些资金流量的这个问题 SPEAKER_01: 不够成投资建议 大家自己多清楚理 对 还有就是 就刚才您说了嘛 就是这些各种搬运呀 芯片呀 带宽呀 对 SPEAKER_00: 等等等等 SPEAKER_01: 那前一段时间的NV收购了那个 做TPU出来的一家公司 就是Grock 他们有什么做什么LPU 对 您觉得它主要是来解决什么问题 SPEAKER_00: 它其实还是解决GPU 并不是一个天然做这种Decode的这种模式 对 太明显 你看它就做训练 对 所以GPU是其实上是一个 你可以认为是一个 high throughput的一个steaming machine 并行处理牛逼 并行处理牛逼 并行处理牛逼 然后所以它做prefill非常合适 对 那做Decoding呢 就不大合适了 对 然后而且这个计算资源的配比就不合适 [00:51:45] 因为GPU大部分是idle的 其实一直在大量的用这种HBM来回的搬运数据 嗯 那Glock为什么最做Decode的比较好呢 其实Glock这公司的这个这个架构很像我博士做的manicore DSP处理器 其实所有的任务的数据都是常驻在芯片内部 然后通过这种Data flow流水的方式 一个任务经过不同的这个芯片 啊 啊 我们叫做core吧 就是处理器核核心 然后通过不断的流水 然后通过软件调度 让它自然的 就是你不需要数据从片内到片外 平凡的在那搬运 让数据常驻常驻在芯片内部 就说白了 然后GPU呢 其实不大适合 但是GPU现在就是大家为了模拟这些效应 所以所谓的Data flow的这种computation 所以大家做了非常很多的一些像最近的一些flash attention啊 [00:52:48] 这些优化 其实都是为了让数据尽可能的留在GPU内部 尽可能的减少搬运 就是但是最终它GPU不是一个Data flow的machine 所以英伟达或者是英伟达 需要一个类似于这种clog的这种Data flow的架构去辅助它 那最近其实前两天我在参加AMD的这个developed event Advanced AI event 那AMD在跟另外一家类似架构的公司 就是Cerebras在合作 做这个prefier decode 易购的这种推理的集群 对 SPEAKER_01: 对那Cerebras又和Glock有时候还区别呢 SPEAKER_00: 其实它们从架构上 从逻辑的架构上它们其实是非常像的 都是这种基于onchip SRAM的这种Data flow的这种架构 尽量让数据常驻在芯片内部 然后让这个任务可以map在一个芯片上面 而不需要走外面的HBM或者是其他的一个DRAM [00:53:50] 然后Cerebras做的其实是一个这个晶圆级 Wafer Scaling它做了很多创新的技术 就是当你一个Wafer直接 当时我们不是讲生产芯片 map到一个Wafer上面 然后我们要砍成一个个袋 然后袋要做封装嘛 封装之间再通过系统级的互联把它连在一起 但是Cerebras说我不需要做这个 我就一个Wafer直接拿过去做封装 然后芯片跟芯片之间是通过留好的线宽 直接在上面做好互联的 就每个芯片不需要切割了 也不需要封装了 然后这样它可以整个叫做Wafer Scale的scaling 这样有很多好处 好处就是说芯片跟芯片之间 不需要通过重新再封装 然后重新走封装外面的板级的连线 再连接在一起 然后直接再通过这个Wafer级的袋做互联 [00:54:50] 但是也带来了很多工程上的问题 比如说供电 对吧 你原来芯片是一个袋一个袋 是从旁边供电嘛 但是你变成了一个Wafer 你旁边没有那么多边啊供不了 所以它要搞垂直供电 太薄了是吗 SPEAKER_01: 对 我觉得太薄了就是说 SPEAKER_00: 没有就是一个芯片 其实供电是要在旁边的那个引脚进行供电嘛 但是整个Wafer是一个供电 你只能给周围的这个芯片供电 所以你只能是通过做垂直供电 那垂直供电 第二个就是这个晶圆很大 所以你要做好散热 就是怎么样做这个cooling 还有第三个事情是 因为每个芯片它是有良率的 就是说我们原来切成一个袋一个袋 就坏的东西就丢掉了 对吧 然后我们只封装好的这个袋 或者好的芯片 但是它这个Wafer封装在一起里面 肯定是有坏的芯片的 那坏的芯片它要设计一套互联的机制 [00:55:52] Bipass那些坏的芯片 所以它有很多工程的这个瓶颈在这里面 当然从我的角度上讲 我觉得Cerebras就是说 Wafer scaling其实是非常酷的技术 但是其实不一定要做Wafer scaling SPEAKER_01: 对 其实有其他的方式能解决这个问题 SPEAKER_00: 没错 没错 SPEAKER_01: 有没有兴趣再搞一个 这种家的公司去做这件事情 SPEAKER_00: 其实有一些新的技术 像3D堆叠啊 或者是通过高速互联的方式 去解决这个scaling的问题嘛 SPEAKER_01: 所以说您个人是没有那么看好Cerebras 对吧 SPEAKER_00: 我觉得Cerebras也有好处啊 因为现在很多芯片公司它其实都 它能找到一定的应用场景 那这个量足够大 然后同时它刚才搞的这几个 这些技术其实是非常有创新性的 那这些技术就比如说垂直供电 其实大部分的现在这个数据中心里的 这个芯片都开始往垂直供电 垂直供电开始走了 所以它很多技术其实走的比人家前沿 [00:56:54] 也许它有可能设计出新的东西出来 对 这也不知道 SPEAKER_01: 对 因为可能很多创新都来自于这种尝试和破坏性的一些 SPEAKER_00: 没错 没错 没错 所以我觉得它是一个非常伟大的公司 或者非常非常棒的公司 但在当时那个情况下做这样的设计 而且台积电还要配合 就是说制造这方 要配合它一起做这个事情 SPEAKER_01: 真的挺不容易的 而且当时不是前一段时间还爆出来 Sam Ottoman 个人 其实他们也投资了很多这家公司 SPEAKER_00: 一开始的时候 没错 其实也是说 他们也看到了这个情况 就是 也是英伟达收购Glock的类似的逻辑 这个Cerebras这个架构很适合做这种Decode 就是这种大模型的Decode这个部分 SPEAKER_01: 对 看到他们这些新的芯片公司 它就是放出来的很多演示 它就Decode速度 插下去的时候就弄好了 SPEAKER_00: 对 SPEAKER_01: 很漂亮 [00:57:54] 那其实在硅谷的话 以我这种普通人的认知 我发现有三家这样的芯片公司 Groker 然后Cerebras 还有Sabanova Sabanova是干嘛的呢 SPEAKER_00: Sabanova其实 那很多co-founder 都是我以前Oracle的同事 对 就当时我们从Oracle出来以后 就是很多人去闪门 我包括CEO 浪机构也是我很好的朋友 我们 他当时也是 其实就是想做一家Dataflow的公司 就是用Dataflow的架构去做AI计算 但当时存立的初衷 其实除了Dataflow 这种AI 也有这种数据库 当然后面数据库的这个功能 因为这个用的人不多 所以很多就不提了这个 然后第二个是 它 其实这个架构是 它除了 不是那么激进 不是纯的SRAM SRAM占很大部分 但它还有DDR 或者后面还用了HBM 就是说 它是一个折中的架构 [00:58:54] 不是那么 那么 就像Grog 和Cerebras 当模型大到一定程度 它放不下了 它需要更多的芯片 所以SRAM是一个折中 是一个Dataflow架构 但是它又带了Dram和HBM SPEAKER_01: 这三家真的是各有长处 SPEAKER_00: 没错 SPEAKER_01: 那就是 反正有这么多芯片 然后各种各样的制程 各种各样不同的技术 就是软件层面 算法层面 数据层面 这种SGLang 这种Infra层面 对 究竟能够追回多少这种硬件方面的差距 比如说网上就是 一个2纳米5纳米制程的芯片 入上一个大模型 另外一边就是 只能用7纳米 12纳米 软件层面能够帮忙追回多少 SPEAKER_00: 对 首先是我们要看一下 其实7纳米跟2纳米 差在哪些地方 比如说 逻辑的晶体管的这种 绝对的这个 [00:59:54] 同样性能下的功耗 就是计算密度 然后第二是 那是它的互联 比如说这种 支持ServiceIO的这个speed 所以这里面7纳米到2纳米 我觉得这个性能差距 大概在2到3倍 3倍左右吧 你可以认为 就是绝对的这个 这个物理的这个限制 但是这里有一个问题 就是刚才我说的SRAM 在5纳米到3纳米 它不scale 所以这部分的benefit 可能要打个折 所以我们如果 纯充软件上的讲路讲 就是说比如说我们要做 PD分离 做这种低精度的量化 然后做这种 Specular Decoding Multi Token Prediction 然后做Runtime的这种 调度的优化 那这一部分 其实是可以2到3倍 其实是可以拿回2倍左右 2到3倍左右的这个 这个性能 [01:00:55] 还有一部分其实是利用力 就是说也是通过软件的优化 把这个行业平均的这种利用力 比如说从30%到50 提高到80%到90% 这里面又有一部分的这个差距 所以我觉得软件的角度 实际上是可以追回的 但是呢 就很难说了 就是说如果是同样的AI 比如说我有2nm的芯片 你有7nm的工 你是用7nm的芯片 我也能同样做这些软件优化 所以这个通过软件 如果是你没有优化好的话 完全可以是把这个硬件的这个性能 提到跟你没有这个同样的这个工艺 但是你优化做不好的情况 这样的话 SPEAKER_01: 其实从好的方面来说的话 你拿到无论拿到怎样的芯片 你还是有大量的优化空间的 SPEAKER_00: 没错 SPEAKER_01: 但是不好的方面就是 嗯 都有优化空间 2nm的也有优化空间 都有优化空间 你可以往前走 SPEAKER_00: 对 [01:01:55] 都可以往前走 SPEAKER_01: 对 这东西就很难说了 SPEAKER_00: 对 或者是说有些人是 不需要软件做的那么惊喜 因为它的那个芯片迭代太快了 软件其实也需要成本 所以它可能不需要做那么细的 这种系统级的code design 但是对于如果你工艺受限了以后 你其实需要做更多的这种系统级的code design code的更细 可能拿到的benefit更多 那同时带来的能力和资源的这个成本 这个成本是比较高的 SPEAKER_01: 嗯 这也就是很多资源受限的公司 能够做出来不错的一些创新的原因 SPEAKER_00: 嗯 没错 SPEAKER_01: 没错 我刚才听完你这样描述 就是能追回来这么多 我感觉上就是好像 英伟达的话 最大的优势还是在训练上 推理的话好像有越来越多的人 要来分这些东西 SPEAKER_00: 嗯 其实说的也对 嗯 其实是模型的workload 就越来越固定以后啊 很多人觉得自己的应用场景 [01:02:55] 它可以自己定制推理芯片 来做这个事情 嗯 SPEAKER_01: 就跟当年视频火 大家都开始做视频芯片 SPEAKER_00: 没错 但是呢 其实你想想看 英伟达是芯片行业里面 执行力最强的公司 SPEAKER_01: 然后 比如说这个和大家 对它的看法不太一样 就我们软件和AI企业来说 觉得NV是最堂的公司 最舒服的公司 SPEAKER_00: 但是它的 从芯片行业的执行力非常强 就是说它每代芯片的这个 迭代速度非常快 而且做架构的这种激进程度 也非常快 它有点像一个初创公司 比如说英伟达的这些GPU架构 它里面的这些什么 比如说做两倍吸收 它说做了 就做进去了 那很多公司还在写论文 一直没做进去 然后比如说它做一些 根据某种情况下的特定的优化 它的迭代速度是非常快的 只要看到这个 比如说您是做模型的 从模型这边拿到了feedback 所以它可以非常 以初创公司的速度 [01:03:56] 去做架构的演进 然后像英伟达决定收购Glock 也是非常快的一件事情 你想想看 要收购一家这个软件体系 跟自己不兼容的情况 然后有可能有威胁 它自己也可以做 但是这个决定做得非常快 这也是为什么就是 Founder led的这个公司 其实是结测速度是非常快的 这是第一点 第二点是供应链 就是包括老黄 最近的一些采访也说 它的一个很大的优势 其实是供应链的这个把控上面 它也有很大的优势 所以确实大家都能定一个 针对这个情况 比较好的AI推理芯片的架构 但是你拿不到HBM的产能 你拿不到台积电的产能 还有你内部的工程师的 这个迭代速度 这个迭代速度 不一定比得过英伟达 所以这里面有另外的难度 在这里面 SPEAKER_01: 这些就是站在您的这个 就是卷机体系架构和芯片方面 感知和我们完全这些不太一样 真的我们这些软件行业和模型行业的人 [01:04:58] 老是觉得NV就是在软件方面 慢慢慢慢的走 精细化的走 没想到它在芯片方面 是如此的有破坏力的研发 SPEAKER_00: 没错就是从软件的人脚看英伟达 其实它这个节奏是比较慢的 特别慢 但是从我们芯片的角度 看英伟达 它这节奏是就是执行力是第一的 SPEAKER_01: 英伟达的在芯片方面的互成何 你这么一说的话 有点深不见底 现在看来还是 SPEAKER_00: 我觉得只要 杰森还一直在立的这个公司 我觉得它这个 这个优势还是会持续的 SPEAKER_01: 对 这么恐怖如此 真的是 还是得多请教一下内行 才能拿到最深的这些里边的认知 哎呀真棒 你这个讲的故事能力太精彩了 我就不知道这期节目 会精彩成什么样 SPEAKER_00: 就是 SPEAKER_01: 那后面再问一个问题 当今的那个AI的不充耐 很多都是AI推理 今天那个Color Code又挂了 对 很明显就是需求太大了 SPEAKER_00: 没错 SPEAKER_01: 嗯 您觉得就是说这AI推理缺的是 计算芯片 HBM [01:05:58] 然后网络系统 就是那些那个互联的东西 还是电力 还是等等等等 什么东西 SPEAKER_00: 最缺的是啥 我觉得就是还是缺算力 对 缺算力 然后如果从瓶颈的角度上讲啊 就是缺系统优化 持续优化的能力 能够把这个Token Cost 持续降下来 因为模型越来越多 然后芯片这种架构又眼花缭乱 而且后面还会找下异构 我们更不要提这种多摩泰啊 还有一些这种Agent Infra 其实里面有很大的优化空间 所以 其实缺的是能够从系统的角度 做Code Design能够 而且非常快的做这些Code Design 把迭代速度加进去 把这个Token Cost降下来 嗯 SPEAKER_01: 永远要追求极致的DCO Token Cost 这样让大模型 就跟Zlasher一样便宜 然后AI更普及 SPEAKER_00: 没错没错 我觉得这个AI [01:06:58] 就是应该成为一个 像Utility一样的这种基础设施嘛 水跟电一样的基础设施 SPEAKER_01: 对于咱们这种从业者来讲 可能未来 不是可能啊 这是百分百一定会发生的事情 对 很难想象这些Token之后 还继续这么贵 SPEAKER_00: 肯定会降下来 对成本肯定会降下来 就是我们半导体行业是 持续在做创新跟努力 包括我刚才讲的KV Cache 还有这种分布式推理 除了软件层面 也有很多新的芯片公司 正在酝酿 然后包括Memories瓶颈对吧 然后也有很多的这种 Device的公司 在做新的解决方案 然后包括光互联的一些 新的解决方案 就是只要有瓶颈工程师们是非常聪明的 我们会解决问题 特别是现在又有了AI的辅助 对 然后但是有一些比如说产能啊 或者是基建啊 这些就是它是有规律型的 是物理限制 比如说美国嘛 [01:07:58] 就是缺电对吧 那如果要建这个电厂 或者是这种传输的这个电网 那其实是要五年以上的周期 时间非常长 然后做方菌 它也有自己的规律 比如说晶圆厂 然后其实上所有的这种卡 实际上卡在这个 SPEAKER_01: 物理世界的执行速度上 SPEAKER_00: 物理世界的执行速度 还有比如说光刻机的每年交付量上面 其实也是也是一个卡 SPEAKER_01: 对就是在已有的环境之下 我们这些优秀的工程师 一定会想尽一切办法 把该解决的问题一步一步解决 但是受限于各种各样的产能和制造速度的话 这个时间就是token价格降下来的时间 还是会比较长 SPEAKER_00: 没错没错 但是所以这是为什么 现在如果是物理世界有限的 那就软件来补 那软件其实是怎么样 现在其实在软件上面 这个算力资源的浪费 [01:08:59] 实际上非常大的 从我的角度 就很多GPU的利用力 其实是非常低的 然后第二是很多feature 因为大家持续 因为模型变化太快了 硬件演化缭乱 大家其实都没有更精细的去做那些优化 只有说成本或者是物理世界的限制 倒逼着大家 一定要把这个优化做得非常的惊喜 而且这个优化要做到自动化 这也是为什么我们自己这家公司 就想把我们做AI芯片系统跟架构的知识 变成一个AI agent能调用的一个东西 然后能够持续的做自动优化 SPEAKER_01: 我坚信您这家AI如此native的公司 肯定会迎来一个光明的未来 SPEAKER_00: 谢谢 SPEAKER_01: 哎呀这个刚才不知道 可能是第一次咱们这个采访 是上来就这么的硬核 连续讲了一个多小时硬核的东西 我们稍微把大脑切换一下 我们回到您个人的故事上 就是2012年的时候您博士毕业了 [01:10:01] 您可以选择学术圈 可以选择各种各样的欺骗公司 您最后去了Oracle的原因 Oracle哪里被吸引你 SPEAKER_00: 其实去Oracle一个主要的原因 它是一个因为新的组 在做一件新的事情 而且是一个真的软硬件协同设计的 一个标杆性的一个项目 那要在CPU芯片上面 做数据库运算的加速 那里面其实涉及到芯片架构的code design 然后涉及到怎么样跟软件做 Hardware software code design 然后怎么样去跟Rontime 就是Oracle的数据库去做迭代 这里面其实是一个非常完整的 一个创新性的一个项目 然后你知道在我们芯片行业 其实如果你要真的从头到尾做这种芯片项目 做这种芯片项目在没有AI之前 其实大家都很难得有这种机会 因为一般架构师就能 [01:11:02] 就比较资深的人来做架构师 然后你如果要真的去一家芯片公司 你可能就做一些block 做一些模块 或者是有的人是从验证开始做 你要不断不断的打怪升级 然后在Oracle这家公司 正好Oracle收购了Sound Microsystem以后 要做这个基于Oracle业务的这种加速的这种 新的这个xerator 我们叫加速器 那就有一个这个机会 那这个组当时我们叫Soft in Silicone 就是把软件build into Silicone 用硬件来实现 当时这个组就是一个非常创新的一个项目 对这也是为什么 我觉得是一个很好的机会 SPEAKER_01: 真的很难得 其实因为我后台 就是粉丝一直在问 就是我应该怎么选择公司 这个时间点 这个地方我应该怎么选择 对 其实我是个人感觉 要去像您这样选 就是能够把这个整个行业 全部都看一遍的地方去选 [01:12:03] 你人生就是刚刚毕业 可能刚很年轻 对 你上来就把自己变得很小的一个scoo 或者很没有意思 很没有挑战性 对 不太好 SPEAKER_00: 是 就是说趁着年轻可以看更 如果有让你看到全局的事情 可以多做一些这些事情 对 SPEAKER_01: 对比如说你看到一家公司 比如说现在很出名的那些 AI Infra公司 对 或者看到一些大厂 然后做之前的数据库 对 SPEAKER_00: 我永远的建议就是 SPEAKER_01: 你肯定先去那家AI Infra公司 把所有AI Infra整个流程怎么跑通 要学到手 然后你不应该再回到某个大厂 看起来很漂亮的tattle 对 它是但是只做一些已经很上古时代的一些东西 SPEAKER_00: 没错 而且它的流程是相对来说没有太多的改变 你可能就在别人的基础上做修修补补的工作 当然这部分工作可能也比较轻松 就有的人追求不一样 有的人觉得这个是比较稳定 然后我要解决身份问题 对吧 然后其实是选择也无可厚非 [01:13:03] 但是如果你在没有后顾之忧的情况下 我觉得尽可能做这种创新性的项目 能够看到全局的项目是非常好的 所以我后面基本上我的职业发展道路 基本上都是做新的项目 有挑战性的新的项目 SPEAKER_01: 你这个状态就保持得特别好 你看你对谁说话 从认识你到现在一直是笑嘻嘻 每天都活得特别特别开心 一看就是这种工作能给你负能 给你提升能量的这种感觉 真的很喜欢你现在这种状态 而且你还很贴心 你工作了快20年了 对吧 你还能够想到就是说 大家伙在刚毕业的过程当中 还需要解决身份问题 还需要解决家庭各种各样的问题 对 你这个真的就是又开心又贴心 真的是保持状态保持得太好了 谢谢 那在整个过程当中 你已经说了很多次 就是说Oracle这个项目 是一个创新性的 就是说给数据库的query 做加速的一个项目 对 那这里边您觉得最有意思 [01:14:04] 或者说最关键的一次决策是什么 因为芯片 或者说系统设计 对 只要读过系统PSD的人都知道 永远都是trade off 对 没有完美的东西 你要选什么放弃什么 没错 您觉得最大的一次 帮助您个人提升最多 SPEAKER_00: 或者帮助公司提升最多的一次决策是什么 其实是因为 因为这个dex 其实是有两部分 一个是叫做memory处理的部分 就是说从memory取数据 然后一个是我们叫做query processor 就是做数据库加速引擎单元 你可以认为是计算单元 那个部分 我们当时做的最大的一个结束就是 从我们把压缩的数据库 我们定了一种数据库的压缩格式 压缩的格式是放在memory里面的 我们把压缩的格式读进来 然后实时的解压缩 然后实时的计算 然后只把我们想要的那部分数据取出来做运算 然后再把结果再送回memory [01:15:04] 所以我们当时做的一个非常大的抉择 就是选定这种压缩的方式来做计算 而且要选一种压缩算法 而且就是说你可能就是在这里面有一些trade off 就是说一旦你选定了这个压缩算法以后 如果数据类型变了或者是某种方式变了压缩效率不高 那其实你的风险是比较大的 所以我觉得当时做的最大的一个 包括我自己负责的那一块 就是做压缩的架构算法 还有压缩的微架构 当时我们Oracle有个压缩算法 叫做Oracle Zip 然后当时我们把Oracle Zip跟软件去做 我们去做了很多的软件上面的适配 然后压缩效率能达到多少 然后Oracle Zip是怎么实现的 它有很多种实现方法 我们最后用了一种就是查表的方法来做 [01:16:05] 就是当你在有一个数据库 就是因为我做query数据的变化 数据库的变化不会太多 所以我们先会去扫一下这个数据库 然后生成一个叫做压缩的这个table 叫码字code word table 然后这个code word table 就可以play load 在芯片当你开始运行之前 把这个码字的这个table load到我这个加速器里面 然后下次芯片那个query进来了以后 我是跟那个code word去做查找 然后把那个 把未压缩的那个这个我们叫做数据把它解压缩出来 然后再后面做后面的query的处理 所以这样有一个好处就是它虽然数据变化了 但是我可以重新扫描一遍数据库 生成新的码表 然后新的码表可以做重新新的这个解压缩 这虽然有有一定的这个风险 但是我们把这个风险通过某种方式又降低了 [01:17:07] 对这个其实是非常有趣的 对 SPEAKER_01: 反正我听不太懂 但是我知道你肯定做出了很多不一样的东西 那在Oracle这五年里 就是说您觉得 那你这个项目很创新吗 你肯定过得也算是很开心 看你的状态 您觉得Oracle最大的一些优点和最突出的一些 还做的不太完善的地方是什么 SPEAKER_00: 对Oracle的优点其实是当时Oracle是买了上Micro System 上Micro System 所以上里面有很多非常厉害的工程师和架构师 而且我们是 这个可能给大家普及一下 SPEAKER_01: 上就是Java的那个公司 SPEAKER_00: 对 上就是MySQL Java的那家公司 太阳威系统 那当时在90年代是最火的 类似于英伟达或者Google类似这样的公司 对 然后而且支持了很多的开源项目 但是在他当时是7个billion左右 就卖给了这个Oracle 就非常便宜 那卖的卖了哪部分 就Spark CPU的芯片部门 然后有Solaris的这个操作系统 [01:18:08] 包括Java 包括MySQL 包括那个整个系统 就很大的很多东西 还有包括存储系统 都是非常便宜 以现在的眼光看非常便宜 7个billion 7点几个billion 然后这家公司有非常好的这种垂直整合的能力 就是我们有CPU的CPU设计的能力 然后又有数据库 然后又有Solaris操作系统 然后又有做Runtime的调度的 反正你任何的东西都能找到人去问吧 所以是一个垂直整合的一个组织 所以这是Oracle当时比较好的 那不好的原因 当时这个项目最后没有特别成功啊 为什么就是因为CPU是Spark 你知道Spark处理器它是有自己的指令级的 它跟X86是不兼容的 然后在X86跟Linux做这种小型机 变成了这个数据中心服务器的主流 [01:19:08] 之前是Spark跟Solaris 但是因为Solaris不兼容开源 所以当时这家公司有一个 就是上这一块啊 就是没有把Solaris做开源 导致这个生态不够繁荣 导致后面的这个应用在Spark上面 上面跑的开发的人越来越少 然后就是生态不够繁荣 然后反而越来越慢 所以整个项目其实不是特别成功 整个Spark处理器 之后的话其实是Oracle 把整个部门全部猜测了 其实整个我们的这个 当时的这些team SPEAKER_01: 咱们先不说猜测 您刚才提到了这个开源的事 对 这两天最大的一个新闻硅谷 黄仁勋带头去号召大家要做开源 要支持开源这件事情 Open Model Ways 对对对 那个越来越多的企业加入这个 对 我也是一个坚定的开源支持者 对对 您纵观您过去的这个职业 [01:20:08] 这个从业史 对 您觉得开源 对于国家 对于企业 对于个人 分别意味着什么 哇 SPEAKER_00: 这个问题比较大 SPEAKER_01: 比较大 因为这个太重要了 对对对 必须得问一下 虽然咱们原来没准备这个问题 SPEAKER_00: 没错没错 我觉得开源 从硬件上讲啊 就是说很少开源 像Risk5这种开源的IP或者指令集 其实是比较少见的 嗯 然后 在硬件上面有很多IP 其实是不开源的 Service啊 或者是有各种各样的IP 大家都要license的 然后从软件上讲呢 其实芯片设计出来呢 需要软件嘛 需要生态 所以软件的开源 其实是也造就了互联网的繁荣 其实Google的几篇论文 你知道就做数据库的几篇论文 包括Google的这种X86的服务器加开源 Linux 再加上这种大数据开源的这个处理系统 其实造就了上一代互联网的这个繁荣 [01:21:11] 嗯 对于整个业界的话 企业来说 开源绝对 我也是支持开源啊 对繁荣业界生态实际上是非常非常有帮助的 然后对我 对我们个人工程师也是比较好的 我们一旦开源了以后 我们可以work 就是在更复杂的项目上去贡献 而且同时能够你的技能 可以chargeable 对吧 从另外一家公司到另外一家公司 实际上是可以把技术可以转移的 或者是你自己的knowledge可以转移 然后对于 但是对于模型开源这一块呢 其实又有另外的一个问题啊 就是我很多公司为什么不开源 其实是他们花了大量价钱训练的这些东西 如果一旦开源呢 对于公司本身来说 他的roi是怎么样去衡量 那其实是给大家做了贡献 对吧 所以对于很多这种模型公司来说 [01:22:12] 如果做开源的话 其实他是由 就是对于先到者 就是在大模型这个最领先的那些公司 如果一旦做了开源 他前期的投入怎么样去 怎么样去把成本收回来 这是一个很大的问题 对 那后来者是可以开源 开源的话就可以 他把他自己的生态做大 但是开源可能对于自己某家公司 并不是一个很好的策略 所以这取决于就是你在什么样的位置上 你是在领先的大模型公司 还是在这种追赶者上面 所以对公司来说有好有坏 取决于你自己在什么样的position 对于个人来说 开源绝对是好事 对于我们这个自己 而且开源的话你可以 比如说你可以部署自己的私有化的 这种open cloud agent 你可以自己用开源模型做很多事情 你的数据自己可以把控 对于企业来说 [01:23:13] 很多如果开源的方案 它是可以经过某种方式 让它变得更合规 或者是safety有保证的话 它可以降低cost 也可以作为一个 针对这种大模型公司的一个leverage 对于国家战略来说的话 这个问题就比较大了 这个也是先来后来的问题 就是你如果中国是在美国的位置上 中国也不一定会开源 所以后来者通过开源的方式追赶 是一个业界比较常见的这么一个模式 SPEAKER_01: 我觉得您分析的特别特别全面 就是开源这个事就是特别特别复杂 对各方面有各方面的考虑 但是无论如何对于个人 我觉得开源 对我们个人是绝对的好处 有好处的 是的 作为一个个体永远只是开源 对 那 从2012年到2017年 您用了短短5年 [01:24:13] 就变成了Orico的principle 这一年 这个东西说实话 对于每个在硅谷的同学 我也大家都应该能感知到 这是多么难的一件事 因为你刚毕业的时候 肯定是一个junior senior principle 非常非常高的一个职位 您觉得 SPEAKER_00: 这个我要说一下 就是说我们Oroco 当时title是有inflation的 我们principle 其实也不是说像类似于 有些英伟达公司一样的principle 和fellow 但确实是还是一个不错的职位 SPEAKER_01: 对 您觉得是什么帮助您 就是说升职呀 就是说讲的这么快 SPEAKER_00: 我觉得更多的是在项目里面有实际的贡献 因为公司里面 它可以看到你有产出 你有影响力 所以更多的是在take一些比较难的工作 challenging的工作 比如说刚才我说的做压缩的这种软件协通设计 然后去在更大的程度上去协调资源 去做一些不是说像传统的工程师一样 [01:25:16] 芯片工程师一样做一个模块设计 人家给你一个spec 你去做这个实现 我更多的可能会在做更多的这种类似于架构师的工作 SPEAKER_01: 就很早就开始做架构师更高的scoop 再而然就把自己推到了更大的那个岗位上 SPEAKER_00: 对 其实就是说你做的这个问题 解决的问题和你做的这个project 影响力大 对对对 SPEAKER_01: 之后的话您加入了国内的一家刚起步的芯片团队 是什么让您做出了这样的职业选择 SPEAKER_00: 这家公司当时是这样的 这个背景其实是每家hyperscaler 其实都在定制芯片 那每家hyperscaler都想去做定制芯片这个事 然后这家公司就是互联网公司吧 大家其实他我们进去的时候也没有不确定 到底做什么样的芯片 所以这对我个人来说是一个很好的机会 就是说你进去以后 [01:26:16] 你不仅仅是个架构师 你变成了一个产品经理 你建成了一个要从商业的角度上去找到做什么样的芯片 以前这个东西其实是CTO或者CEO 一个芯片公司才确定的 然后我们就要去做很多的调研 到底哪些业务 用哪些有哪些场景 然后它的ROI是什么 然后Core是什么 然后这个业务场景是不是能够沉淀出来做定制芯片 所以做了很多这种事情 然后第二就是它是一个从零到一的过程 就是很多事情都是 我们当时做了很多事情 包括引进Design Service 怎么买哪些IP 买哪些IP 然后跟这些方计厂商合作签第一个合作的协议 然后评估很多事情 就是做了很多 原来不是应该你做技术的人做的这个事情 所以对个人来说 有助于创业我可以说 对 SPEAKER_01: 对您就是从一开始职业选择到第二段 [01:27:18] 都是比较连贯 就是想从零到一 然后让自己能够就是接更大的Scoop 然后端端端的去完成一件事情 大公司内部创业的感觉 SPEAKER_00: 对 其实是大公司内部创业 然后当时这个整个AI也没有那么兴起 那么兴起 然后英伟达的GPU也不是说一定要去做AI芯片 也许做别的 所以在这 因为我是喜欢做 我每次做一个新的选择的时候 我都是说 这个东西能不能学到 我不能原来没有接受的东西 然后同时它这个可能 这个配也配的不错 对吧 然后你的Scoop可能会变大 但也有可能就是说在一个大的公司 它后面会有更多的人进来 然后你怎么样去给大家这种合作 把这个事情做成 但是至少我们进去的时候 是一个非常好的一个位置 就是我们算是一个founding team [01:28:18] 在做内部创业这个状态 对 SPEAKER_01: 您特别喜欢享受这种 给您一个问题比较模糊 然后一步一步把它做清晰 最终形成一条链路 然后做好这个问题的那种过程 对 SPEAKER_00: 因为我们做架构的 就是想在不确定性中 寻找确定性 然后去把一件事情能够 呃 从这个定义出发去解决这个问题 太漂亮了 SPEAKER_01: 我觉得在职业发展和选择上 确实应该多向您学习 我感觉我个人也是这种 这种性格 就是我喜欢就是说能够 就是说定义一个问题 慢慢的把这个东西从一到一 我不喜欢从一做到一 但我特别喜欢从一做到一 嗯 SPEAKER_00: 其实这个有些机会还是挺难得的 所以在这种互联网大厂做AI芯片 这个经历 其实也是非常的特别 因为它这个文化和这个 就跟传统的芯片公司也很不一样 整个流程也没有 就是你可以一片白纸 从零到一开始 开始构建这个事情 也非常的 [01:29:18] 对我后面创业其实是很有帮助的 对 SPEAKER_01: 对那您后边就去创业了 然后参与了两家创业公司 对 在上一家的话是那个Chief Architecture 就首席架构师 嗯 然后在这一家Z Flow 选择了自己做CEO 嗯 就是为什么要做这样的选择呢 SPEAKER_00: 嗯 因为嗯 传统上上一家公司 我做架构师 其实还是跟我原来做的事情是一样的 但是有接一些新的任务了 比如说在上一家公司 除了芯片架构 然后我也做一些系统软件的工作 就是包括那么Round Time啊 这些团队 呃我也会参与进去 呃 然后同时也 把我们原来在啊 啊 阿里过建的一些能力也带进去了嘛 比如说我们怎么样去 怎么去跟地产社卫士合作 怎么跟系统厂商合作 怎么样去找partner 嗯 但是但是我现在这家公司呢 因为嗯 AI infrastructure是一个做芯片跟做这个软件还很不一样 [01:30:23] 做芯片的话就是它生意模式是固定的 就是说哎 哎我构建了这个芯片 然后我两年之后有竞争力 那我这个我就按部就班去卖芯片 卖板卡 卖上面的软件服务就好了 所以它的go to market是非常的 怎么说呢就是很很很确定 嗯但是做AI infrastructure这一块呢 整个行业变化非常快 比如说我们现在构建了很多的tool和产品 但是怎么卖这是一个问题就到底怎么定价 你到底提供什么 然后你到底是做consulting还是做service 还是做subscription 就对我来说又是一个新的挑战 所以我觉得呃自己必须要进去做这个事情 就是说很难找到有人能够把这件又有技术上的创新 又有商业模式的一些创新做进去 所以这也是为什么对我来说又是一个学习的过程 [01:31:23] SPEAKER_01: 嗯就是挑战自我就是玩就是游戏人生 SPEAKER_00: 对就是蛮有挑战的 因为卖芯片跟卖软件还真很不一样 SPEAKER_01: 对那就是说之前就是偏首席架构师 现在自己变成CEO 就是您过去这段时间有多少时间花在产品呀销售呀市场呀融资呀 技术呀就是你觉得整个角色变化成怎样 SPEAKER_00: 嗯其实我在这个产品技术上花的时间还是比较多的 然后但是大部分时间其实是在做BD 对去找合作伙伴去跟这个potential客户去聊天 去签MOU 然后去呃大家定义生意模式 就怎么样就这一部分的工作占了我很大的比重 然后第二就是我们相对来说的burn rate非常低啊 就是这一部分目前我们还是呃融资也占一部分的这个精力 但是融资我是想把它放在一个很短的窗口去做 [01:32:24] 而不是长期占用我的时间对呃 所以我现在目标其实更多的时间其实在做business 做BD上面大大部分的时间 然后产品定义这块还在持续的跟进 基本上每个技术细节我是非常了解的 SPEAKER_01: 对所以说您就是花很多时间去跟客户聊 对 确定商业模式确定产品形态 对 过一段时间之后找一个等到这些都聊清楚了 有客户了 有商业模式了 对 花上一个月一口气融资搞定 开干 SPEAKER_00: 啊对我我这是我自己的模式 当然我做CEO也在学习过程中 也许因为有的人是持续在融资嘛 融资融了更多的资你可以做更多的事情 但是我们做芯片的人可能是说 哎先把先把这个business能够讲通 然后有付费的用户 然后你的这个value能做出来 然后后面的融资我觉得是水到七成的 就是说只要能满足融资是为了满足你的业务发展 一旦我有一个很大的业务以后 [01:33:24] 那我融资其实是会比较快对 SPEAKER_01: 嗯我之前听过很多硅谷的成功企业家都说 融资是顺手的事 甚至说你有业务了之后 投资人很多投资人都不借 他们会排着队上来给你送钱 帮你扩张业务 SPEAKER_00: 对因为融资的逻辑跟我做产品 做业务的逻辑不一样 融资是另外一套skill set 对然后花太多时间的话 其实确实也会影响 就是说你真的做business的这个时间 融资能力也很重要 SPEAKER_01: 有些企业确实靠CEO的强大融资能力 一直过关斩将 没错 还有强大的退出能力 SPEAKER_00: 没错没错 这也是非常重要的一个能力 每个人有不同的上场点 对没有也在 我也在学习中 学习中学习中 SPEAKER_01: 对那过去段时间 您的公司公布了在B300这个上面 对 一些推理上的优化 对 1.5倍的那个峰值吞吐的 和2到3倍的那种伪延迟的改善 对对 [01:34:24] Tail latency 对 整个这一套流程您是怎么做出来的 SPEAKER_00: 这一套呢 其实当时我们是day zero 或者是比较早期了 通过serving框架去支持deep-seek v4 然后在八卡B300上面 然后我们找到一些配置 是通过有一些仿真的方式来得到一些配置 然后通过这个配置去配这些serving框架的一些configuration 比如说我们当时那个结论其实是在 比如说你有八卡B300 你到底是用这种PD分离跟不分离 分离哪多少个GPU用来做prefill 多少GPU做decode 那这种决策是我们通过仿真的方式得到的 然后通过这个决策 然后去配置这种serving runtime 但中间也有很多的 我们做了很多工程性的东西 就是你要把一个并发的serving的这种run time 跑得很稳定 而且high throughput [01:35:25] 也有很多的问题 其实当时整个开源框架也在演进 所以我们的思路其实是说我们通过仿真的方式 能够快速的找到这些配置 然后通过这些配置去直接去跟serving框架结合 然后能够得到更优的这个部署的方式 就整个逻辑是思路是这样的 但是可能很多 其实花了蛮多时间去把这个框架调稳定 很稳定 因为当时Dipsy刚出来 有很多各种 其实有蛮多问题的 对 SPEAKER_01: 您刚才那个过程 其实我之前在一些社交媒体上看到 就大家都在说 这个开源这些run time 挑起来可太复杂了 太麻烦了 等不能拿到最优的结果 就花了很多人力无力 当然他们肯定自己也意识到这个问题 没错 对于他们自己本身意识到这个问题 就自己去做优化 和您做优化 那您的这个优势是什么呢 SPEAKER_00: 其实我们也在考虑跟开源生态合作吧 [01:36:25] 就是因为我们做仿真 其实是可以提供一个virtual backend 给这些开源生态 你的run time 是可以跑在一个虚拟的仿真的环境下面 然后你可以 因为你就不需要那么多GPU资源去做这个优化 你可以甚至于提早做这些优化 所以这些是我们 我觉得我们是互补的 对 SPEAKER_01: 是某种程度上来说 这也是一个EDA工具 就帮助理在帮助优化 SPEAKER_00: 其实也是 其实很多客户 其实找我们 其实是做architecture的design exploration 其实这个工具 其实更 就是对于设计芯片也有很多的 特别是AI芯片有很大的帮助 因为我们原来做芯片 原来做芯片第一步其实就是做这个仿真器 所以这个工具也可以认为是一个architecture的一个EDA工具 但是我们只是把这个工具用来 它还是可以做芯片的这个辅助设计 [01:37:25] 就是架构的探索 它也可以用来做数据中心的这个优化 其实很多芯片公司内部也有这种尝试 再把它内部的一些simulator 提供出来给上面的做这种模型infer的人去用 这样可以快速的迭代优化的这个策略 其实很多芯片公司是有在做 但我们不一样 就是说我们想做一个neutral的平台 我们的这个可以兼容不同的芯片架构 不同的芯片架构不同的系统 然后你可以把A跟B合在一起 比如说英伟达的东西 跟也许MD的东西 或者是某家这个不属于英伟达的硬件 可以合在一起做这个仿真优化 最后可以做到一个低成本的推理或者训练 就是我们想做这个通用的neutral的一个中立的一个平台 SPEAKER_01: 这样的话就是没有那么多 就是非得绑定一家 然后每一家都可以用 SPEAKER_00: 没错没错没错 而且业界也缺少这种工具 [01:38:26] 真的是能够去帮你去 在没有GPU的情况下去做这种探索 还有做这种调优的工具 SPEAKER_01: 那您刚才得到的那个结果1.5倍峰值 就是那些结果是模拟的还是真实 SPEAKER_00: 那个是真实 就是我们是跟NeoCloud去做合作 他们提供GPU资源 我们来做调优 SPEAKER_01: 那您和之前模拟预测的结果差别大吗 SPEAKER_00: 我们Deep Seek这个模型 就是其实也分prefill跟Decode的阶段 大概我们现在这个prefill 可以做到90%以上的精度 跟实际运行的 然后Decode的阶段大概80%到90%之间 那原因其实是在于有一些dynamic的行为 在你实际做run time的时候 其实是动态的 那动态的话 你仿真的话 你只能去做提供一些各种scenario的模拟 你很难去做正确的根据它的那个数据的分布去做这个仿真 [01:39:31] 所以我们大概是可以接近90%这样的仿真精度 SPEAKER_01: 我理解这个动态 是不是就是那种用户的那种request过来的时候 它背定什么时间 温度 是的 SPEAKER_00: 就是说这个动态有这种batching 我们叫batching的这个动态 就是并行化concurrency的这个动态 还有那个专家的调度 MO1的模型里面它有expert的这种调度 然后你的数据分布不一样 它专家的路由就不一样 就有很多这种动态行为 所以动态行为其实是很难仿真的 你只能是说仿真那个数据分布 或者是你通过profile得到的一些结果 费的进来去caribrate我的仿真模型 所以我们会针对仿真能够通过profile去caribrate 去校准我们仿真的结果 所以这是在业界里面我们其实还蛮特别的 [01:40:31] 我们是做芯片架构的人 然后通过仿真的办法去做优化 这个事情是挺有意思的 其实就而且这但是这个问题其实是非常有挑战性的 怎么样达到足够的仿真精度 但是又让你优化 你这里面要做很多的抽象 其实你的系统架构要做抽象 你网络的仿真对吧 比如说你做分布式推理你要做网络的仿真 那网络的仿真涉及到网络的topology 然后switch你仿真到什么精度 然后这个路由怎么仿真 你的这个这个拥塞控制的算法 你要不要仿真 还是仿真到什么样的程度 就可以对于做优化是good enough 就好到就是可以够用 这里面就是如果没有真正做过很复杂的实际系统 然后又能抽象出来做这一套 其实是很难做到的 挑战性非常大 SPEAKER_01: 就感觉你在做一个虚拟的数据中心啊 SPEAKER_00: 其实是去英伟达最近提了一个叫DSAL [01:41:34] 这个就AI Token Factory Simulator这个事情 然后我们其实有点类似这个概念 对这是Jensen在GTC上有提到这个事情 叫AI Token Factory Simulator 这个东西确实太难了 SPEAKER_01: 你说那个拥塞算法就是怎么去发包 怎么去收包 SPEAKER_00: 对 SPEAKER_01: 路由器的那个大概就是说那种switch那种架构 对 排线排布 对 都会影响这种结构 当然那个专家那些 就是MOE那专家策略也会啊 也会影响 SPEAKER_00: 也会影响 但是这里面 我先信啊就是说我们一定能做抽象 就做抽象 因为AI的workload 它相对于这种通用的CPU上面跑的这些算法 还是比较有可以预测性吧 所以我们可以做这种抽象 SPEAKER_01: 那听完您这个讲述 我看到您官网上除了做了刚才这个就是说 AI infrastructure的这个optimization 还做了一个open cloud的autotuner 对 还做了一个memory的manager [01:42:35] 对 其实这三个连起来就是越来 你刚才说的那个图景越来越清晰了 对吧 对 open cloud我理解就是上层的应用层 对对对 用户的那个request和用户的那个交互 对 你看那个显存内存各种东西应该怎么去调 对对对 和计算有什么不同 对对 SPEAKER_00: 你就是这么考虑的是 是的 其实是这是两个层次的这个优化 刚才我们讲的是模型serving的那个层次的优化 刚 open cloud这个是agent level的这个优化 其实根据用户的行为去 怎么样去选择模型 怎么样去选择memory的分配 怎么样去做open cloud agent level的这种最优化的配置 其实我们一直想说的是 我们已经有了很多的AI芯片 我们已经有了很多的开源框架 我们已经有了很多的这种agent的infra 像open cloud 但是怎么tune怎么配 每个case都不一样 如果需要大量的工程师去tune这些东西 其实是挺麻烦的 [01:43:35] 所以我们想去做的这个 包括serving的这个autotune 跟这个agent的这个infer的autotune 都是同样的概念 我们要自动优化的方法去做这个事情 SPEAKER_01: 好像历史上数据库那个领域 也有很多这种autotune的公司 SPEAKER_00: 你说的太对了 其实我们原来做数据库的query 就是有个叫做query optimizer 然后做的很多也是 比如说我到底是CPU来做 还是发到哪里做 我的memory到底是怎么样去allocate 其实它的复杂度 其实跟AI甚至比AI更复杂 因为数据库里面有很多这种 随机的动态的行为 data dependent的这些行为 那AI里面虽然也有moe 这种batching这种动态行为 但大部分还是几张运算 所以它是比较固定的 所以我们做AI运算 再往数据库那个方向靠 就是说会有更多的这种随机的这种行为进去 [01:44:35] 所以你做optimizer 就要其实是有些算法是可以类似的 对 SPEAKER_01: 但是它那个商业化是不是比较难 因为我理解这些做数据库optimizer的公司 存活下来的有那么多吗 SPEAKER_00: 你说的太对了 就是数据库加速的公司 其实很少成功 很成功的原因就是为什么 就是说它的业务形态变化非常快 然后你做软件的人呢 这里面这个技术占非常深 比如说我做optimizer的这些人 如果真的要用一些硬件的话 其实是很 它很难跟上这些形式 所以还有就是做数据库的这帮人 就是说它可能自己也有自己的optimizer 然后所以它很难去说 这个商业模式怎么定义就很难 对啊 SPEAKER_01: 因为我之前很佩服的几个做数据库的大神 做了类似的公司 都到最后很惨淡 对技术是很牛 [01:45:35] SPEAKER_00: 但是商业模式 这也是为什么我也在不断的学习过程中 其实要么做AI-infer的公司 其实就你要么就带着客户 客户需要你信任你 然后觉得你可以做 要么你就带着资源 你有GPU resource 然后你必须要有两面靠一头 要不然很难 对 纯粹的做infer或者是optimization的公司 就很难占住这个位置 对 SPEAKER_01: 很多看起来是AI-infer公司 但实际上是GPU公司 或者说 SPEAKER_00: 对 很多AI-infer公司实际上是GPU公司 或者AI-infer公司实际上是 它有个客户就是跟他绑定的 SPEAKER_01: 对吧 大客户枪绑定 对 所以说 您都知道这些过去有这样的一些历史 就确实挑战还是挺大的 SPEAKER_00: 挑战是蛮大 怎么样去 就是说有技术上的挑战 然后也有商业化的挑战 但是我觉得这是一个非常重要的问题 [01:46:35] 我觉得 它如果解这个问题价值是非常大的 然后业界也缺这种中立的那个仿真平台还能做优化 然后像这些serving long time缺一个virtual backend 然后这里面就是很多可以做的 对 SPEAKER_01: 我能感知到就是说如果说不用GPU 然后这些开源的社区也好 或者说各种厂商也好 通过您这个virtual backend去做各种各样的操作 对 能省下很多很多的时间和钱 对 SPEAKER_00: 对对对 其实就是说白了 我们公司可以变成任何一个AI infra公司 或者是芯片公司的架构师团队 我们还有一套工具 我们还能 对吧 SPEAKER_01: 对 这种模式其实特别容易被收购 你知道吗 我听完您的描述之后 这也是一种可能性 SPEAKER_00: 对 SPEAKER_01: 对 而且还有一个公司我突然想起来 就是你在描述的时候 VMair 对 对 这个公司当时也是 SPEAKER_00: 就是商业化也比较难 SPEAKER_01: 对 但是突然就爆发了因为做虚拟机 SPEAKER_00: 对对对 [01:47:35] SPEAKER_01: 对吧 您是做那种虚拟backend 做这种各种虚拟的那个抽象 对 对吧 可能一开始的时候 每个人看不清这个商业模式 对 那突然有一天可能每一家云厂商 都得部署这套东西 SPEAKER_00: 对 我觉得至少从我的角度上讲 老黄已经看到了这个事情 就是他做这个AI Token Factory Simulator 那就是因为AI硬件和系统软件如此的复杂 导致大家没办法搞了 然后还有这个硬件的成本 要真的要部署一套系统 然后在上面再去做优化 其实缺的不是优化工程师 缺很多AI Infer公司缺的是资源 对 SPEAKER_01: 我觉得也缺工程师 因为我看到那个这种 现在这种复杂程度 毕业生搞不了 你知道吗 SPEAKER_00: 对 没错 SPEAKER_01: 就这个东西太复杂 就是说你要毕业生能搞的 我所有见过的 要么就是在工业界 已经工作过很多年 大概知道这个底层 这些GPU 这些架构的 另外就是那种参与SGLAN 或者VRM社区 它也比较多 [01:48:35] 社区里边 就是说学到了大量的知识 对 但其他人的话 你要是上来上手这套优化 对 以我个人的体验和目前的采访状 状况来看 是搞不了的 SPEAKER_00: 其实是的 像我们 我们这个团队的经历 也是比较unique的 就是大家都是架构师 我们有在GPU Cloud 部署过 异构系统 就是整个从零到一 做过这种云场的GPU Cloud 然后我们有成零到一 像我的博士师弟 他也发过Hotchips 然后他做了很多年的simulator 就仿真器 然后我自己这个经历也有 就一直在做芯片的这种软硬件行动设计 然后有这些认识 就是我们其实是在解决我们自己的一个问题 就是怎么样去做优化 怎么样去做架构设计 对 SPEAKER_01: 你们就是你们自己的第一批客户 没错 SPEAKER_00: 没错 SPEAKER_01: 是的 你们这个团队怎么拉起来了 一共多少人的现在 SPEAKER_00: 我们核心的人不多 就几个人 但是很多都是这种 这种师弟啊 [01:49:35] 然后同事啊 就是大家一起有这个 合作过的这种战斗友情的这种 SPEAKER_01: 芯片行业的战斗老兵 SPEAKER_00: 对 SPEAKER_01: 太酷了 我觉得 哎呀这个你们的脑子里边这些 经验和知识资产有点无价了 说句实在话 真的 感觉新一代的年轻人 我们这些人 就是没有打过仗之前 包括现在用了AI 就不知道该怎么拿到你 你现在脑子中那些知识 这些经验有点 不知道该怎么去拿 SPEAKER_00: 你说的也对 像有些经验其实是 比如说 犯错 对 犯错过来 对 芯片这么贵嘛 所以大家在这个 经验积累其实是非常重要 当然对于 在最近因为 Infra变成一个瓶颈芯片变成一个瓶颈 以前就是芯片你知道在这个硅谷 其实互联网公司的给人的配的工资是更高的 就我以前的很多朋友其实都转行去变成马龙了或者是马工了 [01:50:38] 对 然后修我们这一批这种一直在半导体行业一直坑吃坑吃做的还是比较少的 对 嗯 SPEAKER_01: 这就很神奇 这个硅谷给芯片工程师的工资 大家可能不知道 他就是比那个软件行业低好多 SPEAKER_00: 低很多 这是为什么呢 这个就是 这是资本运作的这个问题 对吧 芯片公司的这个成本来自于固定资产投资 就是硬件的硬件的投资 tip out的费用 EDA的软件的license费用 或者IP的费用 所以能反而是其次的 所以他这是当然顶尖的那个架工师还是少的 但是大部分的人其实是用EDA工具的engineer 所以他的工资不高 嗯 然后但是在互联网厂商呢 他大量的这个这个成本 以前哈 因为没有AI inference或者GPU这个基建之前 大部分的成本是投在能力上面 一旦能力 [01:51:38] 就是能是最重要的 一旦你产出了这个软件 你可以无限成本的scale 但现在这个情况有点变化了 现在这些云厂也变成了有点像我们原来传统的半导体公司 就是他的固定资本投资变成大头了 能反程有可能会被AI取代了 这是有点像这种互联网行业或者是hyperscale 也在像这种我们传统的半导体公司这个转变 就是capx变成了最大的这个投资 而且他的那个revenue的成本跟你的这个capx硬件是 是一个成比例的 而不是说你通过能力的复制可以无限的这个scale SPEAKER_01: 感觉上还真是 如果说大模型整个这条训练链路 对不对 从pre-train 到那个mid-train 再到那个RL这些东西 对 整个链路搭起来之后 人的价值是越来越低的 是说现在就是说 通过大模型是辅助人开始进行整套链路的训练 [01:52:38] SPEAKER_00: 对对对 SPEAKER_01: 安个人 安个刚毕业的学生 对 然后大模型指挥着他 去做一下操作 SPEAKER_00: 对我感觉 那些大模型你可以认为用半导体行业类比 就大模型是你的EDA工具 然后更多的这些我们的工程师 软件工程师变成了用EDA工具的人 所以然后这些大公司的这个投资 更多的是投在基础设施上面 所以大家可能要接受就是 顶尖的那些比如说 就有点像我们的这个芯片行业的架构师 他还是可以维持非常好的一个收入也好 或者是回报也好 但是大模型工程师变成了用AI工具的这种 软件工程师了 所以薪资会有一些变化肯定是 SPEAKER_01: 对现在的一些高薪一方面是 这些这个技能确实比较紧缺 然后为了维持领先地位啊 对 对 但是等到进入一个平稳发展期的时候 对 [01:53:38] 很难想象到就是说还和现在一样 就跟Meta各种公司开这么高的工作 SPEAKER_00: 不过这个其实也是开这么高工资也是很小一部分 对特别 SPEAKER_01: 大家可能就是说报纸上说的就是天花乱坠 SPEAKER_00: 可以认为类比我们这个芯片行业的架构师他们是 对 SPEAKER_01: 就是大家在硅谷都知道这些人就是去之可数 SPEAKER_00: 对不对 没错 SPEAKER_01: 哎呦 那面对这样的一个未来的前景 嗯 您觉得就是说高中生还要不要学计算机 还要不要就是说搞芯片这些东西 SPEAKER_00: 呃我觉得要啊还需要还需要就是说 就是说人人都要变成架构师说吧 就是说你能够上下拉通用工具帮你实现很多事情 所以其实对人的要求是非常高了就是你但是你底层的一些东西 你还是要去学习的 所以还是要计算机还要学 这个商业模式啊或者是business也要学 然后你还有一些这种自己的taste一些know how [01:54:40] 你也要去学 就是说就是其实人人都要可能要有这种架构师的这种思维 然后去选择职业也好去做你的这个呃这个职业的培训也好 对 SPEAKER_01: 那换个角度讲的话如果说你的兴趣没那么大的话 是不是也就不用那么的执着了就是说你特别有兴趣 啊对你就好好去做 对但如果说没有兴趣的话 嗯这个过程变成顶级架构师这个过程有点煎熬呀 SPEAKER_00: 呃没错就是说如果这不是你的兴趣 但是我觉得后面生产力会积极的提升啊 就AI可以productivity 你可以就是变成像我们半导体行业的工程师用AI的这个人啊 嗯然后可能不是顶尖的这个待遇 但是这个生产力提升到一定水平可以保证大家的基本福利还是可以的 SPEAKER_01: 哦对就是对反正衣食无忧一辈子 就美滋滋的过也行每天对吧 啊对 虽然那个就是普通的半导体工程师工资没那么高 但是维持一个体面的生活 甚至说不怎么不怎么加班不卷 [01:55:41] 好像也是一个挺挺好的事情是吗 SPEAKER_00: 呃 我觉得某种程度倒是了 但是我觉得社会最后有可能会真的是两极崩化 很多人其实可能就不需要工作 SPEAKER_01: 感觉今天和志斌老师聊得有点过于开心了 就是这个内容很多都是没有准备的哈 就是志斌老师给的信息量太大 我觉得全是临场应变 努力帮大家一起理清过去20年 就是志斌老师的那个在芯片领域风风雨雨的从业史 然后也希望大家帮助大家能够理清就是说过去20多年芯片行业 就是在硅谷这一块是做了多少代的那个更新换代 SPEAKER_00: 嗯嗯 对也非常感谢叶秀大叔的邀请啊 因为我讲的可能比较快 然后其实是每一个方向刚才都可以在可能再聊几个小时 SPEAKER_01: 我们多上节目好吧 我们这一次叫做就是说一开始先来起个头 我们后边每一个章节我们再分章节来一遍好吧 谢谢大家谢谢大家 [01:56:41] 谢谢肖老师 SPEAKER_00: 谢谢你