148. 对游凯超3小时访谈：开源Infra、和模型Co-design 、“如果vLLM失败，我们会后悔一辈子”

[00:00:00] SPEAKER_01: Hello大家好,我是小俊 今天我们的嘉宾是尤凯超 他是创业公司Infrault的联合创始人 兼熟悉科学家 那这个公司很特殊 他是从伯克利一个校园开源项目 VLLM引化而来 这个社区的核心维护者 用了将近三年的时间 把他从一篇算法论文 变成了一个开源社区 又变成了一个公司的正常运营 这些维护者们放弃了 大量的个人诱惑 坚持着他们所相信的开源精神 那今年初Infrault也获得了 1.5亿美元的种子人融资 所以我们也讨论了 当一个寄托着社区情怀的开源项目 变成一个商业化的组织运营之后 他所面临的抉择转变与思考 那另外一方面呢 我们也非常希望在AI Infrault的技术前沿上 给大家带来一些新的思路 所以我也和尤凯超聊了聊 在AI Infra 模型结构 甚至连Honey's Engineering [00:01:01] 都要联合设计的时代背景之下 那这个多方的联合设计 应该怎么做 那接下来就是我对尤凯超的访谈 期待2026年 我们和AI共同进步 SPEAKER_00: 最后我们是怎么说动他的呢 就是小之以情动之以理 就是最后跟他说 你如果不跟我们一起创业 你赚到了很多钱 但是10年之后为我们项目失败了 你是开心还是不开心 那么比如说有的地方水流比较湍急 有的地方水流比较平缓 那你在这两个地方怎么样去设计你的发动机 使得你的发动机能够更好的利用这部分能量 这个就是所谓的这个模型和Infra的co-design 那我觉得Deepseek的这个深厚的Infra功底 可能是来自于就是他们之前做换方量化的时候 对这个性能的一些极致的这个压榨 因为大家把token和电做一个类比的时候 可能会觉得就是电它是比较通用的 [00:02:02] 电它是可以调制的 但是token它是没有办法去做调制的 就是你没有办法说把一个Deepseek模型的token 转化为一个Kimi的token 这个token它是带着模型的烙印的 SPEAKER_01: Hello 凯超 先给观众朋友们打个招呼 SPEAKER_00: 大家好 我是游凯超 我是本科和博士都是毕业于清华大学 然后现在是Infraact的联合创始人兼首席科学家 那我现在的主要任务呢 就是在维护以VM为核心的这个 开源大模型推理引擎的这个相关生态 然后我们的目标是为AGI提供软件服务 我也是小俊播客的这个忠实粉丝 我们之前看到很多行业的这个前辈朋友们 都来小俊这里参加过这个博客 那像张强宇老师啊 这个杨志玲学长啊 以及Manus的记忆超 我们都很熟 然后我也很荣幸有这次机会来这里 跟大家一起分享一下我的一些经历和看法 SPEAKER_01: 说到Manus的记忆超Peak 其实凯超这次来我们节目也是他帮忙介绍的 [00:03:05] SPEAKER_00: 对对那个是去年12月份的时候的时候的事了 然后那个时候其实那个Manus还没有被Meta收购 然后但那段时间其实我也在忙着成立公司啊 所以啊虽然答应了要来 但没想到一拖就是半年啊 然后现在这个也终于来兑现我的承诺了 SPEAKER_01: 我们在正式聊技术之前 还是非常好奇的 想要探究一下你个人的经历 你是从什么时候开始接触计算机编程的 你是从初高中就有一些竞赛相关的经历吗 SPEAKER_00: 我大概是从2015年开始接触这个编程的 因为我在这个初高中期间呢 我的主要任务啊 就是这个中考高考 就是正常的这个高中的学习 然后副业呢 会做一些这个数学物理竞赛方面的学习 然后提高一些这个知识水平 算是一个我觉得比较典型的理科生吧 然后竞赛方面呢 其实成绩也不算亮眼 就是物理竞赛有一个省级一等奖 用处不是很大啊 就是最后这个对高考也没有很多用处 所以呢竞赛结束之后呢 [00:04:06] 我就继续准备高考 那所以我并没有这个算法编程比赛的经验 但是这个有一个这个 我对计算机编程的了解呢 就是我们在学数学物理的时候 然后当时接触一些辅助计算的软件 比如说我印象深刻的有一个叫做几何画板的东西 你可以用它去观察各种函数图像 然后去做一些这个物理的仿真的动画的演示 虽然现在可能没什么人知道这些软件了 就是技术发展的太快了 虽然我这个回想起来好像只是10年前 但是好像已经是上一个世纪的东西了 没有人记得了啊 但是当时这些软件还是给我带来很大的震撼 就是让我看到计算机能做很多事情 然后呃还有一个比较相关的事情是清华大学在2013年的时候推出了学堂在线 这个基本就是对标国外的edx的这个在线教育平台 那么1415年的时候呢 啊就是我在学习竞赛的时候 那么学堂在线呢把很多清华的老师请来录制了一些教学视频 [00:05:08] 然后我当时一开始是在上面学习这个大学物理 因为我们中学的这个物理竞赛本质上就是大学物理加一些微积分 然后呢学完了这个大学物理和微积分之后 刚好这个学堂在线他当时推出了跟edx联名的一个python的课程 然后我就跟他学了这个python那么这个算是我第一次认真的学习一门编程语言 呃虽然就是初中高中阶段我的主要任务是中考高考 但是我不太喜欢这种无意义的重复劳动 就是我不喜欢这个刷题 所以我这个更喜欢学习新知识 那所以我的很多备考的时间都是拿来学习这种各种课程啊 虽然说这个题目比较简单的时候他不会考到这些知识 但是我个人还是觉得啊学习这些课程能够学到一些新的知识 然后他对于我深刻的理解一些难题也是有帮助的 那这部分内容你是没有办法通过重复刷题来获得的啊 所以我个人感觉就是学到知识这个比较满足啊 [00:06:08] 虽然高考确实他最后就是我那一年高考他比较简单 所以我的这些能力可能也并没有体现在高考分数上面没有用武之地 对所以最后其实高考分数也就是勉强插着清华的分数线上来的啊 但是我觉得这个学习的过程还是很快乐的 就是确实学到了这些知识我觉得是有用的 SPEAKER_01: 哎你刚进清华的时候好像还不属于就是最优秀成绩最好的那一波 好像是高考分数线比清华的录取线是高了两分 然后你是怎么在清华逆袭的呀 SPEAKER_00: 我觉得不太好说逆袭吧就是 确实高考分数线就是可能分数就是比分数线高那么两三分 但是我觉得这不是很能反映就是你不能拿他去预测一个人在大学的这个过程 我觉得他更多取决于你在大学里面干什么 就是那个分数他只是一个admission就是你进了清华之后应该 把这个分数就忘掉了你就应该接下来做大学想要做的事情 SPEAKER_01: 你当时有多卷我看到一些记录说比如说你一入学就开始疯狂追赶 [00:07:12] 大一发了一百多封邮件给老师请教问题 然后又看了一万多页的学习资料 而且你的经读笔记你的论文经读笔记在校实馆展出等等等等吧 最后36门课程获得了4.0的成绩 SPEAKER_00: 这个是比较老的历史了已经过了好多年了但是我觉得 这个也不是一个卷吧更多是说 就我觉得我还是比较享受学习 然后呢在大学里面确实我觉得学到了很多知识 那比如说你说发一百多封邮件给老师请教那 其实十多门课然后每一门课你每周给老师发个邮件请教那就有100多封了 所以他我觉得更多是一个坚持的过程吧 包括学习各种东西做的笔记 也是因为我觉得在大学里面学到了很多然后再记录了很多 就是我并没有把笔记的数量这个字数什么的当做一个目标来优化它 就是对所以我觉得更多是一个自然而然的就是学习的结果 SPEAKER_01: 因为很多人认识你是从VLLM开始的但是你在清华读书的时候你的研究方向应该做的是迁移学习 [00:08:17] 但这和你后来做的推理系统看起来完全是两个世界 就是你是怎么从一个算法研究者过渡到今天这个深度参与系统工程的人呢 SPEAKER_00: 我觉得这里面有几个主要原因吧我可以这个稍微说一下 第一个原因是我觉得这个学术圈现在是一个礼乐崩坏的状态 就是我在刚接触人工智能研究的时候大概是18年吧 然后那个时候可能一届学术会议他一年大概几百篇论文左右 然后这个时候我觉得他的学术社区比较健康 就是你投稿之后然后呢审稿人可以给你一些比较有建设性的这个积极的反馈 他会告诉你说哎你这个地方做的好那个地方做的不好 然后你应该这样去改进啊 就是我们真是真正的是在认真的讨论怎么样把一个工作做的更好 但是呢后来这个学术会议的规模的扩张 它的速度远远超过了社区成长的速度 这个人工智能会议的投稿数 他每一年都是在成这个几何级数的增长 所以一个显而易见的问题就是审稿人的数量和质量都远远比不上这个投稿的数量 [00:09:23] 那所以在这个时候其实审稿的质量急剧下降 那你的投稿就像这个抽彩票一样 就是你重或者不重可能跟你这个工作的质量本身已经没有很大的关系了 那我是亲眼见证了这个过程 就是亲眼见证了这个过程 所以只能说比较痛心吧 然后但是这个大厦将亲它不是我一个人能够改变的 所以我就离开人工智能算法的研究 然后就不再把这个论文发表作为我的追求了 SPEAKER_01: 这是什么时候发生的变化呀 这是你大家几的时候 SPEAKER_00: 呃这个应该主要还是研究生期间的啊 就是我18年开始嘛 然后像1920年有这个趋势啊 但是我觉得到到后面这个20年之后这个趋势变得越来越严重 然后啊这也是一个逐渐的过程啊 对吧就我不是哪一天开始突然就不投了 更多是感受到这个趋势 然后就逐渐的就对这个投论文不再有那么大的兴趣了 然后呃第二个原因是这个我发现人工智能算法领域的成果 其实他很多时候依赖于这个机器学习系统怎么说呢 [00:10:23] 就是呃我们做研究的时候这个 我们认为人工智能领域的这个这个算法领域的天花板啊 至少就是我个人心中的天花板 就是何凯明老师 就是他的这个resnet是吧一战封神 然后呢后面每一次就是只要凯明老师的这个主页有变动啊 或者他又开了他又挂了一个新的这个archive的论文 我们这些同学就像收到了新的神域一样就是上天降下了一个神域 原来又有一个新东西可以做了对吧 然后我们就可以去就去拜读这个凯明老师的论文 那那个时候其实我们这个私下讨论的时候 也经常会有这样的疑问就是啊看完了凯明老师的论文啊 我们觉得这个想法实在是太自然了 就是浑然天成的感觉一开始就应该这样设计 但是好像类似的想法其实我也早就想过啊 可能在实验室的组会上啊 我们几个月前探讨这个问题的时候 哎我们也说这个你这个东西这样设计是不是就可以了呀啊 我们甚至可能还做过一点小的实验去验证说这个东西有没有效果 那为什么最后成功的是凯明老师呢 [00:11:24] 嗯 这个除了他个人非常厉害的原因之外呢 我这个分析出来的一个结论就是 凯明老师做的事情 他不仅是方法简洁有效 而且他是做了大规模的实验的 那我们实验室里面的这些小虾米是吧 我们只是在玩我们这个玩具数据数据集 然后呢在上面就有点这个螺丝壳里做到场的感觉啊一个小小的数据集我们玩出花来了 然后但是并没有做规模化的实验 那当我尝试着把这个手头上的实验规模扩大的时候啊这个显而易见的事实就是 支撑实验的这个机器学习系统 以及对应的数据 他其实才是决定成败的关键 而不是说你去叼这个cross entropy的这个五种加权方法 所以呢这让我这个更关注机器学习领域的一个进展 然后第三个原因是这个一些工业界朋友提供的反馈 那上学的时候我非常喜欢参加一些活动 然后结交一些朋友 跟大家聊一聊现在工业界在发生什么 [00:12:25] 然后我印象比较深刻的是这个2022年 有一个叫做WOWS大会 啊这是国内的一个这个机器学习和机器视觉的一个大会 然后呢我在上面有个poster啊 就是我去那边讲一个poster 然后呢我在会场上这个刚好遇到了张强宇老师 然后我就厚着脸皮拉着张老师在那聊了一个多小时 哎他他也这个有耐心跟我聊一个多小时啊 然后张老师他当时在旷世啊 他应该就是旷世的首席科学家 然后呢他聊的时候啊 我就很惊讶的发现他作为这个目标检测算法领域的一个 啊这个大佬吧 他跟我们聊的其实不是说啊目标检测算法 我们现在又发明了什么新的loss 这个效果怎么样了 他其实说的更多是说啊他们现在面对的就当时啊 他们当时面的这个面对的复杂硬件对于软件带来的挑战啊 以及这个像旷世他也要设计一些像这个为目标检测 cv算法所特化的一些硬件 那么这些硬件上为了特殊负载设计的这些硬件啊 [00:13:28] 他有这个多级的缓存结构 然后呢你需要手动控制在芯片的这个多级缓存之间的数据流动 所以这个矿式的工程师他们每天最头疼的啊 不是说我这个参数怎么调 而是说这个我这个英伟达的库DNN代码里面又有这样的问题 那样的问题 然后我需要适应这个硬件去写这样的算子 那样的算子啊 所以这个是对我触动比较大的一个事情 然后啊 我觉得还或许还有其他种种原因吧 但是这三个原因已经能回答很多问题了啊 他们共同促进我就是促使我这个从算法的研究 转向机器学系系统的这个工程的研究 SPEAKER_01: 你刚才讲的时候我在想 有没有可能凯明的那个年代就更适合算法的研究 然后可能发展到今天可能算法的研究 我不知道能不能叫做某种程度上雕花 然后今天可能更适合大规模的系统研究 就你觉得跟时代背景有关系吗 SPEAKER_00: 哦绝对我觉得是有关系的 [00:14:28] 就是我觉得确实就是凯明老师的那个时代 属于是算法研究的蓝海 然后那个时候还没有那么多人进来 所以我觉得算法那边能做的事情比较多 嗯但是后面算法做的事情可能就是一些比较low haring的fruit都被大家摘完了 然后再往前面可能很难有一些根本性的变化 SPEAKER_01: 嗯 SPEAKER_00: 以及还有就是大家对于scaling law的这个信仰吧 就是你的基本算法其实不需要怎么变 你只需要不断的在网上面堆算力堆数据 你的效果就能够自然的变得更好 SPEAKER_01: 对虽然你对算法失去了希望然后对发论文失去了希望 但是其实你在本科的阶段其实也发了很多很好的论文 然后你也进行了很长时间算法的研究 你要不要讲讲就是你整个的研究的一个过程 从本科到博士然后你的研究轨迹是怎么发生变化的呀 SPEAKER_00: 啊对刚才说的那个转变其实是在博士期间啊 就是我本科也没有做很久的研究 [00:15:28] 当时也是在跟随了这个算法的研究 那我的研究方向呢其实我觉得很多时候还是靠缘分和这个时代的趋势吧 就是刚才说到我这个高中的时候在学堂在线上面学习嘛 然后上面有一些这个课程 然后呢到了大学之后呢 我又是啊又可以通过像edx啊 还有这些名校的公开课 然后来学习进一步的知识 那那个时候比较有名的公开课 像这个吴文达老师的机器学习课程 然后还有李飞飞老师的计算机视觉的课程 然后呢还有克里斯佛这个麦尼老师的自然语言处理课程 啊这些都是非常有名而且非常好的公开课 那么我学完了这些课程之后呢 就尝试找个实验室做一些研究 然后呢当时刚好我们学院里面也有一个老师在做这方面的研究 啊所以我就从这个人工智能啊 深度学习这方向开始研究 然后呢后面也是在这个老师手下继续 就是他就是我的博士生导师 然后我就在这继续读完了博士 [00:16:28] SPEAKER_01: 嗯 哎你为什么没有当时考虑出国 SPEAKER_00: 啊有考虑出国 其实一开始是准备出国留学的 但是后面受疫情的影响比较大 哦啊就刚好撞上疫情了 然后啊也不想那么折腾就留在学校里吧 对然后本科期间做的事情呢 主要是跟导师做一些这个 我们叫做数据稀缺场景下的高校学习 就是提升机器学习算法的泛化性 SPEAKER_01: 嗯 SPEAKER_00: 他后来发现呢就是这部分研究 他比较锦上添花 就是别人已经做好了一个任务 然后呢他可能做的不是那么好 然后呢我再把一个通用的方法用上去 然后希望给他提升1%到2%的准确率 这个就很依赖于别人 就没有办法大规模的应用啊 所以后面实验室在这方面的投入 其实也逐渐的变少了 然后呢啊19年暑假的时候 我是去加州大学伯克利分校的 我们这个麦克·周顿老师手下 做过一段时间的暑期研修 然后呢学习了一下 美国那边的一些前沿的AI进展啊 [00:17:29] 也是开阔了眼界 然后当时其实已经有一些苗头 SPEAKER_01: 就是在做大模型相关的技术了 SPEAKER_00: 啊回来之后就是博士入学之后呢 那么也是这个研究方向 逐渐在往大模型这方面靠吧 那么我是2020年开始读博士的 然后那个时候 大模型其实已经在开始发展了 就2020年应该就是这个 GPT3发布的时候啊 然后但是我们实验室的这个 算力资源也非常有限 所以我们没有办法做这个 大规模的预训练的一些实验 那我就根据我们能支配的算力 然后研究了一些像大模型的微调的方法 那这个做了一段时间呢 虽然有一些成果啊 但是其实也跟之前有一个类似的问题 就是这个他比较锦上添花 嗯就是我们做了一年的时间 研究各种算法 可能在原来的场景下 也提高了1%到2%的效果 但是呢你会发现一年之后 哎大家有个更好的更大的预训练模型了 那你只需要简单的替换一下这个预训练模型 你带来的收益比我这个算法还大 [00:18:30] 那所以呢加上刚才讲到的一些原因 那我博士的后半段就从这个人工智能的算法研究 切换到了人工智能这个机器学系统方面的研究 嗯然后呢我是在2024年的时候啊又申请去加州大学伯克利分校交流 然后接触了VYM然后再开始做这个大模型推理系统 SPEAKER_01: 在你博士开始之前的2019年 应该是对你来说有两件比较重要的事情 一个是你去Michael Jordan老师那里去做交流 然后你遇到了现在的合伙人 这个是一个非常重要的事情 然后第二个是你获得了清华特奖 这两个事情的先后顺序是什么样的呀 SPEAKER_00: 应该先是暑期研修就是这个交流 这个是在2019年的暑假 然后特奖是在2019年的年底左右吧 SPEAKER_01: 所以在那个交流你第一次遇到 你现在的合伙人也是VYM的发起人的时候 你对他的是什么印象呀 当时是一个什么样的故事 你在知乎上分享过这段经历 SPEAKER_00: 对我我可以这个把这个具体展开一下 [00:19:32] 就是2019年暑假刚才说的就是我在Michael Jordan老师那里做鼠言嘛 然后Michael Jordan老师他是隶属于一个叫做Rice Lab的实验室 这个实验室它是UC Berkeley的EECS系下面的一个实验室 然后这个实验室它是专注于机器学习系统的设计 那么它其实就包括两部分 一部分是机器学习一部分是系统 然后Michael Jordan老师他当时是负责这个机器学习算法的方向 然后我在研修期间呢也经常参加这个实验室的各种活动 所以呢也借此机会就是接触了更多机器学习系统方面的知识 那刚才说到的这个我们VYM的创始人之一 也是我们的好朋友李卓翰 那么他是实验室当时是2019年秋季即将入学的博士新生 就是他比我高一级 所以当时我是大三 然后他已经大四结束了 他要这个就是他已经申请完了 他在那个Young Stoica老师那做博士 然后呢 [00:20:32] 当时他是在实验室参加一些这个入学前的交流活动 那我对他这个当时分享的研究经历比较感兴趣 然后就跟他加微信沟通了一下 所以就是他刚才说到他的导师是Young Stoica 他就是负责这个RISE Lab里面的机器学习系统的方向 那所以我觉得也是很有幸就是那次暑期研修 我有机会同时接触到这个顶级的机器学习算法的老师和系统的老师 然后我在暑期研修结束之后呢 我是就回清华继续学习嘛 然后这个又是比较巧的事情就是 这两个老师他刚好那一年是成为我们学院的访问教授 所以在我这个结束交换之后 就是我结束鼠言之后回到学校 他们也紧接着来我们学校访问了 就是他们从美国来到中国访问清华 然后呢因为我当时在暑期研修的时候跟他们交流过嘛 所以我就负责这个他们访问过程中的一些活动的筹备 那那个时候其实我心中已经有一些萌芽的想法 [00:21:32] 就是我觉得这个机器学习系统非常有意思 然后呢我也想做一个比较有影响力的软件 但是有一个担心就是总是担心自己就是无名小卒 然后做出来的东西就是没有人用 所以我在一次这个交流活动中呢 我跟Yang Stoica老师说 就是这个怎么办 就是我如果我想做一个机器学习系统 但是呢可能又没有人用 那我做这个系统的时间是不是浪费了 那Yang Stoica老师他就用他这个人生阅历告诉我说 就是他之前做了很多很多事情 然后呢他说只要你是一个好的软件总会有人用的 这个也是我对于这个转向机器学系统的一个 比较大的影响因素吧 就是Yang Stoica老师的这个鼓励 SPEAKER_01: 这其实是个前奏 你还没有真正做出选择的时候 SPEAKER_00: 对对这些是一些这个线索吧 就是他们埋下了一些种子 然后呢我后面在学术研究期间就是也零星的做过一些开源软件的建设 比如说2020年的时候啊就那个时候也是疫情 [00:22:35] 反正也没有没有什么事做 就只能困在这个宿舍里面 然后呢当时和本科同学翁嘉义啊一起做了一个开源强化学习的系统 叫做天兽啊当时还是训练这个游戏机器人 就是玩一些这个Ataria这些视频游戏啊 然后2022年的时候呢我也做过一些像把我设计的一些机器学习算法 贡献给一些主要的开源社区 像这个OpenMM Lab的一些计算机视觉的库 以及像Pytorch这些机器学习库 那所以在开源社区里面也算有一些影响力吧 嗯啊然后2022年底呢这个就是ChatGPT发布了 然后呢我就是看到当时我们还在一起玩泥挖的这个朋友 就是一些青苹果同学 对对青苹果同学 在植物上这么称呼他 对就是温嘉义他现在已经是ChatGPT的训练师了 然后呢当时OpenAI的每一个博客都是就是圈圈有他名 所以就是他已经属于是标柄史册了 那那个时候我就在想就是我未来要走向什么方向嘛 [00:23:37] 那我当时也跟大家请教了一下 然后发现就是大模型相关的研究呢 几个方面吧 然后一个是这个数据和算法 这些是跟公司绑定比较强的 就是啊你的这个算法研究和数据研究都需要公司的比较强的支持 公司的这个大量的资源 然后呢其中有一部分是机器学习系统 啊那么这一部分你是可以在实验室里面进行小规模的研究 然后可以很容易的扩展到大规模的场景的 所以这个也是坚定我这个对于研究方向的一个转变 然后就是到了二三年的时候这个啊疫情已经基本结束了 然后国际交流就恢复了 那这个时候呢我们的这个学院的访问教授 就再次来我们学院访问 然后呢呃但是那个时候就是UC Berkeley的 当时叫Rice Lab 然后四年过去之后已经叫做叫这个Sky Lab了 然后呢就二三年秋天的时候 呃Yang Stoica老师再次这个来我们访问的 来我们这里访问的时候啊 [00:24:37] 我那个时候已经比较坚定了 就是我想继续做机器学习系统 然后呢我就跟他说啊 我能不能去你那里这个交流访问 那这个时候我是呃跟他这个提了一下说 呃四年前我其实问过你这个问题 然后呢这四年里面我也在一直探索 就是我能做什么事情 然后如果我做出来一些有意思的事情啊 是不是会有人会用 那确实这个效果也是很好的 所以呃他也是就是看到这个四年前的一个青春少年 然后四年之后还跟他说啊 他还一直在践行这个四年前他给的一个建议 所以他也非常感动 然后就同意了我的申请 所以我在2024年的时候就是在Sky Lab交流 然后刚好就是赶上了这个VM项目的发展 呃所以说就是呃很多的这个机缘巧合吧 但是我觉得就是呃如果没有这个19年的暑期研修呢 可能比如说我就没有那么早的加上这个卓翰的微信啊 我可能这个见Yang Soika老师的时间也会更晚一点 [00:25:38] 呃但我觉得我的这个整体的大方向是不会发生变化的 就是这个大方向它其实是很多事情积累的结果啊 我觉得我依然会从这个算法研究转向机器学习系统啊 这一次的这个重大决定其实我是酝酿了好几年的 SPEAKER_01: 嗯有一种冥冥之中的感觉 SPEAKER_00: 冥冥之中以及我觉得这个是时代的趋势 SPEAKER_01: 嗯因为你同时看过就是在算法上和在系统上都非常顶尖的学者 呃Michael Jordan和Ion Stoica老师 你觉得他们的底层思维有什么不一样啊 SPEAKER_00: 底层思维啊我觉得Michael Jordan老师更偏心 像学术和理论一些啊他做的是机器学习理论 当然他从来不把自己叫做AI研究者 他更多的是研究这个机器学习算法 背后的一些这个理论的inside 他也做很多像啊博弈论啊这个经济学分析啊之类的事情 所以他可能更偏理论一些 [00:26:39] 嗯然后啊Young Stoica老师更偏系统一些 然后啊他的追求很简单就是real world的impact 所以他做了很多这个开源软件 然后很多啊开源软件后面都孵化成了重要的项目 然后成为了这个工业界的基础 SPEAKER_01: 你追求的是后一个 SPEAKER_00: 对我追求的是后一个 而且我觉得啊就是他们两个肯定没有优劣之分啊 但是我觉得在当下的那个时代啊后一个是更值得追求的 前一个比较难追求 就像我跟温家一聊到的就是前一个那种东西 你要能做出impact的只能在世界上很少的地方 有这样的坑位能够做出这样的影响 SPEAKER_01: 他跟你的选择也比较相似对吧 SPEAKER_00: 对他也是做的AI infra就是我们当时一起做那个天兽项目啊 就也算是一个比较小的机器学习系统啊 然后啊其实他当时也是做了一些这个算法方面的尝试 然后其实也有很多挫折就是你可能提出一个算法 [00:27:41] 然后投稿论文 然后对方说你这个不novel没有用 然后他最后可能就觉得那我不如写一个系统 就是我告诉你说这些东西就是训出来你就是牛 SPEAKER_01: 所以你跟温家一是有点心心相惜的味道是吗 在读书的时候 SPEAKER_00: 可能不算是心心相惜吧 更多就是我觉得我们还比较志同道合 就是大家都觉得这个事情比较有意思 然后就一起做 SPEAKER_01: 你刚才说了你慢慢的对论文丧失了兴趣 然后也不想做纯理论的东西 但是你在本科的阶段其实还是要去发论文 你也是特奖的获得者 就这个是怎么发生的呢 刚才我们说的是另外一条线 就是你是怎么走上系统工程这条路的 另外一条线你是怎么在本科阶段 就是获得了很多的鼎慧的认可 然后同时拿了秦华特奖的 SPEAKER_00: 这是一个渐变的过程吗 对吧就是学术界他也不是一开始就里乐崩坏的 SPEAKER_01: 就本科你还是有希望的是吗 SPEAKER_00: 对对 SPEAKER_01: 充满了希望热情 SPEAKER_00: 对就是我而且我刚开始做研究的那个1819年 [00:28:41] 我觉得还是有一些人在踏实做研究的 然后做研究就是做算法研究也还是能够被人看见有人认可的 然后大概我觉得20年之后可能这方面的这个兴趣就不是很大 当然就是特奖评选它是19年年底嘛 所以它凭借的是19年之前的这个成果 然后呢我刚好这个也有一些成果 所以就去参加了一下 SPEAKER_01: 在你获得清华特奖的时候你当时还是很兴奋的吧 因为我当时看到你还写过就是要在清华不要做一个观众 要成为舞台中间的一个人 SPEAKER_00: 对我觉得肯定是有兴奋的这个因素 就是获奖肯定还是比较开心的吧 然后获奖之后呢也是朋友圈变得更大了 然后我可以接触到更多的优秀的同辈 那这个是我能感觉到的一个明显的好处 但是我觉得整体上来说 就是这个特奖这个事情它其实是在被淡化的 就是大家不再赋予它过多的含义 因为清华其实有很多奖学金 [00:29:42] 然后特等奖学金其实只是其中之一 然后有些系其实有很大额的奖学金 就是比特奖其实奖金多很多很多 所以特奖只是奖学金之一 然后呢我觉得特奖它是一个特殊历史时期发展的一个产物吧 就是当时社交媒体发展的比较快 然后呢这个学校当时大力宣扬特等奖学金的评选 然后出现了这个像马东函和马东新这个双胞胎的双料特奖 然后呢像这个陈丽杰这个理论计算机科学家这种 有一些这个现象级的话题 然后呢后面就就感觉有点这个变味了 就是每年的评选你可能都可以看到在这个社会上有一些不小的轰动 然后呢大家就会说哎这个是一年一度的神仙打架 但是客观上来说就是很多特等奖学金获得者 啊他在获选的时候其实也是这个我觉得是志气未托的少年 就是他一般是大四上学期的时候评选 然后呢其实也就是一个本科生入学这个三年左右 [00:30:46] 那么把这样一个这个同学把它过度的曝光在这个媒体的聚光灯下 其实很容易对这个获奖者的这个正常的学习科研生活都产生不必要的干扰 所以我觉得我还是比较幸运的就是在我参选的那一年 学校已经这个意识到了这一点 所以他当时这个取消了特等奖学金的现场答辩的直播 然后呢也后后续其实也有意这个压低的宣传 所以再往后大家可以看到其实这个特等奖学金的话题 在社会上的讨论其实这个讨论度是越来越低的 然后呢他现在可能基本上就是一个清华大学的普通奖学金 社会上其实议论的人已经没有那么多了 SPEAKER_01: 这才是对的对吧 SPEAKER_00: 对我觉得这样子才比较好 但是你就是对于获奖者本身总是开心的吧 就是我获得了一个认可 但是我觉得之前的讨论其实有点太多了 尤其比如说当时讨论比较火热的时候 大家总会说哎这个今年的特奖评选是评选这个 [00:31:48] 这一届清华大学的学生里面最厉害的十个本科生 那我觉得这个说法它本身就不是很恰当 因为这个学校里面我觉得每个同学有自己追求的方向嘛 你其实很难拿一个统一的标准说 这个就是这个最厉害的十个人 然后他比其他人都厉害啊 我觉得每个人都有自己的方向 所以不应该拿一个统一的标准去衡量大家 SPEAKER_01: 你今天还这么想吗清华是一个舞台 但你们不要只做观众 SPEAKER_00: 我当然可以继续这样想啊 因为我现在已经不在那个舞台上了 我已经退下来了对吧 然后如果我要对这个新入学的同学的说几句话的话 我觉得这几句话还是适用的就是 来清华更多的是追求自己的成长对吧 而不是说我在清华里面又看到了什么什么样的人 SPEAKER_01: 其实我看你的研究方向就是你早期做千因学习 预资适应 然后你就已经开始做像lockme这样的工具 你后来又和翁天忆一起做过天寿 它也是一个类似于标准化的工具箱 [00:32:50] 你是不是很早期就开始已经想做这种通用工具性的事情 我在想你是不是从更早期开始就已经 就是对你现在做的事情更有热情 SPEAKER_00: lockme那个工作应该已经是2021年的时候了 所以那个时候其实我已经在思考着如何转方向的这个问题了 然后呢也是另一个趋势就是 刚才说到这个算法研究 就是这个投稿比较混乱嘛 然后你很难有比较确定的让它重稿 那么当时我其实发现的另一个事情就是 我们做算法研究很多时候需要跟别人争论说 我这个东西多么创新 就是我的knowability有多高 但是呢还有另一个方向就是你跟别人说 我这个东西加速了多少倍 这个东西是比较客观的 然后呢当时我们做的那个算法宣称是跟 这个其他的算法相比有几十倍的性能提升 然后这个事情是你可以被验证的 然后呢你也可以分析出来说这个背后的加速的原理是什么 所以这个东西让我觉得就是积极学习系统 [00:33:52] 它是一个更确定的领域 就是我可以明确的知道我做的贡献是什么 而且可以很明确的量化 你可以说我的东西不novel 但是你不可以说我的东西没有用 SPEAKER_01: 你对就是算法那边的彻底的丧失希望 有没有一个时刻呢有一个事件吗 SPEAKER_00: 我觉得很难 SPEAKER_01: 我能理解它是一个过程 但是它有最后一个稻草吗 SPEAKER_00: 对就是它是一个过程 然后像刚才我说的我发现积极学习系统这个领域 我投入更多的时间我做更多的优化 就能有更多的收获 那这个时候我就逐渐的不再把精力 投入到这个算法研究上面了 SPEAKER_01: 就没有一个关键的事件 你有一个导火索吗催化剂吗 SPEAKER_00: 我觉得没有就是我们之前的认知一直都是这样的 就是算法做顶级的算法研究 它是有用的但是你要找到这样的发挥 这样的职能的这个position是比较困难的 可能世界上其实也就只有那几个有限的位置 [00:34:54] 那么在不在那几个位置上没有对应的资源 即使做出来这样的算法也是很难发挥作用的 就像比如说我没有凯明老师的资源 我只是想到了他那些论文的idea也没有用 SPEAKER_01: 那比如说如果做算法的话 可能论文引用数会是一个指标 它是一个就是你能够衡量 就是你能够衡量的标准 那如果你走向系统研究 系统工程这样的路的话 你的衡量标准是什么 你会更看重什么数字吗 SPEAKER_00: 那这个衡量标准就是 你做的东西有多少人用 然后呢对大家是否带来了这个真正的收益 比如说你的这个Github的一个项目 有多少人这个star了 然后有多少人发来感谢信 就是在issue里面说我用你的这个东西 然后给我提高了多少的效率 SPEAKER_01: 你就不会再用论文去要求自己了对吧 SPEAKER_00: 对这个时候论文只是一个副产物 就是有些算法 有些系统工程的实现 我们做得很好了 然后也已经有很多人在用了 [00:35:54] 那么这个时候我们再把它写成一个论文 把里面的一些有价值的东西给它列出来 然后这个时候审稿人其实一般都不会说什么 其实它可能也就是我们算法的我们这个系统的用户 所以这个投稿的过程都比较顺利 SPEAKER_01: 其实换了一条路来走 有过纠结没有 SPEAKER_00: 没有纠结 就是我觉得这个过程还是比较快乐的 因为它的正反馈是不断累积的 就是你做一个事情 你说我这个东西给你加速了两倍 然后我明白这个背后为什么加速了两倍 这个原理我是确定的 所以我也可以很自信的说 别人用这个东西就是能加速两倍 那这个过程中别人给我的反馈 是持续不断的累积的 这个相比来说 比如说一个算法研究者 他提出了一个新的算法 然后他说他这个算法在它的场景下 提升了2%到3%的准确率 那可能别人尝试复现的时候 又会因为复现的场景不一样 甚至可能说你这个算法是不是 反而降低了准确率 那这个过程中 [00:36:54] 其实我觉得很难积累一个正反馈 SPEAKER_01: 刚才我们讲到19年 你认识了Io Stoico教授 他的实验实力的学生 这可能是一个早期的前奏 但是后来他们其实VLM诞生 已经是2023年的事情了 这中间几年你做了什么事情 然后跟他们后来的缘分 是怎么继续下去的呀 SPEAKER_00: 这中间其实就是在做一些探索 就前面说到的一些方向的转变 都是在这个过程中逐渐积累起来的 然后因为中间也有很多疫情的因素嘛 然后对有些你可能不能出国交换 所以只能做一些这个自己的探索 SPEAKER_01: 他们那边呢 SPEAKER_00: 欧美那边还是比较就是热火朝天的在干大模型 对所以这个也是当时就是疫情结束之后 然后ChatGPT出来嘛 就是给大家就有点当头一棒的感觉 对吧就是我们这几年在干什么 对比这个对方这几年在干什么 然后人家已经干出来了一个这么amazing的东西 [00:37:55] SPEAKER_01: 我们要不现在话题切到VLM上 最早他们诞生的时候你是不是还没有加入 你是24年才加入对不对 SPEAKER_00: 对啊VLM项目的诞生应该是 就是他们23年年中左右就是中间的中大概6月份左右开源的 然后呢这个工作肯定是更早的在做 大概我觉得22年这个年底 他们应该就开始在做这个事情了 22年底应该是 对然后他们做这个事情 然后写了一篇论文 然后这个论文投稿 然后最后中稿了之后 他们放出了这么一个圆形的系统 SPEAKER_01: 当时的创始团队都是IOSTOIC教授的学生对吧 包括李卓翰 SPEAKER_00: 对对主要是就是作为实验室的一个科研项目来开展的 SPEAKER_01: 为什么好像Stoico老师的实验室 好像萌发过很多这种开源项目 这是有什么样的传统吗 SPEAKER_00: 对他们实验室就是我觉得跟有一些历史一脉相传吧 就是包括我做VLM 我觉得也是受到这个博克利重工业软件的一个传统的影响 [00:38:57] 就是博克利它有很悠久的这个开源软件的历史 包括我们做这个操作系统里面的BSD 然后呢芯片领域的这个RISC-FI 然后还有存储领域的RAID 然后呢再到这个后面 大数据分布式机器学习系统领域的这个SPARC呀 RAID呀其实都来自于博克利 所以说博克利历史上它已经产生了很多很多的著名的开源软件 而且这些软件其实都是学生在读期间发起的 就是它是从学生的这个一些research的一些project开始的 然后呢最后变成学生主要为故 然后再把这个社区发展壮大 然后再变成这个工业界的一些基础设施 说到这个我觉得就是我们可以说一下这个计算机体系结构领域的这个大牛 叫David Patterson 然后呢他在14年的时候写过一个叫做 How to build a bad research center 的一个观点论文吧 他就是说他过往的几十年的经验就是每一个实验室或者大型研究中心呢 只做5年就够了 [00:39:57] 因为这5年就刚好是博士生毕业的一个周期 然后呢你在这5年里面充分利用一些优秀博士生的时间 让他们在5年里静下心来专注一个领域 可以极大的促进这个领域的发展 那所以像当时这个从AMP Lab做这个Spark 然后呢再到这个Rice Lab Rice Lab应该做出来一个Ray 然后呢再到后面这个Sky Lab 所以其实布克利的这些实验室他们的发展都是一脉相承的 所以你可以看到就是他们这个实验室的5年的周期 和工业界的一些需求的周期 一旦他们共振的时候就会诞生一些重要的项目 比如说Spark 那我当时觉得这个VOM就是下一个项目 所以我去伯克利之前呢 这个VOM它已经开源了嘛 而且发展相当的迅速 所以呢我觉得这个历史机遇摆在面前 然后我觉得我应该值得这个投入精力去维护它 所以我就这个尽己所能的去帮助它吧 SPEAKER_01: 收服一个学生去加入这样一个看源项目 [00:40:59] 一直做一个核心的维护者是一个困难的事情吗 SPEAKER_00: 对这显然是一个非常困难的事情 SPEAKER_01: 我以为会很简单 SPEAKER_00: 对因为每个学生他有不同的这个周期吧 就是他处在他的博士期间的不同的阶段 对吧比如说刚入学的博士生 那么他可能急着需要发表一些论文来支撑他的毕业 然后呢所以他需要去引导一些新的Project 就是他很难参与到别人的Project里面 他可以通过参与别的别人的Project去练手 去学习如何做research 但是呢现在的博士生就是都很强 就是你可以说他们在博士毕业之前的成果 可能都已经够博士毕业了 那么他们接下来要做的事情只是 把他们的这个研究能力 在博士前一两年的时候再做出一些新的成果 然后方便他们能够毕业 所以就是低年级的博士生同学 他们都希望有一些新的方向做 他们不希望沿着原来的老路去巩固一些现有的知识 [00:42:01] 然后呢就是博士太后期的同学 他主要急着找工作 因为他马上就要毕业了 SPEAKER_01: 要去工业界 SPEAKER_00: 对所以说他不太会花时间在这个开源项目的维护上面 所以最适合的就是做开源项目的同学 应该就是博士的中后期 然后呢没有什么毕业论文的压力 然后呢又对开源项目比较有兴趣 这样的同学比较合适 你当时正好处这个阶段 对我当时正好处在这样一个时期 因为我之前的一些算法研究也基本上够毕业了 然后呢我个人也觉得就是我想转变一下研究方向 然后呢转变研究方向的话 我并不希望就是在这个机器学习系统领域有一些论文的发表 我更多的希望是拿到一些这个hands on experience 嗯去学习这个系统就是是如何build 一个系统的 那所以我对这个纯工程的这个问题是完全 ok 的 就是你让我几个月都在做工程的实现我都是 ok 的 [00:43:02] 啊然后以及我当时觉得这个VM 项目有比较重要的 是一个比较重要的历史机遇嘛 所以我都是就是比较全身心的投入在里面 SPEAKER_01: 你当时算是第几号成员 SPEAKER_00: 第几号的话我觉得我算是第四个比较主要的吧 嗯啊前面就是一开始比较主要的同学是这个 就是论文的两个作者嘛 SPEAKER_01: 以卓汉和Wu Suu Kwon SPEAKER_00: 对对卓汉和Wu Suu Kwon是论文的主要作者 然后呢他们也是这个开源项目的一开始的主要维护的同学 嗯然后接下来主要参与的同学是Simon 就是他现在是我们公司的CEO 嗯对然后呢他其实也是一个嗯开源老兵吧 就是他跟我差不多大啊应该还比我可能年纪还要再大一些 但是他当时本来准备博士入学的时候 他他quit了然后呢去参与这个any skill的创业了 然后创业了几年之后再回来读博士 嗯所以他已经有比较深厚的这个开源社区的相关的经验 [00:44:04] 然后呢他也不是那么看重论文啊更多的是看重这个对现实世界的impact 他也觉得这个Wu Kwon项目比较重要 所以他是应该是第三个这个全职投入的同学 然后第四个应该就是我了就是我过去的时候我也是一个类似的想法 就是反正我有时间我也愿意投入然后这个项目也缺人 然后嗯其他的同学就是这个项目他肯定就是这个论文本身 他的作者有很多人啊但最后啊就是其他同学都是因为刚才说到的各种原因 他们都去找别的事情做了 SPEAKER_01: 我觉得有的人可能就会想说如果是一个开源项目的话我需要是发起人 就是他需要是我创立的你有这种想法吗 SPEAKER_00: 我觉得不需要吧就是更多看你能在里面做什么贡献 其实当时这个开源项目他整体处于一个非常缺人的状态 所以我觉得只要投入热情对用真心 用真心对用真心就可以 SPEAKER_01: 所以你是为什么对他如此真心呢是怎么开始的啊你们 [00:45:08] 嗯就是你们我们19年你刚刚认识卓翰然后你又去交流了吗 然后这个时候跟卓翰还有乌塞克是聊的比较多吗 就是你们是就是为什么你觉得这个项目这么细腻 SPEAKER_00: 首先就是这个项目发展的很快 嗯然后呢这个项目也确实当时缺人 嗯然后我当时有一个判断就是这个就是当时因为 确的GPT已经很火了嘛嗯然后我当时一个判断就是 大家其实当时都在都在探究怎么训练模型 但是很显然就是你把模型训出来之后 你是要去做推理嗯那么VLM就是处在这样一个地位 就是做大模型的推理的所以我觉得他未来非常的有前途 啊然后这个推理也是一个非常重要的事情 所以值得投入 SPEAKER_01: 这个是2024年 SPEAKER_00: 呃对就是我做VLM是2024年的事情了 但是我呃关注到VLM是2023年的事情 [00:46:10] 对2023年这个年底就是我当时向Yang Stoica老师申请交换的时候 我其实当时已经在里面跟他说了就是我去做的话 因为我需要我需要propose一些这个idea嘛就是我去做什么 嗯那当时我我这个提出的就有这个大模型推理这一块 SPEAKER_01: 然后这个时候VLM已经有了它已经存在了 SPEAKER_00: 对它已经存在了所以我说我可以在VLM里面做一些事情 SPEAKER_01: 我们来讲讲这个VLM的核心原理吧 假设就是我们对这个系统了解不多 能不能跟我们讲讲为什么在那个时候VLM应运而生了 然后当时处于一个什么样的市场环境之下 SPEAKER_00: 呃对我觉得这里面可能需要区分两个概念 就是VLM和它对应的论文Page of Tension那篇论文 就是VLM的起源是那篇论文嘛 然后那篇论文的核心是一个这个Page of Tension算法 那么它是借鉴了操作系统的这个虚拟内存管理的机制 来管理这个自回归生成过程中的大模型推理的过程中 这个产生的中间状态也叫KV cache 嗯那其实时至今日就是VLM它早就不是Page of Tension算法了 [00:47:14] 它是一整个大模型推理的系统 它是这个大模型高效运行的一个底座 所以VLM它解决的问题其实是这个在模型和硬件都飞速发展 然后互相偶合的时候 你如何去提供一个高效的推理服务 嗯而Page of Tension本身呢它的原理就是说 如何去管理自回归生成过程中的这个中间状态 也就是KV cache SPEAKER_01: 在当时就是放在当时那个环境下 Page of Tension是有一个很大的创新吗 SPEAKER_00: 嗯我觉得不能算一个很大的创新 就是任何一个就是认真的分析大模型推理过程的 这个机器学习的研究者都能够想到这个想法 所以从学术创新的角度来说Page of Tension算法的创新性 甚至是偏低的 嗯所以它当时投稿这个是投稿到SOSP的2023这个会议上 也是一个非常顶级的系统会议 但其实审稿人就已经提出了很多批评说 你这东西too simple 就是你这个想法太直接了 然后没有什么 novelty [00:48:14] 嗯它最后能发表完全是因为他们做得很早 而且做了非常丰富的实验 所以最后才是一个以低分的过线的状态被会议接收了 然后VLM它是Page of Tension这篇论文被接收之后 作者团队开源出来的这个推理引擎 SPEAKER_01: 所以这也是为什么你说我们认知VLM的时候 不能够只认识到它是Page of Tension 它应该是它后续做了一系列的事情 SPEAKER_00: 对VLM是一个推理引擎 它代表着一个推理的生态系统 Page of Tension以及Continuous Batching 这两个技术是这个大模型推理过程中的核心的技术 当然也涉及到很多其他后来的这个推理优化的技术 它们都是在VLM这个项目里面的 SPEAKER_01: 所以当Page of Tension这篇论文被接收之后 李卓翰他们紧接着做了什么样的事情呢 这个里面是起到比较关键的作用 SPEAKER_00: 论文接收之后 因为系统的论文它们都有很多要求这个artifact evaluation 就是说你的系统需要被别人复现过 [00:49:17] 然后你的你的这些数字都是要被别人复现出来说 你确实有这些收益 所以呢他们本来就有一个圆形系统 然后呢他们后来就是把这个圆形系统开源了 我觉得这个也是跟Yang Stoica老师的这个理念有关系 因为Yang Stoica老师它是这篇论文的一个指导老师嘛 然后他也很早的看到就是开源推理引擎里面 运藏着一个巨大的机会 所以呢他就推动这篇论文的这个学生团队 把VM当做一个很重要的开源项目在维护 然后呢我们就是不是所有人都同意Yang Stoica老师的观点嘛 以及受限于刚才说的各种的这个每个人当时的 一些客观的选择和情况 所以最后主要是这个 Przyk和卓翰两个人在继续维护这个开源项目 结婚这个开源项目 SPEAKER_01: 嗯然后慢慢的有了Simon有了你 SPEAKER_00: 对 SPEAKER_01: 说服你的过程难吗 应该很容易 SPEAKER_00: 对因为我是主动过去的 SPEAKER_01: 你是主动要去的 SPEAKER_00: 对 SPEAKER_01: Simon呢 SPEAKER_00: Simon应该也是主动的 [00:50:17] SPEAKER_01: 因为我觉得一个开源项目好像 它跟一个公司这种组织 还是非常不一样的 因为公司人来人往 应该就是非常的常态化 但是一个开源项目的人来人往 就有的人加入有的人离开 你们就会有一些特别的就是情感吗 事后来看 你觉得这种有开源精神 有开源热情的这些人 是不是有一些共同的特征 就是什么让你们走到一起 又是什么让一些人离开呀 SPEAKER_00: 对我觉得就是 每个人追求的目标不一样吧 就是比如说有的人他追求金钱 就是你今年哪赚到多少钱 对吧 然后有的人追求权利啊 你在公司里面爬的多高 是一个多高的这个领导的地位 那我觉得啊 我追求的就是意义 就是我做的事情是不是有意义 然后啊 我当时这个觉得 为我们有很重要的历史意义吗 值得我的投入 然后呢 这部分决策也是 就是受到Michael Jordan老师 和Young Stoica老师的 比较这个大的影响 啊 然后其他同学 [00:51:18] 我觉得也是类似吧 就是嗯 加入的同学 很多都是因为这个原因加入的 当然离开的时候 可能有些人也有一些自己的原因 这个也不能强求 那我觉得啊 整体上来说就是啊 有句话叫做仓领时而知礼节 衣食足而知荣辱 那我觉得也是因为我们这个时代啊 这个物质追求这方面 已经给我们已经有一个基本的生活保障了 SPEAKER_01: 嗯 SPEAKER_00: 那么让我们能够有更多的时间和精力 去追求一些非物质的这个精神需求 而且呢就是呃 做计算机方向的技术同学 其实他的基本的生活需求非常简单 嗯 对吧 就是有吃有住 然后有电脑能上网就可以了啊 所以就是我觉得这样艰难的环境 呃为我们筛选出了一批志同道合的人吧啊 他们热爱开源 然后热爱技术 然后呢 跟我们一起这个同甘共苦 就是做VM项目做了好几年啊 所以后来他们也就很自然的变成了 我们公司的这个初始创业的团队 [00:52:20] 就是我觉得比较感慨就是啊 这个中学课本里面 宋东阳马成旭里面这个叫做 以中有足乐者 不知口体之凤不弱人也啊 我觉得我们这些同学 就是非常适合这一句话啊 因为我们心中做着就是 就是做着我们认为我们快乐的事情 所以呢 我们就不觉得这个吃的喝的 这个穿的享受不如他们啊 当然现在我们这个有了资源啊 我们也会让我们的同学 在实现精神追求的同时 有更充足的这个物质资源啊 这样子让自己的生活没有后顾之忧 SPEAKER_01: 24年25年在你加入之后 有没有发生一些让你印象很深刻的事情 这也是在你们公司成立之前的 VLM的两年 SPEAKER_00: 对啊 24年我觉得 主旋律其实就是一个重构啊 因为23年的这个论文发布嘛 然后再是23年的一个prototype出来 然后呢 这个prototype需要从实验的原型 走向一个生产级的可用 那在这个过程中呢 我们调研了很多 像业内其他的推理引擎的设计 [00:53:21] 然后呢最终在年底的时候 推出了这个从V0到V1的一个重构的计划 然后25年的主旋律呢 就是一个大规模部署 就是硬件和模型都变得越来越大 然后呢这个开源模型的发展的重心 从欧美这个转移到了中国 然后呃这里面比较巧的一个事情 也是25年就是因为24年我交换结束了 然后呢25年回来准备毕业 然后呢当时这个VM社区 在国内还是一片就一片空白的状态 然后呢我刚好从伯克利回来 我就把这个丛林开始搭建了中国的VM社区 然后呢也 刚好这个就是支持了大量的中国开源模型的发布 SPEAKER_01: 所以那个时候刚好是中国开源模型爆发的一年 SPEAKER_00: 25年 对就是25年年初的时候这个DeepSig R1嘛 其实DeepSig V3是在24年的年底发布的 对然后25年R1 这25年年初的时候R1 然后再是25年春节的时候这个R1开始爆火 所以到后面也就是这个中国的开源模型 [00:54:24] 就像雨后春孙一样这个不断的发布出来 对我觉得就是这两年确实是很多风风雨雨吧 然后尤其是像刚才说到的人员的不断的变动 因为我们是做一个开源项目嘛 所以啊人来人往的就是有人参业 有人参加然后又有人这个走 然后我们在这个过程中还要 持续不断的去面对这个新模型发布的情况 然后呢还要在这个过程中去 推动整个项目的维护和升级啊 这个整体是一个非常大的挑战 所以我回顾历史的话就是往回看 我觉得我不敢说我们做得非常好 只能说我们撑过来了 SPEAKER_01: 我对25年非常好奇 但是我们先讲一下24年 你们那次从V0到V1的那个重担的重构 因为用户测可能感觉变化不大 能不能从工程角度讲讲 你们为什么决定做这个事情 以及重构过程中它有哪些挑战 SPEAKER_00: 这一次重构呢其实主要就是为了解决这个 模型和硬件的发展对于推理引擎提出的一些新的挑战 那打个比方呢就是比如说我们现在经常喜欢把token比作是电 [00:55:28] 那这个过程中的推理引擎就像是发电机 或者说是电力系统 然后呢这个我觉得模型可能更像这个发电机吧 我们后面可能可以做一些类比 然后呢这个硬件它就像是你的像风力 然后光伏这些自然资源 然后这个推理系统要做的事情就是你需要把这些自然资源 用发电机把它转化成电 然后呢再传递到每一个人的这个手中 那所以呢本次重构就好比说我这个发电系统 整体上从这个火电过渡到新能源发电的一个状态 那么从用户测的角度来看呢 它的使用方式可能差别不大 你可能都是电是吧 你把这个插头插上去就能用 但是呢从推理引擎的视角来看 其实背后的这个工作原理发生了巨大的变化 那所以从终端用户的视角来看呢 其实推理引擎承担了一个非常大的责任 [00:56:29] 就是它屏蔽了这个模型和硬件的复杂性 那用户选择不同模型的时候 就比如说啊你在应用里面 然后这个一个应用它可能支持多个模型 那从用户的角度来说 你可能只是从一个这个下拉菜单里面点了一个模型 或者呢你只是从这个请求的参数里面改了一个参数说 哎我请求的今天是Deepseek明天是签问 但其实从背后的这个推理引擎来看 不同的这个模型它的支持效率 它适配的硬件其实是千差万别的 所以这里面推理引擎承担了非常重要的任务 然后呢在这个过程中模型和硬件又在不断的发展 所以他们对推理引擎的要求其实是在不断更新的 那么V0和V1只是一个我们从名字上就能够看得出来的 它是一个非常大的变化 但其实类似的这样的小变化我们其实一直在做 所以你可以说就是VOM它其实一直是在重构的过程中 然后这里面就是最困难的就是你需要保持一些用户的兼容性 对吧就是你背后支持的模型支持的硬件不停的在变 [00:57:32] 但是你要给前端的这个中端的用户一个比较统一的体验 就是我用过来我就可以保证说 我在各种硬件上可以跑起来各种模型 SPEAKER_01: 24年的时候你们是不是主要支持的还是美国的一些模型 比如说Meta SPEAKER_00: 对24年的这个开源的重心还在美国那边 欧美然后像Meta呀像这个Mistra呀这些的 SPEAKER_01: 在他们的过程中有没有什么一些观察呀 SPEAKER_00: 当时其实支持的还不算很复杂 因为当时就是这个模型和硬件它还没有很偶合 然后只有一些这个比如说一些attention算法设计的比较复杂的时候 对推理引擎的影响比较大 但总体上来说还是在做各种推理优化 就是模型的结构在那一年没有发生巨大的变化 SPEAKER_01: 到了25年是不是中国开源模型的爆发在所有人的意料之外 也在你们的意料之外 SPEAKER_00: 对是在我们意料之外的 SPEAKER_01: 你是几月份回中国的 [00:58:34] SPEAKER_00: 我就是24年的12月份结束交流 SPEAKER_01: 那刚刚好碰上 SPEAKER_00: 对就是我结束交流的时候 就是Deepseek V3发布的时候 对然后回来1月份 然后马上R1又发布了 所以是在我们意料之外的 SPEAKER_01: 当时去支持Deepseek是不是非常的措手不及 是一个什么样的状态啊 SPEAKER_00: 我觉得不能说措手不及吧 更多是说我们没有预料它是一个这么大影响力的事情 因为Deepseek跟我们的合作其实很早就开始了 就是你从23年24年那段时间 因为Deepseek它内部用的就是VM 就后续加了一些它自己优化的一个变种 所以它其实从Deepseek MOE Deepseek MOE我觉得算是V1吧 然后它后面有V2 然后再发展到V3 它跟我们一直是有联系的有合作的 然后呢只是在24年的时候 Deepseek还属于社区里面的一员 就是它只是一个泯然众人的一个模型厂商 [00:59:35] SPEAKER_01: 然后你们支持他们的故事 就是在R1之后有什么值得分享的吗 SPEAKER_00: 这个还是给我们带来比较大的震撼的 就是Deepseek的这个Infra同学做了很多的优化 然后我们需要学习 就是他们在推理引擎方面 虽然是基于V1们做的 但是比我们做的往前面走了很多 所以我们当时是在不断的跟他们学习的过程中 SPEAKER_01: 然后紧接又支持很多中国的开源模型 在25年对吧 SPEAKER_00: 对对就是Deepseek爆火之后 然后中国的这个开始了一个开源的浪潮吧 尤其是这个25年的7月份 我印象很深刻 因为我事后回想起来 感觉应该是当时这个WAIC快开会了 然后呢很多公司都是在这之前就想发布产品 就是就是把自己有的模型都发出来了 SPEAKER_01: 今年又处于现在这个时间点了 SPEAKER_00: 对然后我们其实一直在支持很多的新模型的发布 SPEAKER_01: 今年也会吗 SPEAKER_00: 一直在呀 然后已经有了 像今年的Deepseek V4 Minimax M3 [01:00:36] 都是比较大的发布 SPEAKER_01: 大家都赶着WAIC之前发一波 SPEAKER_00: 我不知道今年大家会不会再赶着WAIC再发一波 但反正今年已经有好几个比较 就是比较大比较复杂的发布了 SPEAKER_01: 因为你刚才说25年 你整整一年就是回中国组建了VLM的社区嘛 这是很简单的一句话 但是这背后是什么样的工作量 我们能不能讲讲这个过程啊 就是这个社区是怎么搭建起来了 我们也很好奇开源社区的诞生 它是怎么就是一步一步做出来的 SPEAKER_00: 这个社区的搭建 就是因为这个这个项目本身诞生在美国嘛 然后呢24年的主要的这个开源的阵地也是在美国 所以呢整体的这个沟通渠道也是在偏美国的 比如说我们是用slack进行沟通 然后呢我们后来就是在国内跟大家沟通的时候就发现 这是我们当时跟跟大家说的 就是VLM社区是一个很包容的社区啊 那中国美国的同学都可以一起沟通啊 那我们有slack的这个沟通机制 [01:01:36] 那大家都可以进来啊 那里面就遇到了两点问题 第一点就是国内的同学 他肯定更习惯说中文 那么在slack里面呢 大家主要还是说英文 那么这是一点语言障碍 然后呢第二点就是啊 因为各种各样的原因 那么国内的同学用国外的软件的时候 还是有一些不方便的因素存在的 那所以呢啊为了解决这些问题 我们就开始搭建一些这个VLM的中文社区 那比如说一些这个公众号啊 小红书啊这个知乎啊这些宣传平台 然后呢包括这个跟国内的一些大公司 建立一些沟通和联系的渠道啊 因为像Deepseek Kimi他们都是公开的说过 他们就是用VLM的 那么之前呢 我们跟他们的沟通是非常少的 因为这个时区也不一样 然后呢人也没有没有办法见面 然后呢我回国之后呢 我就是啊也走访了一遍这些公司 然后跟他们了解 就是他们用VLM在做什么 [01:02:37] 然后遇到了什么样的问题 有什么样的痛点 对因为我在这个24年的时候 做VLM比较多 然后大家也都比较认识我啊 所以就是我就这样把大家串起来 SPEAKER_01: 25年还有一件事儿 就是PyTorch的基金会完成机构改革 然后你们也变成了 这个基金会里面一个非常旗舰的一个项目 这个变化是怎么发生 已经对你们有什么影响 SPEAKER_00: 啊我们24年的年底就在讨论这个事情 啊就是当时的背景就是 其实这个项目的长期维护 就是我们在考虑这个项目的长期维护 然后呢 啊 Yang Stoica老师说 我们应该有一个公司来支持这个项目 不然这个项目最后会会量掉的 然后呢 但是我们几个人啊 就是有一些同学还比较犹豫 然后呢 这个项目能不能找到一个长期的维护者 都是一个问题 那所以呢 Yang Stoica老师就说 那我们就参照这个像Linux之类的项目的经验 啊把它捐给一个基金会 那么这样子能够保证它的长期的开源和维护 [01:03:39] 啊所以就把它捐给了这个PyTorch基金会 因为我们跟PyTorch的合作也比较紧密 啊就是我们相当于是PyTorch是一个啊 底层的机器学习框架 然后呢 为我们是建立在之上的一个这个推理引擎 所以这个合作也比较自然 但是就是PyTorch基金会 它本身呢还是一个 呃偏治理结构的一个基金会 就是它不参与你的这个技术治理 所以代码什么的 其实还是自己要写 然后呢 它更多的还是 就是我们把这个项目捐给这个基金会 然后呢 就意味着说 这个项目它至少不会变成一个必源的项目 就是它始终是开源的 SPEAKER_01: 但是后来你们又成立公司了 SPEAKER_00: 啊对 成立公司我们是在做这个项目的商业化 以及技术运维 然后呢 这个项目它依然是一个PyTorch基金会下面的项目 就比如说 PyTorch基金会下面 它有好多一级的就是顶级项目 那比如说PyTorch也是一个顶级项目 VOM也是一个顶级项目 那么 呃PyTorch项目本身 [01:04:41] 它还是Meta在做主导 那么基金会它可能承担了一些 比如说 呃活动的举办 然后呢 像这个VOM或者和PyTorch的商标 啊属于PyTorch基金会 SPEAKER_01: 嗯 SPEAKER_00: 所以它更多的是一些 嗯辅助性的角色 SPEAKER_01: 所以它能承诺的是 你们必须是一个开源项目 它能够保持这 保证这个事情 SPEAKER_00: 因为比如说 VOM的商标 现在是属于PyTorch基金会的 对吧 那你不能把VOM 闭源了之后 然后再说我支持VOM项目 SPEAKER_01: 为什么不能属于伯克利呢 为什么一定要属于一个基金会 SPEAKER_00: 伯克利它是一个学校 那么你说这个项目属于一个学校的时候 你还是要从学校里面找出一个具体的人来承担这个职责的 那么学校里面没有一个这样的机构 SPEAKER_01: Stoic老师他自己不行吗 他那个实验室 SPEAKER_00: 实验室就是前面说到就是David Patterson老师说你实验室应该只开5年 5年之后你就要关掉 你要开一个新的实验室 所以实验室它不是一个具备这样资格的一个实体 SPEAKER_01: 它需要一个持续性 [01:05:42] SPEAKER_00: 对 SPEAKER_01: 而基金会呢提供这个 SPEAKER_00: 对基金会它是一个独立的法人实体 所以它可以做各种 比如说它可以注册商标 对吧 它可以有自己的法律团队 然后呢 它可以接受募捐 然后呢 它可以为这个项目投入各种各样的资源 SPEAKER_01: 所以捐给基金会意味着就是你们这创始团队这些人 觉得它应该做一个开源项目持续下去 就是有没有可能你们也有另外一种选择 因为你们后来也成立公司了吗 就是把这个项目放在公司里一起并营 这个能成为一个选项吗 SPEAKER_00: 我们公司现在就是为我们项目的技术管理和日常运营的主要的参与者 SPEAKER_01: 嗯 SPEAKER_00: 所以说我们把这个项目捐给PyTorch基金会 更多是从法律上明确了 它一直是一个开源项目 而且它的商标属于社区 但是它的具体的技术发展 以及它的商业化 我们都是可以由我们公司来做的 当然也不只是我们公司在做 还有社区里面其他的公司 比如说Red Hat 嗯 比如说Invidia AMD [01:06:43] 他们都在跟我们一起做技术的维护 他们也可以对这个项目进行一些商业化 SPEAKER_01: 如果这个项目属于你们的话 那这个项目的所有商业化 都应该是你们这个公司的实体 SPEAKER_00: 对 如果这个项目属于我们公司 那可能它的商标也会属于我们公司 对吧 那么任何一个人他用VM 他用了他的logo 可能都是要向我们申请 那现在它是属于一个开源项目 它的这个像商标啊 使用权啊 都是在公共领域的 嗯 我们只是作为一个技术参与者和技术领导者 在引领它的发展 SPEAKER_01: 在就是捐给PyTouch基金会 把这个项目捐给PyTouch基金会的时候 你们已经有成立公司打算了吗 就是当时这个事顶了没 SPEAKER_00: 还没有顶 啊 SPEAKER_01: 所以是先有的捐赠 SPEAKER_00: 对 这个可能就是 可以说到我们几个人 这个成立公司的这个过程吧 就是其实是嗯 相当的艰难的 啊 因为就是Yang Stoika老师 他有非常坚定的信念 就是说 这么大一个项目 如果没有一个公司来支撑的话 [01:07:45] 他一定会量了 就是他说的就是 Linux 项目 如果没有 Redhead 的支持 那么Linux 不会发展到今天 SPEAKER_01: 嗯 SPEAKER_00: 然后同样的像这个 Kubernetes 如果没有 Google 的支持 它不会发展到今天 同样的PyTouch 如果没有 Meta 的支持 它不会发展到今天 啊 类似的 你还可以举很多很多的例子 像 Spark 它要有 Data Breaks 的支持 那么 VLM 项目 它的体量已经达到了前几个项目的体量 就是它的历史意义已经很明显了 但是没有一个没有一个这样的公司 在支持这样的项目 嗯啊 就是有一些其他的公司也会支持 比如说 当时 Meta 在用 VLM 然后呢 Invidia 也用 AMD 也用 那么他们更多是一个参与者的决策 他们很难做出一些这个战略性的决策 他们之间可能本来就会打架 因为可能 Meta 是 AMD 和 Invidia 的客户 然后呢 他可能会说我要做这样的事情 然后呢 我要啊 要你们实现什么样的东西 那么社区里面 其他的公司可能不会服他们 [01:08:47] 所以很难在他们的领导下 做这样的事情 所以 呃 VLM 项目的 长期发展 需要一家公司的支持 这个事情是非常明确的 SPEAKER_01: 嗯 SPEAKER_00: 我们也都是认同的 唯一需要我们明确的是 我们是否愿意来创立这家公司 那么这个事情其实是 很难做决定的 这个我可以说一下我们几个人的 这个 各自的心路历程吧 就是因为创立一家公司 呃 他的优点很明显 就是可以支持为我们更好的发展嘛 SPEAKER_01: 里面都能成为这个公司的创始团队啊 很好啊 SPEAKER_00: 但是缺点就是说 你需要承担很多 原来不熟悉的一些非技术的任务 比如说创立一家公司 呃 你要去学习融资 对吧 你要去学习招聘 然后呢 你还要去考虑商业化 所以这里面其实是有相当大的阻力在里面的 SPEAKER_01: 哦 SPEAKER_00: 对 这个路线的 SPEAKER_01: 那似乎对你们好像不难 这几件事情 SPEAKER_00: 呃 我们就是你要考虑到我们其实都是学生团队 [01:09:49] 然后我们原来很习惯的就是很舒适的那个区域都是说哎 来了一个技术问题 我们怎么拆解它 然后怎么把这个技术问题解决掉 那么现在要我们做的是成立一家公司 然后要把这个公司就是抚养长大的感觉 所以对这个路线的选择其实就是困扰了我们两年吧 就是 SPEAKER_01: 两年啊 SPEAKER_00: 对啊就是因为我说就是Yan Stoica老师 他是非常明确的说 你们几个同学就应该开一家公司来支持VM SPEAKER_01: 嗯 SPEAKER_00: 嗯但是 SPEAKER_01: 从24年就开始说了 SPEAKER_00: 对 OK 对从24年就开始说了 其实我觉得他应该从23年就开始说了 只是23年的时候我还不在 SPEAKER_01: 嗯啊 SPEAKER_00: 然后啊 这里面我们几个人的选择里面 呃我算是决定的比较早的 因为我24年就是呃 我还在交流的时候呢 呃我们已经有很多同学在硅谷创业了 然后呢 我跟他们这个沟通的过程中也是 近距离观察了一下这些创业者的一些状态 然后呢 也跟他们沟通了一下这个创业过程中遇到的问题 以及这个关键的选择就是你是创业还是上班 [01:10:52] SPEAKER_01: 嗯对吧 SPEAKER_00: 然后呢也是跟一些投资人进行了一些初步的对话 SPEAKER_01: 嗯 SPEAKER_00: 然后最后我得出来的结论就是 即使创业失败 你最坏的情况下 你也不过就是少拿了几年工资 但是如果不创业的话 那么呃 vm项目最终没有办法长期发展 所以呢 啊 我在24年年底离开博克力这个交流的时候 啊 我就已经下尽决心要这个参与vm的创业了 然后呢 当时因为其他几个人还没有定嘛 所以我也不能自己一个人创业啊 所以呢 我 我做的选择是我接了这个Skylab的这个博士后的offer 然后呢 我当时说的是就是啊 我会为vm的创业公司再等两年 直到大家出来一起创业 SPEAKER_01: 这么的义无反顾 SPEAKER_00: 呃 还有一个故事就是啊 因为我当时快结束的这个交流的时候啊 我也找这个我当时本科期间交流的老师 麦克朱登老师聊了一下 然后我跟他说就是 我们现在做的vm项目势头很好啊 [01:11:53] 但是呢 如果我去找别的工作啊 也会有很多人给我很多钱 然后呢 做博后又非常的清贫 那这个时候要怎么选 那他跟我说的就是啊 从他的角度来说 根据他过来的人的经验 长期的来看 肯定是要继续支持vm的 就是因为我跟他也合作过很多 然后啊 也觉得就是 这是过来人的这个 饱经沧桑的一个历史经验 然后也是啊 我觉得就是非常值得就是遵守 哦 所以这个大概是我的一个心路立场 就是我觉得 我们最终还是要创业的 然后呢 呃 现在只是实际未到 所以我就先等一等 SPEAKER_01: 所以你是第一个决定 要做这些实际的人 SPEAKER_00: 呃 不好说 我是不是第一个 但我是比较早决定的 SPEAKER_01: 嗯 SPEAKER_00: 啊 然后我们的CEO Simon 呃 他也是很早决定要创业的 SPEAKER_01: 嗯 SPEAKER_00: 所以我说 不好说 我跟他到底谁谁先 但是我们都比较早的确定 然后 SPEAKER_01: 你有想过做CEO吗 SPEAKER_00: 呃 [01:12:53] 我觉得我可能 可能他更适合CEO 因为当时我们这个 维护社区的分工方面 啊 他就已经展现出一些CEO相关的能力了 就是在管理整个社区 然后跟大家进行一些沟通 SPEAKER_01: 嗯 SPEAKER_00: 啊 所以我觉得明显他是更适合CEO的 所以也就是说 为什么我不会一个人出来创业 因为我觉得人还不够 然后这个Simon他刚才说 就前面说的 他本来也有一些创业公司的经验嘛 他已经参加过一些创业了 所以呢 呃 他也认为这个 就是他也认同央CEO老师的观点 就是 其实我们都认同央CEO老师的观点 就是 你必须得有一个公司来支持 为我们才能够长远的发展 SPEAKER_01: 嗯 SPEAKER_00: 只是我们当时就在犹豫说 这个公司是不是我们来开 SPEAKER_01: 啊 SPEAKER_00: 然后呢 这个Simon他也在Character AI待过一段时间 SPEAKER_01: 嗯 SPEAKER_00: 所以他当时尝试过就是 通过Character AI的帮助 来帮助VM项目的发展 比如说 从Character AI里面 这个找几个人来维护VM 然后呢 Character AI里面找一些机器的资源 来帮助VM [01:13:54] 但是最终还是发现就是 没有办法靠别人 嗯 因为公司有自己的事情 嗯 对吧 你不可能把公司里面的人 无限制的抛来 就是做VM相关的事情 SPEAKER_01: 而且始终这不是我自己做出来的东西 我对他的感情是不一样的 SPEAKER_00: 对对对 所以说就是你在公司里面做 你只能有一个很小的团队 然后类似用爱发电的方式来支持 嗯 你很难说服公司的高层说 我有一个正经业务的公司 然后我需要全力来支持VM开源项目的发展 所以最后就是发现就是靠别的公司是靠不住的 SPEAKER_01: 嗯啊 SPEAKER_00: 所以摆在我们面前的选择就是只有自己开公司 然后这个嗯 最摇摆的是就是我们的CTO 无数个同学 SPEAKER_01: 对啊 他是Page the Center的一座 SPEAKER_00: 对 然后他可以选择的机会太多了 对吧 就是24年年初这个XAI刚创立的时候啊 其实当时这个马斯克就邀请他去参加这个Infra的建设 嗯就是他如果去他就是领导XAI的这个基础建设 [01:14:55] 嗯那尽管说XAI现在失败了啊 曲忠仁散了 但是如果他当时加入XAI 那么他后来能够获得的财富对吧 就是这个是一个天文数字 25年的时候这个Thinking Machine Labs创立 嗯这个时候这个创始人又邀请他去这个负责基础设施建设 那后来这个Thinking Machine Labs的估值也是一路飞涨 所以说就是摆在他面前的这个机会 属于是太多太好了 所以呢他的犹豫也是人之常情吧啊 最后我们是怎么说动他的呢 就是就是小之以情动之以理 这是最后跟他说 你如果不跟我们一起创业 你赚到了很多钱 但是10年之后为我们项目失败了 你是开心还是还是不开心啊 我们问了这样一个问题 然后他也想了很久 然后最后发现他的答案跟我们是一样的 就是你赚多少钱 如果为我们项目失败了都不会开心 [01:15:56] 对所以就是在这样的情况下 我们把这个 呃我们三个最坚定的人搞定了 SPEAKER_01: 把他拉上船了 SPEAKER_00: 然后还有很多这个其他这个信念很坚定的合伙人 像这个Roger也跟我们一起做这个开源项目做了很多年 然后呢还有我们是Funding Engineer 就是说公司一创立的时候 他们就加入进来了 啊我觉得我们都是有一个共同的愿景吧 就是大家聚集在这个公司里面 然后啊我们都是想做这个AI时代的催泪引擎 我们想为接下来的这个智能时代 打好这个基础设施 那我们每个人其实都可以在这个市场上拿到一个很高的offer 但我们最终选择了创业这条路就是我们希望把这件事情做好啊 然后其实类似的这个问题 其实一直持续到这个公司创立的前夕 就是我们准备注册公司的时候 某家这个顶级大厂的一号位 他知道我们要创立公司了 然后他就直接给我们打电话 然后说你可不可以不要创立公司 你来我们公司 然后我们可以给你们几个人呃我们四个创始人 [01:16:59] 然后可以给年薪两千万美元的工资 SPEAKER_01: 每个人是吧 SPEAKER_00: 对每个人 然后说你可不可以来我们公司 帮我们做我们的这个技术设施和推理 反正我们当时都已经坚定了嘛 我们信念比较坚定 然后就直接爽快的回去了 然后没有一个人犹豫啊 所以这也是我们这个创业的一点故事吧 所以我觉得就是我们公司这个创立之初 其实就已经是经受住了巨大的考验和诱惑 啊我们其实都已经是并肩作战很多年的一个老战友 SPEAKER_01: 哎我在想 Wusuk他虽然一直在犹豫 但是RCA和Thinking Machines Lab他都没去 24年和25年两个选择 他虽然没有决定要不要来创业做现在这个公司 但是他也没有去其他公司是吗 SPEAKER_00: 就是他去过一段时间 SPEAKER_01: 哦去过哪家 SPEAKER_00: 对就包括他在Google这个Google DeepMind也做过一段时间 就是他是一个以学生身份然后兼职的状态 哦所以我们当时是把他从Thinking Machine Lab拉出来的 [01:18:00] SPEAKER_01: 哎这很有意思为什么他作为Page the Attention的发明者 然后是他的那个算法然后导致了有VLM这个推理引擎的诞生 但是他很犹豫 而且为什么李卓汉没有加入 SPEAKER_00: 呃李卓汉没有加入是因为他毕业的比我们早 他24年就毕业了 那个时候就是他如果创业只有他一个人 因为其他的同学都是学生 然后呢学生是非常廉价的 就是你只是要有吃有喝 然后有电脑有网你就可以干活 你觉得没必要开公司 SPEAKER_01: 哦 SPEAKER_00: 所以那个时候他也拉不动其他人 所以他就去工作了 然后他在OpenAI工作 然后后面包括在Meta的TBD工作啊 所以他已经有工作了 而且已经工作了很久 然后呢他就有自己的事情要做 SPEAKER_01: 你们有尝试把他也拉过来吗 SPEAKER_00: 呃比较困难吧 因为确实他已经在公司里面做了一些事情了 然后就是你把人家拉过来 需要影响到别人原来的团队 啊所以这个事情还是比较困难 然后呢无数个同学还没有陷入太深 [01:19:01] 就是我们觉得还有机会拉回来 SPEAKER_01: 哎你有这样的offer吗 你有动摇怀疑过没有 SPEAKER_00: 呃 SPEAKER_01: 除了最后你们创业 临门一脚的那个天价offer之外 在之前呢 SPEAKER_00: 对因为我决定的比较早 所以我前面说我接了postdoc offer嘛 SPEAKER_01: 嗯 SPEAKER_00: 所以我其实没有看其他价的offer SPEAKER_01: OK SPEAKER_00: 就是我跟大家聊都是在说 啊你们用VM然后怎么用的 然后大家一起看看怎么合作 啊没有跟他们说 哎你要不要我去你的工作 然后你给我多少钱 SPEAKER_01: 你有想过这个可能性没有 你在脑子里推理过没有 SPEAKER_00: 推理过但是 呃还是那句话就是我们觉得 VM项目比较重要 我们都想做成它 这是同样的一个问题 我们四个人吧 就是浙汉 乌苏克 Simon和我 啊我觉得答案都是一样的 就是 如果我们赚自己赚了很多钱 但是VM项目失败了 我觉得我们会 都是会后悔一辈子的 啊 所以我们都比较坚定 就是要把这个公司开出来 SPEAKER_01: 跟李浙汉 还会有什么样的合作吗 [01:20:03] SPEAKER_00: 呃 因为他现在在公司也有自己的事情 所以跟我们很难有很深入的合作 更多可能是有一些这个 high level的一些技术的沟通 SPEAKER_01: 对我觉得从你就是 你们包括跟PiTour是基金会的关系 然后包括又开公司 就是我其实一个开源项目 我觉得它的整个运作 跟可能外界想象还是非常不一样的 而且一般大家讨论的也比较少 你能不能讲讲就是像这样一个开源项目 和大家想象的很有可能最大的不同是什么 以及它是作为一个组织 是怎么构成运转治理的呢 SPEAKER_00: 不同的开源项目 它其实有自己的这个治理方式啊 我这里只讲这个VM这边的治理方式 那我们采用的是就是常用的这个分级管理的方式 我们有几个我们叫做仁慈的独裁者 就是可以最终拍板的 SPEAKER_01: 所以你们几个吗 SPEAKER_00: 对就是包括这个Simon WuSuk我和这个卓汉然后还有Red Hat的一些同学 SPEAKER_01: 人词的独裁者 ok SPEAKER_00: 那就是说我们平常跟大家沟通都是心平气和的沟通的 [01:21:03] SPEAKER_01: nice SPEAKER_00: 对但是如果有重要的决定要拍板或者说我们有的时候有一些比较强烈的坚持的时候 那这个时候大家得听我们的嗯啊 所以这个是比较这个决策的几个人 然后呢我们还有这个十来个就是日常的核心维护者 那么他们都负责项目里面非常重要的一些模块 然后呢会参与项目的日常的一些啊关键的设计 然后呢我们还有大概几十个committer 然后呢他们主要就负责日常的代码的开发 嗯然后呢剩下的就是这个社区的贡献者 啊因为VM现在它是PyTorch基金会旗下的一个顶级项目嘛 所以他也接受PyTorch的一些治理结构 那这里主要就是一些大公司的这个参与治理啊 比如说像这个英伟达AMD这些重要的芯片厂商 嗯然后包括像Red Hat的这些软件厂商 然后呢包括像亚马逊啊Google啊这些云厂商 他们都会投入相应的资源在维护VM 所以呢我们作为项目维护者的这个职责之一 [01:22:05] 也就是协调这些大公司之间的这个合作 然后当然我们现在有公司就是 所以我们公司也是VM项目这个治理过程中的一个不可替代的一员 SPEAKER_01: 在有公司之前因为我听过一种说法 就是这种开源项目更像一个社团而不是一个公司 你们是有什么样的比如机制吗 比如说例会等等 你们日常的沟通是怎么来完成的 SPEAKER_00: 对我们是有一些例会的 就比如说我们几个决策的同学可能每周要碰一下 然后这个 committer我们可能就碰的不会那么频繁 我们更多是在一些这个channel里面去聊 SPEAKER_01: 大概是一个就是每周可能碰一次你们几个人 SPEAKER_00: 对决策的同学要每周要碰一下 就是接下来要做的一些重点的事情 SPEAKER_01: 你刚才说你们是仁慈的决策者吗 你们有做过非常强硬的决策是什么 就必须要这样 仁慈的独裁者 SPEAKER_00: 对仁慈的独裁者就意味着有些时候 你需要对方向进行一些取舍 就是不能够做一个老好人 那这里面比如说我做的比较强硬的一个选择 [01:23:07] 就是基本上把一个叫做beam search的功能 从引擎里面删掉了 这个其实持续不断的有人会来跟我们抱怨 尤其是做推荐系统的同学 他们的经验是他们觉得beam search 在他们的场景里面比较重要 但是我们从这边看到的情况是 大模型的推理就是AI这边我们主要的workload 它的这个推理形式已经不再适应这个 就是beam search的这种算法的发展了 所以beam search的算法如果我们持续要维护它的话 只会给模型和这个推理引擎的适配 带来越来越多的这个复杂性不可维护 所以我就把它删掉了 SPEAKER_01: 这是你做的一个独裁决策 对 还有其他这样的决策吗 SPEAKER_00: 其他的我觉得就更多是在一些这个支持的优先级上面了 就是因为项目这么大 你最重要的事情就是定好优先级 那么你需要支持什么 以及不需要支持什么 不想支持什么 [01:24:07] 不想支持什么 那么比如说我们现在支持的优先级 明显是在大级群上面的大模型的支持 那么很多非常小的模型的支持 我们就没有把它列为高优先级的事项 比如说几百兆的模型 其实推荐系统里面有些人是在用的 那么现在我们给他的说法是 你可以用微玩吗 但是如果你有这方面的这个性能优化的需求 我们并不会接 SPEAKER_01: 因为你们现在有很多贡献者应该是2000家 管理这么大一个规模的开源社区 你觉得挑战是什么呀 SPEAKER_00: 对我觉得最大的挑战就是刚才说到的 就是你要梳理事情的优先级 要做什么 更重要的是不做什么 然后呢当一个项目有2000多贡献者 尤其是这个就是最近今年嘛 coding agent的发展的特别火嘛 所以贡献代码这件事情已经变得非常简单了 所以我们在作为项目管理者的时候 我们最重要的要做的事情是要屏蔽这个噪音 要找到真正值得做的这个事情 然后呢引导这个社区往这方向发展 [01:25:09] 嗯 这里面有一个数据就是2025年的时候 github发发布过一个这个统计数据 就是按照贡献者的活跃度来排序 vom是整个github上面最活跃的项目 这一方面我们也很荣幸啊 另一方面其实这个也给我们带来一些这个 我们叫做幸福的烦恼 比如说今年5月份的时候 我们发现有部分培训机构通过提交垃圾代码的方式 来包装学员的简历啊 就是他提交一个没有什么用的pr 然后和想要合并到vom里面 然后呢他就可以在学员的简历上说 我是vom项目的贡献者 然后呢希望通过这一点来提高这个学员的简历 通过一些面试的这个概率 那这个其实对我们来说是一个非常大的变化 就是他彻底打破了我们对于开源社区的用户 都是善意的这一基本假设 所以我们现在就只能引入一些认证机制 比如说我们会更多的重视来自一些知名机构的贡献 [01:26:09] 我们会忽略甚至拉黑一些 看起来就很像机器人的账号 比如说他10分钟之内给你提交了20个pr 这种人一定是机器人 而且他提交的东西没有任何的人力的参与 就全都是coding agent 我们叫做AI slop 就是完全没有营养的东西 所以你可以放心的把它block掉 所以我觉得随着这个AI和coding agent的发展 未来的这个开源社区的演进方向 它会更多的掌握在机构和这些重要的贡献者手中 一些个人贡献者他能做的事情其实会变少 就是整体上来说代码变得如此廉价 以至于维护者他花时间去看别人的pr 不如说他自己来让coding agent再写一遍 然后呢他自己还有更多的context说 我想让coding agent怎么写 所以我觉得以后开源社区会更加的重视这个反馈 那么社区它会变成维护者和用户这两个部分 用户呢你就只需要提交buck report或者feature request [01:27:12] 你只要只需要说你用的过程中遇到什么问题了 或者说你有什么其他的想用的东西 你就不需要贡献代码了 然后只需要这个维护者自己来贡献代码就可以了 SPEAKER_01: 你觉得这是VYM这一个社区的演进方向 还是很多可能现在社区的共同演进方向 SPEAKER_00: 我觉得这个是开源社区的整体的演进方向 就是coding agent的这个发展 尤其是今年在写代码能力上的突破 确实是远超我们预期的 所以这个对于很多开源项目的这个维护 都造成了类似的问题 这个就是PyTorch的一个核心维护者 叫做Edward Young 然后呢他也写了一个类似的博客 就是说我们现在已经没有精力去看大家的PR了 所以与其花时间去看别人的PR 不如我自己冲写一遍 SPEAKER_01: 你们跟OpenCloud联系多吗 他们现在社区维护是一个什么样的状态 他们的治理方式跟你们类似或者不同吗 SPEAKER_00: OpenCloud感觉 已经变成了纯AI治理的方式 [01:28:14] 就是AI提交PR 然后AI来审 AI来合并 对 已经变成了一个AI自制的社区 虽然这个社区 它接下来演进的方向是好是坏 可能不是很好说 SPEAKER_01: 你们为什么没有走这条路 SPEAKER_00: 我们这个地方还是很难让AI完全自动化的 就是还是需要我们很多的参与者 有历史的这个insight在里面 然后我们做的很多事情 其实它不是来解决现有的一个问题 它很多时候是解决接下来将要发生的问题 比如说我们要解决 我们要支持接下来三个月内要发布的新模型 那所以我们在维护代码的时候 我们不只是看它如何支持现有的模型 我们脑海里还必须想着 接下来三个月支持的模型 在这些代码里面怎么支持 以及包括接下来半年 接下来一个一年 要推出的这些新硬件要怎么支持 所以我们这个项目维护的过程中 必须是带着大量的个人的context去做的 [01:29:16] 所以这一部分目前还没有办法交给AI去做 我听你在讲这个时候 SPEAKER_01: 我在想是不是一个开源社区 发展它的陈与拜也好 跟创始团队在不在会有很大的关系 SPEAKER_00: 对就是创始团队需要在这撑着 如果这个主要的就是团队的主心股发生了变化 那肯定需要会有一个这个阵痛期 就是它需要转型 它需要适应 所有的合作伙伴都需要去适应它的 新的领导 SPEAKER_01: 有这样换过领导 还发展非常好的开源社区的先例吗 SPEAKER_00: 我觉得换过领导之后 这个项目基本上就很难发展的很好了 SPEAKER_01: 你怎么看OpenCloud的未来的发展 SPEAKER_00: 我觉得Coding Agent的发展 给大家带来一个虚拟的假象 就是觉得好像所有的软件都变得很容易些 但其实有一些这个顶层的系统设计 包括长期的维固 还是需要人来设计的 就是我觉得AI它可以帮我们走完90%的路程 [01:30:17] 但是还有10%的关键的那个画龙点睛的那一部分 是需要人来这个提供支持的 需要提前预判顶层设计 SPEAKER_01: 对 因为我看开源社区的这个比较少 就是一个开源社区的成功也好 失败也好 有哪些历史先例啊 就是最后可能导致比如说一个社区分裂萎缩失败的可能 包括会有哪些 因为你们伯克利的这个渊源的原因你们见过很多吗 SPEAKER_00: 对当然我觉得第一重要的就是这个开源项目 它确实是在解决一个大家都关心的问题 这个是最根本的对吧 如果你解决的是一个没多少人关心的问题 那这个项目它就长不大 这是一个根 对这是一个根基 然后第二点就是有了这么一个重要的需求之后 那么能不能撑起这样一个项目 这背后就涉及到刚才我们说到的 需要有一个创业公司 在背后运营这个项目 去组织这个项目 所以这也是很关键的一点 然后呢我觉得就是像这个创始团队 [01:31:17] 持续在推进这个项目 这也是很重要的一点 然后呢我觉得就是有了这些 天时地利人和吧 然后就是把这些事情持续推进下去 SPEAKER_01: 你们为什么那么执着一把WUSUK拉进来 你跟Simon两个人不行吗 SPEAKER_00: 他还是我们之中比较偏技术的同学 就是很多因为很多历史上的技术角色都是他做的 所以他来做的话会有比较好的延续性 SPEAKER_01: 所谓根正苗红它可能是那个根 就是第一个人 对 他也得在那里 SPEAKER_00: 对我觉得这个对于社区的这个 号召力也会有比较大的影响 SPEAKER_01: 有你见过那种非常可惜的开源项目吗 就是他可能根很好 但是因为后期维护出了问题 然后最终导致失败了 SPEAKER_00: 我觉得这些还是有比较多的例子的 尤其是就是一些开源社区 他没有公司在背后支持 这个比如说很多历史上的很著名的项目 [01:32:18] 其实都是很多人在就是有几个人在艰难维持 比如说像这个open ssh 这个其实是大家都要用到的一个这个计算机的基础设施 就是一个这个ssh的这个加解密 那么他的维护者其实就只有那么几个人在自己维护 然后呢这个事情是直到这个大概十多年前出现了一次事故 就是他的一个漏洞被人破解了 导致可能全世界都在裸奔 就是你的密码可能大家都能看得到 出了这个事情之后 大家才成立了一个基金会 然后给他投一点钱来这个支持他的维护 所以其实开源社区的这个基础设施建设 一直是一个老生常谈的话题 就是他们都很重要 但是直到他们出问题之前 大家都觉得不需要投入 SPEAKER_01: 你们还是提前来做了这件事情的 SPEAKER_00: 对我们提前做了这个事情 而且就是伯克利这边的历史渊源表明 [01:33:19] 只有有这样一个创业公司在背后支持 这个项目才能够健康的发展 SPEAKER_01: 一定得是创业公司对吧 不能是一个大厂 SPEAKER_00: 对我觉得得是一个创业公司 如果是一个大厂的话 嗯它很容易带来这个大厂原来的一些偏见 或者说立场 那这个时候它很难去融合这个社区 就是可能有别的大厂不服务它 所以说所有人不会跟它一起走 SPEAKER_01: 嗯 SPEAKER_00: 那么这个创业公司 又是这个项目的创业团队 然后呢在社区里面带着大家一路 风风雨雨这样走过来 那我觉得它的号召力 包括它的这个中立性 公正性大家都是比较认可的 所以我觉得这样的项目可以 就比较promising SPEAKER_01: 最终你们觉得哦 我这公司可以成立的那个节点是什么 是大英加入的那一刻吗 有没有那样的一个时刻 那样的时刻 SPEAKER_00: 我觉得就是就是 Yang Stoica老师告诉我们说 这个公司再不成立 这个项目就要完了 SPEAKER_01: 几年几月几日 [01:34:20] SPEAKER_00: 可能找不出一个具体的时间吧 但是应该是25年左右的时候 因为25年左右的时候呢 我们做的一个主要的任务 是做大模型的大规模的集群级别的部署 那这个时候我们其实遇到了很多问题 一方面就是说这个人力资源的问题 就是我们在以开源社区的方式运作的时候 这个参与这些事情的人都是不确定的 就是人来人往的对吧 有些人来有些人新加入 然后有些人离开 那么这个事情是没有办法支撑 你长期的做一个重要的feature的 然后呢 另一方面就是这个法务上的问题 就是我们跟很多公司合作 就是有一些这个保密性的 因为我们经常做很多新模型发布之前的支持 包括新硬件发布之前的支持 那么在这个过程中呢 对方法务经常会要求说 你需要有一个我们叫NDA嘛 就是保密协议对吧 那这个保密协议谁来签 这是一个很尴尬的问题 因为开源社区它不是一个实体 [01:35:22] 所以对方的法务经常就会说 你背后是哪些人在做这个事情 然后呢 他可能还会还会需要检查说 你这次来做的是这些人 下次来做的可能是另一些人 那么这些人里面 变动的人里面 有没有我的竞争对手 我是不是要对他进行做一些 做一些背景调查 才能够允许他来接触这些信息 嗯对吧 这些其实都是一个开源项目 没有办法完成的事情 然后呢 再包括除了人力资源之外 还有这个机器资源的问题 那么我们做大模型的这个大规模 部署 其实在24年的时候 这个事情为什么没有这么突出呢 因为那个时候模型还比较小 然后呢 你搞到一台机器 单机的单卡的 就可以做很多事情了 那么那个时候也有一些公司 这个比较热心慷慨的 给我们捐赠的一些机器 但是到了25年的时候 因为整个的这个规模上去了 我们要做的很多优化 都必须是集群级别的 那我要别人给我一个集群的时候 就很困难了 就他给我一台机器已经是顶天了 [01:36:23] 这是他能支持的最高的力度 然后呢 我们这个时候 为了做一些这个集群级别的优化 我们就只能去各处乞讨 然后呢 我可能我首先需要花一个月的时间 劝对方说给我这些机器 然后呢 我拿到了这些机器之后 我需要马不停蹄的规划说 我今天要做这些事情 明天要做那些事情 因为可能我这些机器 一个月之后就到期了 然后呢 对方给我这些机器 也不是一个promised的事情 他们内部 如果有一些紧急项目 他是不是接下来 比如说我一周里面 我一三五 我可能我要自己拿过来用 然后呢 246给你给你用 甚至可能紧急通知你说 接下来一个小时 我马上要用 对吧 所以这些事情就 给我们带来很大的阻碍 所以我们25年 其实我觉得说实话 我们做的不是很好 那么这些事情就导致了我们 已经很明确的看到就是 没有一个公司的知识 这个项目已经无法继续往下发展 所以你们有点不得不 SPEAKER_01: 但你其实一直是等着要创业的 SPEAKER_00: 对整个项目的这个情况是 已经不得不需要一个创业公司了 [01:37:25] 然后我是一直在等着这个创业公司 所以我一直是在内部呼吁说 我会不停的说 我们你看我们现在又遇到这个问题了 对方又找我们来签NDA了 我们现在签不了了 然后我们要是有一个公司多好啊 然后我就在 不停的说这样的话 然后最后 也是25年的时候 因为刚好大家都那一年毕业嘛 所以我们最后就说 那真的开个公司 那真的开个公司吧 SPEAKER_01: 你说这个时候Simon会怎么说 SPEAKER_00: Simon跟我是一样的看法 SPEAKER_01: 嗯 然后Wussuk呢 SPEAKER_00: Wussuk还在犹豫 SPEAKER_01: 最后他是怎么下定决心 他的下定决心 那个时刻对你们这个公司的创立 有退波助澜的作用吗 SPEAKER_00: 对啊就是他下定决心就是我们 SPEAKER_01: 污染他那个问题 SPEAKER_00: 对我们找他就是逼宫了 就是说 你如果不做我们自己做 然后呢你自己想一想 如果你不来的话 导致为什么项目失败 虽然你赚到了很多钱 但是你会不会快乐 然后 对就他想了几天 然后最后回来了 [01:38:25] SPEAKER_01: 他当场没有给出答复 SPEAKER_00: 对我觉得这个问题 一旦问出来是我们双方 都需要冷静一下的时候 SPEAKER_01: 那是几月份啊去年 SPEAKER_00: 可能是 快到七八月份八九月份的时候了吧 SPEAKER_01: 然后到年底就开始成立公司了 SPEAKER_00: 对就是我们最终把他劝回来之后呢 我们还有各种流程要走吗 我们还要去找这个投资人 聊融资的一些事情 SPEAKER_01: 后面顺吗 我比想象中 在面对你们觉得可能 自己最不擅长的那部分的时候 SPEAKER_00: 现实是怎么样 我觉得这部分还是比较顺利的 就是因为 就是硅谷的VC 对我们整体是一个期待已久的状态 就是 虽然我们决定成立公司 是在2025年的年底 但其实他们23年24年的时候 就已经在跟我们接触了 而且那个时候 就已经在给我们这个开源项目提供资金了 所以我觉得这里可能可以重点讲一下 比如说像 ACC 他们在23年的时候 就给VM项目提供了一笔资助 [01:39:26] 这个是资助 SPEAKER_01: 对这个是资助 SPEAKER_00: 是单纯资助给开源项目发展 然后呢 SPEAKER_01: 这个钱金额会多吗 一般来说 SPEAKER_00: 当时应该是 几十万美元的级别 对 然后呢 这个像24年的时候 Sequoia和真格 这两家也都给我们 这个以开源社区的形式给我们捐赠了一笔钱 所以他们其实很早就注意到了我们 而且也跟我们一样认可 就是VM是一个很重要的项目 所以他们愿意投入一些早期的资源来支持我们 当然他们也是说就是 如果我们创业的话 那肯定是大力支持我们 所以 当我们这个最终把这个消息说 我们几个人最终决定要创业了 我们要有一家公司 那这个时候我们再去找他们 找他们的时候 他们其实都比较爽快 都说 其实我钱已经准备好了 所以这个 你们终于决定了 对 他们一直在等我们 对 所以 [01:40:26] 虽然这个我们总资轮 融到的这个资金比较多吧 但整体上还是 投资人在主动找我们要投资的阶段 就是 我们即使总资轮融完之后 直到现在其实也不停的有人在说 我这里有很多钱 我可以直接给你们 就是 几千万美元的这个Safe 都可以直接给你们 然后你们下一轮融资的时候 把我们考虑进去 嗯 但是我们现在还是一个 谨慎乐观的态度吧 就是 我们希望把这个融资和公司成长的速度 相匹配 就是我们不是为了融资而融资 不是说现在有钱 我就要去拿 更多是看我们这个公司 现在发展到了什么阶段 然后需要把钱拿来做什么事情 然后再去看下一轮融资 SPEAKER_01: 你们应该是全球来说 AI Infra领域融资 总资论融资最多的一家 是不是 SPEAKER_00: 没有做过横向的这个历史的对比 但应该确实是比较大的吧 SPEAKER_01: 投资人为什么这么看好你们 SPEAKER_00: 他们有说什么逻辑没有 核心还是我们在这个生态里面的地位 [01:41:28] 就是当你去看这个 开源模型的生态的时候 每一个模型的发布 背后都跟着VM的支持 每一个芯片厂商都会主动来靠近VM 说他希望得到VM的支持 那么这背后的市场 其实是一个多少B链的市场 所以其实给我们的投资 相比于我们产生的价值来说 我觉得并不算多 SPEAKER_01: 其实市场也准备好了 然后客户也准备好了 但是就等你们几个人做决定 SPEAKER_00: 对就等我们要做这个事情 当然如果我们不做 可能有其他人来做 但是不一定有我们这么好的站位 SPEAKER_01: 出来以后你没有说 我们应该更早出来就好了吗 因为其实融资比你们想象中 可能容易很多 SPEAKER_00: 确实 但是这个可能就属于马后炮了 以及再往前面一些时间 其实我们也没有那么多时间 就是我们比如说在准备一些 [01:42:28] 毕业什么的事情 然后也没有时间来做这些事情 所以更多是在像7月份我毕业了 然后呢秋季学期这个乌塞克和Simon 他们也都快毕业了 所以刚好是这么一个时间点吧 其实我已经是在不断的催促说 我们该创业了 我们该创业 SPEAKER_01: 你是为了创业去接的这个教职吗 SPEAKER_00: 对就是我是为了等他们创业而接的 这个博士后 所以我一直在不断的催促说 我们应该创业了 再不创业又有12345这么多条问题 SPEAKER_01: 你们几个人是怎么分工的呀现在 包括Yang Stoic老师 他扮演一个什么样的角色 SPEAKER_00: Yang Stoic老师是我们的这个创始人之一 然后呢 他现在属于一个Advisor的决策 就是一些重大的战略决定 我们都会问他 因为他有很多的创始 这个创业的经验嘛 他包括这个他是Databricks的创始人 然后呢也做过像最近的这个LM Arena 所以他对整体的这个行业的水温 [01:43:28] 都比较了解 所以他会给我们一些建议说 这个阶段这个公司 我们现在该做什么事情了 接下来该做什么之类的 所以他给我们一些这个 high level的一些建议 然后呢 我们主要创始人 这个四个人里面呢 就是更多的还是 就是有什么事做什么事吧 有技术的就做技术 然后有非技术的就做非技术 然后看谁有更好的context来 handle这个事情 对比如说 有些公司原来是我对接的 那么对方再来找到对接 那就我去出嘛 然后有一些事情 原来是像乌塑克在做的 那么现在这个事情 需要继续往下推进 那么就他去做 所以我们 就是我觉得我们四个 还是比较四位一体的状态 就我们四个人可能是同样的一个 共享一个大脑 然后只是需要谁的时候谁出嘛 SPEAKER_01: 还是仁慈的独裁者嘛 SPEAKER_00: 对我们四个一起吧 SPEAKER_01: 还是仁慈独裁者 [01:44:29] 四个一起 SPEAKER_00: 然后因为我们四个人做的事情 没有那么多overlap 就是各自有各自的这个 往之前负责的一些东西嘛 所以说肯定就是这个方向 如果是你负责的 然后你又意见比较坚定的话 那你就做就好了 大家都支持你 SPEAKER_01: 这开源项目商业化之后会 就是社区对于公司 就是社区对于公司Infract的态度 会有一些变化呀 它会损失一些社区的信任感吗 SPEAKER_00: 我觉得没有 就是这个事情 对于社区来说是一个好事 因为他们其实也都在期盼着我们开公司 就像刚才说的 我们跟很多合作伙伴合作 对吧 那么对方想要我们签保密协议 那没有公司的话签不了 就是有公司了之后 我们可以跟对方签保密协议了 他们的法务也很开心 然后呢 还有就是有些公司 就刚才说到的一些算力的问题 对吧 那我们之前合作的时候 经常会对对对方说 哎我们合作一起做这个事情 你能不能给我们一些算力支持 那对方也很尴尬 [01:45:29] 就是因为公司里面的算力 都在公司内部 他很难给我们公司外部的人支持 他最多就是可能像刚才说到的 有一些公司给我们提供一些资金的支持 但是呢我们要去买 你比如说这个资金 放在谁的口袋里都是一个问题 对吧 我们不能直接放在个人的口袋里 然后呢你去买一些东西的时候 比如说买算力的时候 那对方可能也会要求这个一些资质的证明 你是不是一家合格的公司 对吧 所以说这些这些东西 其实在我们成立公司之后 都得到了很大的缓解 嗯 而且啊我们有了公司 有了人力资源的支持 有了硬件资源的支持 我们可以把很多原来做不好的事情做得更好 那比如说我们可以招聘更多的人 来支持为我们项目的发展 然后呢我们也可以有更多的机器的资源 来验证我们原来验证不了的事情 所以呢整体上来说 对社区来说是一个非常大的促进 那社区对于一个开源项目的这个意见 他并不是说他能够在这个项目里面 能够写多少代码或者说啊 [01:46:29] 他在社区里面说话有多少人听 更多的是说这个项目 能不能给他带来一些收益 比如说新模型发布的时候 这个项目是不是又能够支持了 然后新硬件发布的时候 这个项目是不是又能够支持了 然后一些新模型这个特性 新的推力引擎特性的发布的时候 这个社区是不是又能够支持了 所以他们更多是一个 从用户的角度来看这个事情 那么啊我们公司的成立 对为我们项目的发展 尤其是对用户来说是一个很好的事情 因为这个项目现在更有保证了 然后呢各方面的也发展 发展的越来越好了 所以他们都是非常支持我们做这个事情的 SPEAKER_01: 如果当商业客户和社区的需求 发生冲突的时候 你们会选什么 SPEAKER_00: 呃我们不接这样的商业客户 我们现在是供少于求的状态 就是我们能支撑的商业客户 远远小于想跟我们做商业合作的客户 所以我们可以非常爽快的拒绝 在我们不想做的事情 所以我们目前做的事情 都是跟社区发展一致的事情 SPEAKER_01: 最终还是你们四个作为一个决策者 [01:47:30] SPEAKER_00: 主要是我们四个在公司里面决策 SPEAKER_01: 那PiTorch基金会 现在跟这个公司是什么样的一个关系 SPEAKER_00: PiTorch基金会 就是它在我们项目的日常的管理过程中 就是它不参与技术管理 所以呢我们目前主要是可能每一个季度 会向PiTorch基金会 汇报一下这个项目做了什么 然后呢其他的没有很多别的了 SPEAKER_01: 它只是一个象征性的意义 我感觉 嗯对 它作为一个持续的开源项目来存在 对 SPEAKER_00: 就是它是那一道保险杠 保证这个项目它不会闭源 嗯 SPEAKER_01: 对 SPEAKER_00: 然后具体的技术都是我们自己在做 SPEAKER_01: 你们对开源闭源这个问题上 没有过争期或者是犹豫对吗 没有 SPEAKER_00: 因为如果我们想做闭源的话 我们就可以自己去找家公司做了 就是我们觉得这个开源推力引擎 它是很重要的事情 而且需要坚持下去 SPEAKER_01: 你们公司为什么叫Infract SPEAKER_00: 对 这个起名字是一个相当困难的事情 我们为此讨论了好几天 然后最后取名Infract也是 [01:48:32] 因为我们公司主要做的事情是想做Inference 所以就有一个Inference在里面 然后呢配套了一个这个 这个我们希望是Bring Inference into action 就是把推理做到行动里面 而且让它真正的跑起来 嗯 所以最后起了这个Infract的名字 SPEAKER_01: 你们认为这个公司10年后会怎么样 你们的愿景和目标是什么 SPEAKER_00: 嗯 10年后这是一个相当长的时间了 我们已经很难预测 就是AI会发展到一个什么样的程度 但我们的预期就是Infract 希望能把大模型推理这件事情 可以进行做到一个基本解决的状态 就是大家想起推理 就会想起VoM 然后想起Infract SPEAKER_01: 那商业模式会是什么样的 SPEAKER_00: 商业模式的话我们整体还是 就是围绕大模型推理技术和VoM的生态 然后呢一边建设VoM的生态系统 一边去做商业化 [01:49:33] 所以我们在探索好几种商业模式 那比如说 我们公司可以有机器 然后有软件 我们最后就给大家提供一个叫做 Endpoint Service 就是对方只需要直接从我们这里 用Token就可以了 嗯 你也可以再探索一些像我们叫做 Byoc的模式 就是你可以客户有机器 然后呢我们提供软件 然后我们产生Token 可能是给你内部自己用 SPEAKER_01: 嗯 SPEAKER_00: 然后呢也可以是一些 纯生态合作伙伴 类似的探索性质的 就我们跟一些战略性的客户 啊一起去探索这个 怎么把VoM的生态建立的更好 这方面也可以有些商业合作的机会 嗯 嗯整体上来说我觉得就是我们希望做到一个 啊按量收费的状态 就是我们不是技术外包 我们不是在售卖我们工程师的时间 我们产生的价值啊取决于我们为你多产生的多少Token 啊为你的这些机器又节省了多少成本 啊所以这个是我们一个整体的逻辑 SPEAKER_01: 嗯现在公司多少人 [01:50:33] SPEAKER_00: 我们现在公司大概30多人吧接近应该快到40了 我们还在持续的招人 SPEAKER_01: 再从一个像社团的一个组织 变成公司这样的组织的过程中 你们有没有什么感受 或者know how可以借鉴 SPEAKER_00: 啊我觉得公司确实还是挺不一样的 就是我们之前在做开源社区的时候 啊一个很困难的事情就是 你没有办法从上到下的去强制推进一些事情 就是你没有办法去规划 嗯因为这些公司啊这些参与的同学 他们都可能有自己的工作 所以他们不是全职在做这个事情的 他们可能内部有一些其他的 比如说紧急的事情 那么今天就来不了了 所以呢我们只能是一个 啊best efforts或者是一个许愿的状态啊 就是我求求大家这个这周把这个做完吧 对吧然后呢现在我们有了公司了啊 就是这些同学都是我们的全职员工了 对吧然后我们也有专门的资源可以去推荐这些事情了 那么我们可以引入更多的计划啊我们说我们这个季度要完成什么事情 [01:51:36] 然后呢分给这个小组 你这个小组你接下来这一周应该要做什么事情 就是我们可以有更多的计划 SPEAKER_01: 那你们几个人的关系有没有发生什么样的变化 SPEAKER_00: 就是我们几个创始人之间都是就是每天都会同步一下一些相关的事情 所以我觉得关系应该还是更紧密了 就相比于之前开源社区的时候大家可能 像同学 对然后开源社区的时候可能沟通还没有这么紧密 因为那个时候可能大家都是松散的组织在一起的状态 然后现在大家是为了共同的一个目标去奋斗 然后大家可能都需要看这公司里面发生了什么事情 然后大家需要一起来解决 SPEAKER_01: Infraact这个公司今年的一些规划会是什么呀 SPEAKER_00: 今年的规划我觉得目前还是在聚焦这个开源大模型推理的生态方面 那么包括接下来即将要发布的一些下一代的这个推理引擎 [01:52:36] 包括这个下一代的模型下一代的硬件怎么样做到更好的这个推理 然后包括针对下一代的这个负载 就是大家怎么去用这个token的这些东西 我觉得我们需要用开源的微网给出一份满意的答案 SPEAKER_01: 好上面我们回溯了你的研究历程 以及这个公司从一个开源项目走向公司化的过程 那今天我们其实还也很想跟你聊的一个话题 就是模型与Infra的co-design 我觉得这个你们非常擅长 也是现在很多模型公司都很关注的一个话题 那我们先从一个最基本的开始聊起 就如果是一些给一些非技术背景的观众 或者听众解释模型结构与Infra的co-design 你会怎么比喻他们为什么需要在一起设计 SPEAKER_00: 我们现在很多人把这个token比作电力对吧 然后呢我觉得可能可以从这个比喻开始吧 我们可以把硬件就想象成这个自然资源 [01:53:38] 就是你比如说不同的地方 它有这个不同的风力和不同的水力 还有这个光伏太阳能 然后呢模型我觉得可以把它比作是一个发电机 那么有这种大风车的这种风力发电机 也有太阳能的那种光伏发电机 也有这种机械式的这个水力的发电机 然后推力引擎就可以把它比作是这个电力系统 那么它把这个模型跑在硬件上 然后呢最后再把这个token发送给用户 分发到这个千家万户 那么这里面的这个co-design的程度 它其实就决定了它的发电效率 那么比如说有的地方水流比较湍急 有的地方水流比较平缓 那你在这两个地方怎么样去设计你的发动机 使得你的发动机能够更好的利用这部分能量 这个就是所谓的这个模型和infra的co-design SPEAKER_01: 就是在同样的自然资源的情况下 配上可能不同的发电机 [01:54:40] 然后它有不一样的发电效率 SPEAKER_00: 对 SPEAKER_01: 直觉上来看的话 推理效率可能是系统工程师的事情 它跟模型算法的关系是什么 SPEAKER_00: 我觉得要讲清楚这个事情的话 可能就要讲清楚一个概念叫做 Hardware Lottery 就是硬件彩票 这个也是就是这个 应该不是不是David Patterson 而是另一个这个学者写的 就是他说的是就是 在几十年前呢就是 还是摩尔定律比较有效的时候 那个时候其实软件和硬件的发展 基本上是一个各自为战的状态 那么你写软件的人 你其实不需要考虑那么多硬件的特性 因为硬件的通用性能 它每隔两年就翻一倍 然后呢软件的性能自然的就会跟着变快 但是呢现在的问题就是 摩尔定律的那个黄金时代已经结束了 就是你没有办法再通过制成 然后得到通用性能的提升 所以现在其实已经进入了一个专用时代 [01:55:41] 就是英伟达经常说这个黄式定律 就是说你的算力可能你每隔两年又会翻几倍 但是这个算力它其实都是专用的算力 就是它没有办法做到通用 那所以如果你的这个算法 没有利用到这些专用的算力 你就没有抽中硬件的那个彩票 你就吃不到这个时代的红利 比如说我觉得就是这个极其学习 非常资深的这个Hinton老师 他当时强推了一个叫做Capsule Network 那个东西就是他觉得从概念上非常make sense 但是那个东西在GPU上不友好 所以他得不到广泛的应用 或者说至今他没有得到广泛的应用 如果他需要得到广泛的应用 可能需要一个专用的硬件 所以说就是模型的结构 它决定了推理效率的一个上界 如果你的这个上界太低了 那系统工程师就无力回天了 那系统工程师就无力回天了 对吧你已经做成这个烂样子了 那他再优化也就是这个样子 所以你必须得把两者结合起来看 [01:56:42] SPEAKER_01: 其实Transformer就是抽中了GPU的彩票 SPEAKER_00: 对可以这样说 因为他非常适合并行 这个并行指的就是他里面有大量的这个 矩阵乘法 SPEAKER_01: 那应该是算法领着硬件走 还是硬件领着算法走 SPEAKER_00: 理想情况下这两个肯定是要协作的 但是实际情况是因为硬件它已经造出来了 所以很多时候是算法需要去学习硬件的发展 当然硬件一旦走错了 他就几年的时间他就走错了 这对硬件公司来说是一个巨大的挑战 所以他需要不断的踩着时代的脉搏 去压住下一个有用的硬件长什么样子 但是一般来说还是算法和模型结构 适配硬件适配的多 SPEAKER_01: 你们举一个具体的例子来说明 因为模型结构设计的好 所以导致Infra的效率提高了很多 SPEAKER_00: 一个比较著名的例子 我觉得可以说就是ROPE 这个叫做旋转位置编码 Transformer出来之后呢 [01:57:43] 说位置编码这个事情 我觉得你少说可以找到 上百种位置编码的这个实现 但是呢他们其中很多的实现 都需要修改其中核心的注意力的实现 就是你的位置编码变了 那么你的注意力 kernel需要重新写 那比如说叫做一个叫做 alibi的这个技术 它是这个absolute的这个position bias 所以它就没有得到广泛的应用 那ROPE流行起来的一个很重要的原因 就是随着训练长度的这个提升 那么大家需要位置编码 然后呢同时用flash attention 解决了训练长度的问题 所以flash attention就变成了一个训练必须的东西 然后在这个时候你的大部分的用户是没有办法 就没有那个能力去修改flash attention的 所以这个时候大部分需要修改attention 内部实现的位置编码就被干掉了 就没有人去尝试了 而ROPE它的好处在于它是一个绝对位置编码 就大家希望是一个绝对位置编码 [01:58:44] 但它同时又是一个相对位置编码 但是它是一个以绝对位置编码实现的方式 所以呢它有非常良好的性质 而且呢它是可以把它独立注入到这个curry和key里面 它是独立在attention之外的 就你可以在attention kernel之外独立的做这个ROPE 所以呢它跟attention kernel是互补的 所以它就变成了一个最佳搭档 所以说就是模型结构设计的好 那么它就可以跟infra有一个co-design 就是一个共鸣的效果 就是大家可以互相提高 能够有一个更高效的实现 那么你的整体的训练推理效率都会提高很多 SPEAKER_01: 因为提到infra 大家这一代大模型公司里 就会说deep-seek是infra做最好的 它的infra做得好是跟这个模型结构 和infra的co-design有关系吗 SPEAKER_00: 对我觉得就是infra的就是deep-seek的infra团队 我觉得可以说是全球顶级的这个团队 是不是第一我不好说 这个可能见仁见智 但是绝对是顶级的 [01:59:45] 然后infra的能力强呢 也就能够高效实现的模型结构就更多 所以呢他们的算法研究员 就可以更快更充分的去探索各种选项 然后呢这里面我觉得还有一个就是他们的算法同学 其实也都是懂一部分infra的 比如说在24年年初的时候 就是当时deep-seek探索MOE 就是deep-seek MOE那一波 那么其实是deep-seek的一个算法同学写出了这个MOE的 当时还是比较粗力度的MOE的一个比较高效的实现 所以他们其实在探索MOE方面这个infra探索了很多 然后包括后面这个细力度MOE 也是他们在推理系统里面第一个做出来的 所以说infra的能力对于deep-seek同学的这个算法探索 起到了非常重要的作用 同时他们的算法同学也会学习infra的知识 使得自己的算法设计能够更infra的友好 [02:00:45] SPEAKER_01: 所以应该是算法主动去靠近infra SPEAKER_00: 算法需要主动去靠近infra 然后infra也需要对算法有一些基础的了解 我觉得就是这两者需要更紧密的合作 SPEAKER_01: 这两者需要比如说一起办公 有什么样的机制能够让他们更紧密吗 还是说我从招人上就应该算法的人懂infra infra人懂算法 SPEAKER_00: 我觉得招人的时候如果能招到既懂算法 又懂infra的同学这个肯定是非常好的 然后呢后期的组织结构上面 可能确实一起办公会更好一些 比如说一起办公的同学大家日常的讨论 对吧这个infra的同学每天讨论的是什么事情 那么算法同学耳濡目染的也就知道了 原来我有这样的一些东西要考虑 然后呢算法同学一些日常讨论infra同学也是耳濡目染的 就是会有一些潜移默化的影响吧 嗯对那比如说如果infra团队太主导 他有的时候也会忽略到算法上面的一些事情 [02:01:47] 比如说这个 moe里面那么就曾经出现过一些 infra同学为了这个moe的均衡而选择了 expert choice的这个事情 那么这个事情在算法上面其实是不能被接受的 但是在infra上面你可以让它跑得很快 所以这也是一个infra和算法 过度倾斜到infra的一个例子 SPEAKER_01: 这两者谁的话语权可能可以更高一点 SPEAKER_00: 我觉得很多公司里面是算法的话语权更高一些 然后infra很多时候是一个被动接收的状态 嗯对但理想情况下他们两个应该co-design 怎么说呢这个就像刚才说的模型和这个硬件co-design一样 理想情况下他们都应该是co-design的 但是现实情况下是硬件更强势一些 因为它已经设计出来 SPEAKER_01: 说到deep-seek他们最近这个dspark也刚刚发布 那么从旁观者的视角解读一下这个最新的技术进展 SPEAKER_00: 就是dspark它是一种这个新的投机解码的方法 [02:02:50] 因为这个自回归的建模的大模型它的推理整个就分为育田充和解码两个阶段 那么育田充呢它是处理用户的输入 然后呢解码阶段它是处理模型就是自己自己在输出 然后因为它是自回归的 所以你模型解码阶段只能一个一个token的生成 这个效率比较低 然后呢投机解码它就是说我根据当前的输入一次性的猜测 我接下来要生成的几个token 然后呢把解码的过程呢变成一小段一小段的这个育田充的过程 那么它一次性可以处理多个token 就可以提高处理效率 那在dspark提出之前呢 这个业界其实已经研究了很多的投机解码的方法 比如说常见的这个EGO 以及同样是这个dipsig提出的MTP的这个投机解码 那它们的特点就是猜测的长度比较短 一般可能就猜测三到五个 但是接收率比较高 那dspark的技术路线呢属于是dflash的系列 那这一部分我们其实最近几个月也都一直在关注 [02:03:50] 所以dspark它不算非常新颖的内容 dflash路线的特点就是它一次性会猜很多个token 比如说16个token 那我们VM和NVIDIA 其实最近刚刚发布了一个技术博客 就是在介绍VM里面的dflash的支持 这样的话可以对某些模型达到每秒上千token的速度 dflash的缺点就在于它猜的token很多 但是它猜错的也很多 所以呢它模型验证过程中存在一个算力浪费的问题 那dspark对于dflash的改进就是说 估计一下这些猜的token里面哪些是准确的哪些是不准确的 然后呢大概率不准确的token你就不要再去验证了 所以呢比如说模型猜测了16个token 那你简单统计一下这个模型最后输出的一个置信度 可能发现只有前8个token是准的 那你就只需要验证前8个token就可以了 所以说dspark大概是延续着这个路线在改进dflash 那dspark对我们来说其实并不意外 [02:04:51] 就是因为我们已经做了几个月的dflash相关的优化了 然后呢dflash的这个接收率的问题 也是dflash的研究圈子里面的一个共识 然后像在dspark提出来之前呢 腾讯的会员团队其实已经有发布了一个dcat工作 然后呢上交的同学其实也有提出一个叫做domino的工作 都是通过类似的思路来解决这个问题的 所以说你说这个dspark在算法上面有多么normal 我觉得并不能算很normal 那我们跟dbc的团队跟腾讯会员的团队 也都有很多的沟通啊 大家很快也会看到vm里面支持这些算法 但是就是创新性是一回事啊 就是然后能不能把这个创新的想法扎实的做出来 只有是另一回事 我觉得dspark是继承了dipsig一如既往的 非常扎实的infra的基础 把这个推理优化压榨到了极致 这也是我们在跟他们学习的一点 就是怎么做到更好的这个推理优化 然后其实这个也是另一点就是算法 [02:05:53] 跟infra co-design的部分吧 就是有没有一个好的推理引擎上的实现 是决定一个投机解码算法 能不能大规模使用的一个关键 那dipsig的推理引擎团队非常强悍 所以也为这个算法团队研究投机解码 提供了更大的探索空间和更多的反馈 这刚好是一个co-design的案例 SPEAKER_01: 对 你想了这个我在想 大家都会说是一个很懂infra的人 当然应该也会有不错的infra吧 为什么这边有做起来呢 SPEAKER_00: 懂AI吗 SPEAKER_01: infra应该还不错吧 SPEAKER_00: 我觉得应该不懂AI infra 他们团队里面当然有一些懂AI infra的同学 因为你开出很