江鋆晨: KV Cache，大模型记忆，清华姚班，CMU，教授，开源，视频流媒体

[00:00:00] 我让特长那个屏的那种会都不会去在下面当观众我都觉得浪费时间我们今天就喜欢来跟罪魁祸首席而降当年AI都不是个东西珠淡门为了北京奥运会做直播的套系统可以看它就是金子它就是未来的石油这个赌我们可以打然后之后看一看这个到底结果是什么在工业界直接去写产品代码去写做工程的那次对我研究的帮助是最大的我觉得投资人这是一个很多教授都踩过的坑在贵股采访100个有意思的人这里是月球大叔今天我们请到了江俊成俊成他们的公司最近刚用到了2000万美金的融资向俊成自我介绍一下自己吧大家好我叫江俊成我是芝加哥大学计算机器教授同时也是Tencent Mesh的CEO和Co-Founder 补充一下俊成同时博士毕业于CMU 本科毕业于清华摇班我其实很早就读过俊成的论文 [00:01:02] 因为我博士期间也读的是网络多媒体然后这两年在硅谷看到俊成从网络多媒体转到了大模型甚至开始了创业所以说就特别想了解一下俊成整个的过去的心路历程看看有什么新的认知能够分享给大家很多故事可以分享好的就喜欢听故事在聊这些事情之前我们先聊一个劲爆的话题最近的存储价格涨得特别多你们过去两年一直在做的就是 QVCatch相关的创业 Catch缓存存储一看就是息息相关你怎么看待这一波存储的价格的暴涨首先存储价格往上涨这是商业规律纯粹是供需不平衡大家有很多需求要买更多的存储设备但是存储设备又没有那么大没有那么多但是关键问题是大家有没有想过为什么需要那么多存储设备是吧其实这是一个非常有意思的问题在AI时代所有人都大家的注意力都在计算算力上面没有人去考虑这个存储的能力和存储的这个 [00:02:03] 它的它的容量但是这是很有意思的问题算力越多存储需要的要求也会越多然后可能大家一开始没有意识到这个问题所以现在现在这是个市场需要纠正一下这个价格过高这是很正常的事情但是我觉得很有意思的事情就是为什么存储会在AI时代变成很大的问题那我们做的东西呢包括KB Cash 这些也是模型在计算和运行过程当中生成的数据然后这类数据呢就是现在对存储压力非常大的一个原因所以我们之后可以再说但是我觉得这有可能我们也是导致这个价格上涨的原因之一对我们今天就喜欢来跟罪魁祸手聊一下好吧对行那我们之后会细聊这个话题我们先从俊成过去的求学呀读书生涯来看一下俊成的一些经历吧就是从俊成的官方网站上能看到俊成应该是2011年从清华本科毕业的也就是2007年参加的高考对吧 [00:03:03] 严格说是没有高考我是保送的细说一下是怎么保送的我是数学竞赛保送的然后07年进清华所以是06年的数学竞赛然后到某个级别他就可以保送了嘛对然后进了清华之后的话你是又怎么去的摇班呢啊这个事很有意思我是读数学竞赛的所以啊进清华的这个一开始的系是数理极客班就是数学系和物理系放在一起的那个那个那个那个那个那个本科本科系啊然后那当去了之后发现数理极客班人好多啊但是同时计算机器有一个新的一个一个班我当时也也不认识姚积智是谁就就有只知道知道数人就计算机器要开一个新的班然后啊可能可能可能要要要再考一次然后就去考了特有意思是他这考试就只有考数学那就是考数学啊而且数学就是考数学竞赛的东西 [00:04:04] 所以但当然我不知道现在摇班怎么考但是当年他只考数学竞赛啊然后面试也是面试数学竞赛题进了之后呢才发现这不是个纯粹计算机器这是个理论的一个一个班但是这姚积智当时回国的时候就觉得啊中国的这个理论的做理论的这个基础啊相对比较薄弱他就想搞个专门做理论的班所以进去考试全数学竞赛的题也就是全考了你会的东西对啊正好撞到枪口上了对啊进去之后的一个体验是什么呢啊摇班是个很有意思的地方摇班呃有一个就当当初一开始摇班开始的时候呢其实并没有太强调说这个班要啊招的人要要符合某一类的这个特质其实当时就是招招最好的人进去但是呢3号他考的就都数学所以所以招进去的人呢有一些是真的数学特别好的但也没有多少计算机器背景就像我一样然后有一些人呢是啊专门计算机背景进去但是这边编程特别好 [00:05:06] 所以所以这个班里面啊大家都聪明人大家每个人特长都不一样所以一开始的时候呃大家其实反而比较自由因为每个人的兴趣不一样所以这个这班很难很难说这个就就就培养大家一定要往某方向走现在呢可能就摇班制班好像什么AR班 AI班什么的就就就就就大家也就分流的更细了当时呢就是把最好的人放一起你们自己野蛮发展去吧是吧但是但是呢他也有侧重因为他招的他的他的课程设置呢其实也也非常非常合理这就有有理论也有别的他比比较平衡但是呢他的班的这个辅导员和他这个这一开始这个教授的管理这些学生教授管管理科员这个教授都是搞理论的老师所以他当然侧重说希望你们可以走理论这条道路但是他招论的时候也没有说一定只有对理论感兴趣的人才能进来说实话我就是最后发现我对理论不感兴趣的人嗯我我跟你跟你说个故事就是就是我当时啊 [00:06:07] 我意识到我不想做理论的一个一个一个事就是啊当时有一个我我开始做科研的时候去了一个网络的一个组然后这个组呢给我丢了个问题他就说说你我说你你他他们觉得你去你适合做你你是摇班的你你会懂理论你懂算法我这有个算法问题你给提高一下性能我当时确实提高性能嘛我这这这把速度提高了多少倍我忘了忘了什么但但这个算法很有意思我当时想哎这是个算法问题啊我有个算法上的突破我就找了那个摇班的一个一个老师我说哎这东西你看有没有意义他看了这个东西之后第一反应是什么呢他说哎你这个有有improvement挺好但是你能不能证明一下在某些条件下这improvement最多也只有这个我说I don't care about 我不想我不关心这个事啊我不关心这个东西的理论上限是什么我关心的是他能不能继续提高那这是我一个当时意识到这件事情就是做理论的那做理论其实更侧重的是你对这个问题理解到你能不能深入 [00:07:07] 就你的深度能不能深到你能说出他到底有没有哪些事情不可能发生的这impossibility 他有些事情不可能的就是他给你证一个上限证明一个上限就是这是理论人理论人特别喜欢的我不喜欢这个事我喜欢的突破极限这就是你在摇摆发现了自己不喜欢理论之后转向了后来的网络系统研究的一个原因是吗这是部分原因确实我当时只是觉得理论可能不适合我但是为什么做网络这完全是个机缘巧合我做网络是其实从大一大二就开始做了当时是系里面还不知道这个医院里面说每个学生可以分一笔钱如果他可以找到导师的话找到一个科研导师我就给你分笔钱就给这个老师去带你然后当时几个就我几个室友其实我们说就行我们去找个老师然后就找哪个老师不知道就是没人认识然后就把计算机系的所有老师 [00:08:08] 按字幕讯把系主页上的老师名字一个个列下去一个个打电话我记得当时打了前两个人都不接或者人都在外面出差不知道他干啥但是第三个老师就接电话了最后刘斌老师刘斌老师他虽然也在出差但是他很热情的把我们就介绍给他一个本科生不他一个博士生然后一个博士生就带我们做那个博士生最后带了带我们做了三年人家叫唐义就是他这个非常非常热情的博士生虽然虽然他自己科研可能比较struggle 但是就没有做的做做就就就但是但但但他这人非常非常热情把我们从近实验室找课题然后带我们写读论文写论文这这都都都都帮了非常非常多的忙刘老师呢本身也是个非常纯粹的人他这个纯粹做做研究有一个人所以我觉得我非常非常非常开心一点就就就在清华的时候啊我虽然没有就主动要去找到说我到底喜欢做什么方向但是我去了这个实验室 [00:09:08] 至少让我觉得哎科研真的很有意思因为就就老师不会不会说说你一定要写论文你一定要干什么事情就大家就非常非常就挺放松的然后对大家做这写paper都很鼓励但是没有说说你一定要逼着你得多写paper 这是一个我觉得是非常非常开心的一件事情我现在想想这当天在清华本科生混在一群博士生里面做科研这是很开心的过程这个和有些清华同学的经历完全不太一样有些清华同学身边的不少清华同学都在说他们过去在清华的日子就是卷特奖然后去卷分数然后但听你的话里话外的就感觉那个时候是一个开开心心的摇巴的一个本科生在到处决志都可以哎这这这这有个我觉得这是有原因的啊啊啊并不是我我活的世界跟别人不一样啊是因为我心态可能跟别人不一样我是个呃我是个喜欢做自己喜欢做的事情啊 [00:10:09] 然后嗯并不并不想去卷大家都都关心那种东西的人嗯我觉得我有我一直有一个想法就是你说他就在在在在大家同一圈子的人其实大家都聪明人嗯大家也都是比较和就比这兴趣都是比较正常的对吧你如果你如果这这四年都想打游戏那那行的那那这个可能跟跟跟这个跟你的人生目标可能可能真的有些矛盾但是嗯如果如果是正常的就是进清华或者进去好学校的这些这些这本科生其实他们兴趣点都是挺都都好的兴趣点只要你把你的啊你把你的热情你把你的精力全花在你自己想做一件事情上虽然你不能做到特奖虽然你不能做到GPA第一名虽然你不一定能能能能能在大众都觉得呃就公共的那个那个标准上面做到第一但是你也不会做的太差就就像像我我永远是就中游 [00:11:09] 就是在腰帮也是中游在在当时在上中数学班也是中游但是你那个中游是在最好滑稽里边中游对吧对我觉得我觉得我觉得这点呢确实确实我可能说点偏颇就是我觉得在你在你在某一个层次这些好学生之间就大家兴趣的点到差不多你要去跟大家卷大家都关心的那个事呢那就太累了特奖你要去卷特奖你也得有入场券的你也得到达某个程度之后才能去卷卷这个东西不是每个人都能卷这种券的我我我更希望去和自己卷我自己喜欢做的事所以说当时你是没有去参与特奖的一些没没我连特奖那个那个评的那种那种那种那种会都不会去在下面当观众我都觉得浪费时间把这个播出去进程觉得清华特奖当观众浪费时间那个后来的话你就通过这一次的一些网络系统的研究进一步的就是去读PHD对吧对读PHD的时候为啥没有选AI [00:12:11] 这个问题就跟你现在问一个PHD同学为啥你读PHD的时候不选计算机不不不选计算机网络一样这当年AI都不是个东西你怎么不是个东西呢你知道我记得我记得很清楚我读PHD我读本科最后一年我还去过一次一个NLP的组当时NLP的这NLP还不是很火的东西其实当时我还记得那个有一个有一个博士生还是博给的他当时还还还跟我这这组会上面跟大家说哎我听到最近有个东西特别火这个这个这个东西肯定会变成未来因为我特性这个东西这个东西要深度学习 10年的时候 10年的时候OK 对对就是这当的那个时候这AI还没有起来的时候其实那个时候还AI还没有起来那个时候还属于叫计算机啊在美国这边是就08年金融危机之后嘛啊然后08年之前都是都是网络啊然后啊网络还是属于就是大家觉得计算机里面 [00:13:15] 比较火的方向之一啊当然大家都看得出计算机网络然后这个这个东西在英特网的这个这个最火的时候就零年左右就2000年左右之后嘛那个是最火的时候之后过了10年左右这个东西已经不是那么火了但是下一个火的东西还没看到大家都没看到就就你如果记得就10年那个时候就就这种状态就是大家还在等下一个下火的东西是不是出来当然AI也不是那个时候就直接出来那个时候我记得10年到15年的时候是大数据和和云计算然后呃大概到1617年的时候在在在开始AI有那种啊视觉啊那种有音乐快出来所以你如果问我11年的时候为啥不选AI 我就我都不知道AI为什么会那么火不过因为我高考比较晚所以说那个时候应该在读初中和高中完全不知道这个世界上发生了什么对我想一下啊那个时候2012年的时候 [00:14:16] Alex Snyder才出来但甚至说那时候出来之后很长一段时间大家还是不太认可AI和深度学习嗯不认可就是大家觉得这是这东西会火或者说做AI的人已经意识到深度学习是像我说了我那个呃就当时那个那个博士生在在在在我觉得孙茂松老师做的一个博士生然后呃就他他出去开会然后回来跟我跟我说这新闻一样说就是深度学习这个东西以后是未来我们得做然后然后然后然后我记得大家什么是深度学习他都不知道那个时候都是都是SBM啊什么 pattern matching这种这种这种东西的时候对大家都是从那个SBM还有linear regression 这些东西入门的机器学习对吧没有深度学习那个概念对后来的话你就去了CMU 对怎么选择了张辉作导师怎么选择了网络系统这条船嗯首先网络系统这是个嗯比较呃像说我我说实话我在我在那个那个那个清华的组里面做网络系统做的挺爽的我就想继续做网络系统了但是啊我当时在清华做的 [00:15:19] 虽然那个组让我让我感觉氛围非常好但是因为总做了做了网络安全网络对网络安全上的东西然后我我就特意不喜欢安全因为我觉得安全啊隐私啊这种这种这种这种东西就这也是个也是个不让人做做什么事的东西就他禁止你做什么他禁止你你说你说你一定要严谨的证明你中一定安全这我不喜欢这种严谨的东西我我我我喜欢图和限制哈哈哈所以所以我当时升pg的时候呢说实话多数给我发offer的地方啊都是做安全的老师因为他至少他他还看哎你以前做过安全你肯定以后这样去算了没他们都没意识到我不想再做安全了嗯所以我当时cmo录取cmo录取是个是committed录取的所以并没有指定说一定要是哪个老师当时我去cmo啊啊叫啊就他们的就就所谓博士生有个一开始参观日这个东西嗯就是收了的博士生然后去去那参观一下 [00:16:20] 当时我呃cmo做网络的几个老师我都聊了啊但是其实其实我记得当时有有有些学长都介意我去聊一下张辉老师张辉老师那个时候其实在开公司他在硅谷开公司2011年就开始在硅谷开公司他从他们公司从04年就开始开了很早所以哎我不知道04还是2000年初就开始开了啊所以他那时候呢我我其实不知道后来我才知道他其实那个时候准备回4年没有继续当老师了所以我跟他联系了他他说哎你快你快过来他给我买了张机票到加州来见了他一次我对我我这件事情让我印象最深刻的是张老师这整个过程没有说太多他觉得我应该做做什么或者他觉得他喜欢做什么啊他他让他让我在那个会议室里面在板上跟他讲了一通我想做什么我当时我当时非常激动我说我想做这个我想做这个我想做那个啊张老师听了听了半天之后呢当然他我我猜了心里在晓着这是什么东西就做不了但是但他让我讲的这个这个过程是因为他觉得 [00:17:23] 我就听你讲才能知道你想做什么或者你你喜欢什么样的东西我觉得这点他还看的挺准的我觉得他之后一直在跟我说的就他做的他虽然他有他也想做的方向但具体这个方向里面怎么做啊我觉得他非常的硬材实践我跟他说了半天他至少他他他可能不喜欢我做的东西但是他至少知道我这人喜欢什么这点我觉得是我我就一直跟张老师做的非常让我让我让我非常钦佩的一点就是他是他可以看得出来这个人喜欢做什么然后他会把一把一件事情按照这个人喜欢做这个说的这个方向然后给这个学生来做我觉得这点这个能力是挺独特的从过去你的那段经历能看出来本课时候你跟了一个很支持你的老师 PSD也跟了一个你很支持的老师所以说对于一个想读博士同学来说这一点是不是非常的关键你有什么其他的建议吗首先这两个老师的这个这个好的这个优点还真不一样 [00:18:24] 刘斌老师就以前清华那个刘斌老师他是给学生非常多的自由然后他真的非常纯粹所以你跟他谈谈研究的他会非常开心你跟他说的越多他越开心我觉得这在清华的老师里面并不是那么常见的事情说实话嗯在CMU这边张辉老师呢张辉老师是个这个非常阴才视觉的人说实话他可能在很多人看起来没有那么汉脏毕竟他他这个这个这个层次也在这了是吧但是他非常能阴才视觉他知道你喜欢什么他他他有一种可以让你嗯让你做一件事情时候觉得哎你就是这这个事就是你特别喜欢做的事情哎这somehow这可能张老师不知道但是我我我真喜欢这件事情但是你回头想哎张老师是不是一开始让我做这个就是因为让我喜欢这个事是吧嗯我觉得这个呢确实这两种都是非常符合就对学生非常好的那就是一种呢是把他的热心给你另外一种呢他会让你自己产生你的热情 [00:19:25] 那但是这个大叔你说你说我如果我如果说这个我抽两次彩票都抽中然后你问我说怎么抽彩票抽的好我这真的很难说对因为我也是读过PGD 所以说这种一直能够碰到好的导师并不常见其实说句实在话对不对如果说真有希望读PG的同学的话优先还是要考虑这一点努力朝这个方向去找导师对吧对对对对那么其实在CMU和张辉合作期间读了你的论文之后发现你还和另一个如今知名的业界大牛 Ean Stoker也有很多的合作他好像也是张辉老师的学生算是你的师兄和他之间的合作你觉得最大的一些收获呀或者一些经验是什么对一样是张老师最早的学最早期的可能一两个学生之一然后我最后是我是张老师最后一个学生因为因为我毕业之后 [00:20:25] 我突然让张老师在我毕业之后他就走了从CMU走了一个开门技术一个关门技术对对对所以这确实很巧然后一样呢一样其实就他非常新年他就我读博的时候他已经是博克力正教授了所以一样跟张老师和我做research 这过程中其实一样像是一个类似的角色所以他做他他有很多学生我我只不过是跟他合作的就集密合作学生之一但他有个能力我觉得这点这点是没有多少老师真的能做到的就是他可以有很多个项目但是呢他的这些项目之间他有一个非常清晰的脉络说这些项目之间互相是什么关系然后同时呢他的每个项目上都能想得清楚这个项目的重点是什么而且他每次都是盯着这个重点跑就跟结果你说这个啊这就我觉得这是做做老师一个一个一个一个一个必须得做到的事情 [00:21:26] 就是说学生的可能是你看在个大草坪上学生可能在在草坪上就东走西走是吧就在explore 那老师呢会会一直跟你说那棵树你得往那棵树跑学生呢可能永远是盯着地下的这个草来看就是说我我我哪哪哪哪有意思我就我往哪走但是他也知道那棵树很重要但他头抬不起来一样有有一种方法就是他真的可以每次让你头抬就是看那棵树在哪这点是啊当然当然当然你也可以说他必须得管那么多项目所以所以他没法记住每个每个学生在哪他他他他只能记住那些数处在哪是吧那些目标在哪但是嗯他确实这点是做的非常非常强就是他可以啊他可以把这些项目这些脉络都理得非常清楚然后告诉每个学生说你你得往这方你得往就是你的目标在哪你的目标在哪那你后来学到了这种能力没有好问题嗯我还没有这个这个这个运气可以带那么多学生哈哈哈哈所以我不需要这个能力暂时当然当然当我这开玩笑的时候这这确实带学生呢 [00:22:27] 重点还是很难很难说呃一个学生这样说吧就就就就就当老师跟跟做学生有很大的本质的区别就是当老师你不能是那个解决问题的人你如果是那个解决问题的人你就不是老师了对吧但是你是个创造问题的人或者说你是告诉别人这个问题为什么重要的人嗯所以所以我觉得这一样这个能力是不是说是独特但是他这点上做的特别好不是对不是所有老师都就不是老师没有而是他这点做的特别好嗯就是老师需要扮演他应该有的角色在这其中的话应有他特别独到的地方对吧对那这点这点做的特别厉害对那么作为一个和他合作比较亲密的人吗其实大家都知道一样无论从过去的那个嗯这个data时代就有那种嗯类似于spark呀类似于那个messus那种调度平台对到如今的那个大模型时代有vrm sglawn这样的他的学生创造的各种各样的很强大的开源系统 [00:23:27] 开源系统以及对应的公司你觉得能够帮助他一直这样在每个时代都能够跑出一些成功的开源项目和成功的公司的核心原因是啥嗯我跟就呃我们公司和之前的开源项目其实一样也参与了不少嗯一样也是我们公司advisor 一样呢其实看就他有一个他有感觉就他这个人是但当然我也不是他我也不能乱说哈但是我我跟他接触了那么多年我觉得他是一个呃有vision的人他不是driven by就就不是说这学生想做什么他就做什么有有有些老师是跟着学生来的有些老师那是他他是有vision 他说他他他会觉得哎接下去10年或者接下去5年吧最重要的事情是什么他会他会不停的想这个问题等到他想清楚这个事之后他会把之前所有东西全给停掉这个全心全力就把把所有所有的这个精力全放在他认为接下去5年会重要的事情 [00:24:31] 这个这个能力不是个呃就这种这种魄力不是每个人都有的很多很多老师做到啊做到真的这个方这个领域发不出paper了我再换换我再换我再换方向啊他不是这样的人他你记得呃我不知道你就是知道他当时做做网络做做这种做做routing router 里面这种这路由器里面就这种包的这种QoS 这个质量分析这个东西他说不做就不做了就就是开始做P2P了 P2P在在研究最高潮的时候说说不做就不做就去做做big data了那big data做做的最最高潮的时候说不做就不做就可以开始做ai serving了所以这他这个他这个他这个他他不看这个这段领域是不是火他觉得是接下去5年什么东西最重要他就做这个哎呀这个这种放弃的能力好强大呀上一期我们采访了一个嘉宾也一直在跟大家分享的最重要的一点人生启示就是要多放弃对还有更多的获得啊突然在这地方找到了一些共鸣还有一点刚才你说的就是他能够接下来全神贯注的做好一件事情 [00:25:34] 我之前也听到了很多人分享就是那种人最强的能力就是keep the mainstream the mainstream 所以反正就是看到牛逼的人身上都有一些共鸣所以说之后的话在CMEU你读了若干年的博士然后当时的话你研究的方向因为大多数你的论文我都读过就是视频网络视频网络视频你知道做主播做到这种分上是很不容易的感谢感谢就是视频网络分析对吧就是有视频分析啊或者说关于视频的网络流媒体传输的一些分析能不能用最简单通俗的一点跟大家解释一下你做的研究以及它和大家生活中有如何息息相关的地方大家现在在手机上看视频啊短视频长视频直播录播这这电影或者或者电视剧这些东西在2010年之前都是很难这这其实是不常见的 [00:26:35] 08年的时候北京奥运会在网络上直播这已经是其实是集多家公司啊专门搭了一套专门为了北京奥运会做直播一套系统就当时这做视频直播啊或这个网络上这个所谓视频流传传传播这种这种东西技术非常不成熟的也也没有太大市场像YouTube当时出来的时候啊确实非常火但是也就只有YouTube一家那现在呢看一下这个事非常非常非常的这个自然但是其实拐点处处处在啊出现在2010年左右 2010年的时候当时啊其实是是很多媒体的就就这个这个就网络视频啊的这种这种啊传播上像像Netflix和 Hulu HBO BBC这些当然当然还有YouTube就是这些公司他都突然意识到说我有视频我可以直接传给用户因为在至少北美的这个宽带用户数量一下变得特别多 [00:27:38] 所以这些公司都有这个这个这个这个特别强大的动力要要把这个这内容以啊网络的方式传给大家现在看起来是非常非常直接的事情但当年这是这是非常非常非常啊非常革命性的事情就跟现在今天AI一样就当时每个媒体公司都需要一个video streaming strategy 就跟现在每个公司都有AI strategy一样对吧当时是每个公司都得有个就流媒体的这个这个这个策略就必须得得做一套这样东西出来但是但是怎么做呢是非常难难就这这这事非常难因为从来没有过一套专门为了流媒体做的系统大家以前只做只用网页对吧网页是就是所谓http协议 http是为了做网页而产生的大家以前都不认为http可以用来做video streaming 都可以用来传输传输视频有意思的事情是什么呢是当这些公司突然意识到他们必须得上码视频产品的时候他只能用http [00:28:38] 因为只有http是所有所有网络运营商都支持的协议所以当时是一个一个拐点就是就是大家突然意识到哎我们必须得做然后并且http这种这种这种协议啊在高带宽的用户上还真跑得起来这件事就跑通了突然跑通了之后所有公司都在野蛮生长的时候我要做自己的视频产品然后用这网的网页的这个这个格式来来传输视频这件事情啊就在10年左右发生然后就大家突然意识到这件事可以做那为什么我我那时候开始做做做做流媒体呢就是因为那个时候啊因为工业界开始野蛮生长出来这些所有的视频传输的格式和视频传输协议没有研究人员就想过这些协议会对网络有多大的影响如何通过啊如何有有有这种有所谓有原则的方法有有有有有好的这个有啊这种抽象抽象更好或者算法上更好的方法去优化这一类大野蛮生长出来的这个系统 [00:29:41] 我当时正好去CML读博的时候就那个是正好是啊啊张辉老师这公司也在开始做这套这个流媒体系统因为他们也是做网络视频传输的所以他们是先看到这个需求然后说啊就张老师就就就跟我说你看这个咱公司没人真的可以可以花时间做这种这种研究那那这这大家都都工程师是吧但是我们看到这个问题真的呃很有意思啊这是个新的产品这是个新的infra 这是个大家反正不不管怎么样都得再做的事情对吧但是没有人去想过他到底应该怎么做他到底怎么样做可以可以sustainable是吧可以可以更可持续大家也没有想过以后下一代如果要更新的话应该长成什么样是吧那站在用户角度是不是就是要保证这些无论是Netflix呀HBO啊BBC啊这些公司他们提供这些就是视频播放呀视频流媒体的服务让用户看起来更爽更没有问题 [00:30:42] 嗯就是包括我说的稍微记住点哈就就包括这个视频得非常流畅嗯这个分辨度度得非常高啊然后呃大家大家当然可能会觉得这这只要带宽越高就够但是其实视频传输是个非常非常复杂的套系统它是从服务器到边界码啊然后到传输系统到这个网络系统再到用户的这个手机或者电脑上的这个这个这个网页啊这嵌入这些这些东西都得做非常好这这这这视频传输是个非常大的工程做不好的话用户就沿沿看卡视频任何一款出了问题都会出问题嗯用户都感觉得到那你这其中你觉得你做的最满意然后影影响力最大的工作是什么嗯很有意思呃我觉得我我有我有两个是我我特别嗯这这印象特别深刻的项目第一个项目是我第一个这这这这一个呢是我的第一个项目第一个项目是当时呃没有人知道这个问题长什么样的时候 [00:31:44] 没有人知道这个呃就就就就就就每个公司都都自己找了一套这套系统出来你像啊 Apple有一套自己的啊你亚马逊有一套自己的谷歌有一套自己的每个人都有他自己的系统但是呢没有人知道这些系统到底是长什么样的就就有没有什么共性有没有什么公有的问题对吧嗯我当时多博弈的时候就我我记得到熬夜了好几个礼拜就在那就就在那测这些这这些这些视频的公司的到底他这个我就看这个这个网络的包啊这个看看看看这个包里面到底放的是什么内容他他这个协议到底是怎么做的这个这reverse 就就就就反向工程去看他这个这个这个协议到底怎么做的这件事情我印象特别深刻因为因为当时我做的特别带劲因为我我感觉是我有可能是全世界第一个知道大家现在公共碰到的公有碰到的问题是什么大家都都在面对什么样的挑战这件事情是让我印象挺深刻虽然虽然最后那个论文认识这这论文也不错也就得了个奖 [00:32:44] 其实啊但我觉得那个过程啊去啊去作为世界上第一个看这个问题的人这让我觉得印象非常深刻的嗯第二个另外一篇论文呢是啊我们当时和和一样 Stoica和和张辉老师还有vs 那我另外一个导师一起做的就做什么呢说如果就是视频突然被所有人都看到了这是好事这是一个这是一个让让所有人都可以看到视频这这肯定是好事但是这些数据对吧对吧这传给每个人视频这这这这这这除了让大家看到视频还还能有别的作用对吧你可以想象每个每一次啊你在看视频其实你在做什么不仅仅把视频传给你这个视频的质量也代表了从你这个电脑或者手机到服务器端之间这条网络连接的质量对吧也是如果是从视频把全世界的视频播放放在同一个维度来看的话 [00:33:48] 其实所有这些播放之间同时的在测量网络啊但同时的在测量这个网络每一块世界每个各个角落它网络条件是怎么样的对吧所以我们当时有一个就就就就就就就有个想法说你看这么多视频流这么多视频啊的质量的这个这个这个质量的监测结果能不能把它统一起来来告诉我们这个世界上网络的条件到底长什么样哪里出了问题哪里变棒了哪里需要更多带宽是吧这是一个这个这个big data问题这是个大数据问题啊有点又想大数据又想云嗯对对对所以所以这呢是这这也是为啥一样啊当时在做大数据的时候也想做这个就一起做这个项目就就我们当时是第一个以大数据的方法来啊来优化一个网络的呃网络的应用啊视频呢只不过是应用之一是因为视频播放量太大了对吧所以所以视频是个是个好的好的切入点 [00:34:48] 但是这个呃背后的这个想法非常简单就是第一个大数据来做啊英特网这个级别的这种应用优化啊当时这篇paper也是啊这个非常曲折啊呃这个投了我觉得投了第五次才中的这个这个这个论文投了第五次才中啊啊之前一直悲剧悲剧悲剧这这个这确实是个给我个给我印象是你作为做第一篇论文确实有很大的这个哈哈哈哈做你是第一个吃旁游的人就会被夹到就是当你太有威震做一个东西太早的时候有时候也很可能变成先烈对吧不是先驱对吧啊我跟你说一个这个有意思是这个这个这个我记得啊当时张老师在啊不是我那一节就他之后就就就我进CMU之后他有一次给新生讲讲做怎么做研究这这这这CMU有个很有意思的这个这个这个传统像每个老就就就新新的phd进去之后 [00:35:49] 每个老师或者老师可以sign up 但我记得很多老师就每个老师上去讲15分钟就跟新生讲15分钟你可以讲你自己的研究你也可以讲怎么做research 你也可以讲就就问问大家想做什么对吧嗯让老师上去上去当时让一个学生在板上画了三条狗嗯这三只狗为什么呢那他说你画你画三只一模一样的狗想象一下在板上画了三只一模一样的狗很抽象的狗啊简单简单画一画那一个一个美国学生就画了三只狗然后他问大家说这三只狗有什么区别那他就说那这这这这这这这狗尾巴长一点那个那个就没画好这这三只狗不是一模一样的但他他他他他他他后来说这三只狗区别是只有第一只狗是第一只狗嗯第一只狗你前面看到是是是是个骨头也是好事你看到前面是个坑你掉下去了也是好事也是好事也值了那后面两只狗呢 [00:36:50] 后面两只狗跟着好人就follow down 这后的followers啊就他他就是你需要你要做最好的research 就做第一条狗呃但是第一条狗掉了坑里另外两条狗看到他掉了坑里绕开走了那不没滋滋吗我就说嘛这如果如果要做最好的研究你就要就就就要就要就要有这个单这个风险啊对他就是可能会出现这种掉坑里对但是也可能出现第一个吃到骨头对但是啊我觉得好的好的研究好的好的研究你觉得这好的研究是要带一点风险的如果我我我我说实话我觉得啊嗯其实计算机里面科研呢真的很难出现掉坑里爬不出来的状况只要是你第一个做了总有总总能做到好的东西哦这个东西好像含义比较深刻啊不知道的各位观众听到之后会有什么自己的想法对那我们就是还是回到你的那个研究吧因为之后后来你就变成了大模型的一些 [00:37:50] infra的一些研究对那么在当时做网络视频流媒体的时候其实有很多也有很多很新的概念嗯比如说cdn对对吧对就是内容传输网络cdn或者内容传输网络这个东西其实在在web时代就已经有了就这之前那个网页时代就已经有了嗯它是它是为了网页而产生但是cdn这个东西在在视频传输的时候视频传输火了之后它又火了一把对那个那个时候感觉它特别特别的火我读当时的论文的时候对对对你觉得那个原因主要是因为就是网络是瓶颈对吧嗯这样说吧其实cdn或者是就是内容分发网络它其实是个嗯你说对它的重要性对于视频流来说是是在于它解决了网络作为中间一个呃传输这个组件的这个这个作为这个瓶颈的一个你就把把这个瓶颈给解决了他把视频放的跟user更近跟用户更近那这样就就没有这个中间这个瓶颈 [00:38:51] 这个中间这个瓶颈但是我觉得最重要的一点是就让我我我我记得啊就如果让我回过头来看为什么cdn这个东西在web时代很重要在流媒体时代也很重要在流媒体时代也很重要甚至现在也有它的影子甚至现在也有它的影子是因为任何一个应用只要它的规模大到呃一定的所有人类一定比例都会在用这这这个用的够够够频繁用的人足够的多那就必须会它必定会存在一种啊需要需要一个一个数据的层一个数据的一层然后让数据的分发分享和分析变得更有效这个这这你永远会碰到这个问题啊如果是web的时候那那就是cdn video的时候呢其实cdn他要他转变了他的这个这个思路他他他他他可以他把啊他把这个问题 [00:39:52] 有有有有种新的方法解决了呃大数据的时候是吧他是啊他spark 就是hadoop data file system 这是这是是是是是大数据时代的这个数据层所以每个时代都有这样的东西 AI时代呢也会有这样的东西对所以说我刚才想问这个问题的原因就是在于AI时代的话最特殊的一种数据现在来看的话就是cdcatch 当transformer这个架构火了嗯gbt跑通了嗯各家各户突然发现哎 cdcatch怎么这么大对吧所以说就是你们做cdcatch的一些原因是不是也是和你之前的一些背景啊以及通过过去的一些周期预测到了接下来发生这些事情嗯这个关系太大了就是就是想听这个关系首先啊这个呃呃我们我们确实做了个预测但这个预测呢是个这也是个预测可以把它翻网上然后看看以后是不是对对吧但这个预测是什么呢是呃 cdcatch或者说类似cdcatch这种模型自己生成的内部的啊 [00:40:55] 它这个内部的记忆会成为比啊人可以看懂的数据更重要的数据类型你说的记忆就是cdcatch 就是cdcatch的对cdcatch cdcatch是transformer记忆啊 transformer这种这种架构啊是现在最最火的吗是现在最通用的likely 也有可能是以后最通用的因为毕竟懂transformer的人以后只懂transformer是吧这个这是个就是工业界是个惯性就是大家现在火的啊架构以后呢likely很有可能也会火如果是transformer继续火下去那cdcatch就是模型自己的记忆然后我们的我们的预测就是这种记忆模型的记忆会变成最重要的数据因为什么呢因为所有人都在有足够多的比例的人类在以非常高的频率和这些transformer交互回头这些transformer它生成的内部的记忆就是最重要的数据过去的时候在你那个时代 [00:41:55] 大家把视频放到不同的数据中心放到不同的那种cd网络里边然后变成大家共同可以看的视频这个时代说不定 cdcatch也跟你所想要的一样对吧每个人都有自己和AI交互过程当中产生庞大的cdcatch 对然后每次跟这个AI继续交互的时候它可能也是需要那么有一层类似于cdn一样的一个数据层帮助用户更快更高效去拿到这种你比如说你刚刚说的这个这让我想到一个比喻 cdcatch可能就是你可以想象把cdcatch想象成给大模型看的视频哦你说人为啥看视频精彩刺激对啊是精彩刺激但你想如果我把一本小说让你去读 versus把这个小说拍成个电影让你去看你觉得哪个更精彩刺激肯定是电影电影是吧而且哪个看了更有效率 [00:42:56] 可能电影书书的效率更高对那你这个trait off 你说我如果看太快那就不精彩了你要把书仔细看和把这个电影仔细看那肯定电影更高效更有效对两个小时看完嘛对啊那为啥电影会给人更高的更高效的刺激呢是因为电影是人能更能接受的形式他把文字的这种线性的东西变成了三维的直接呈现在你眼前你直接可以理解的东西其实kvcache 就像是给大模型看的视频你可以这样一下是吧当然这个比喻没有那么恰当毕竟kvcache不是 kvcache是模型自己生成的视频不是人自己生成的是吧不是人脑自己生成但是kvcache是一种让模型看了之后他立刻就可以知道这个这里面内容是什么他立刻就可以理解这个kvcache背后代表的意义因为这是模型自己生成的东西 [00:43:56] 同时呢视频跟kvcache 其实都是三维张亮 3D tensors 所以他在很多角度上其实很像是给大模型看的视频你可以这样想只有大模型才能看得懂的视频 kvcache人是看不懂的所以说你们是在管理和修改大模型的记忆之后的话我们可以再谈到这个lmcache 这个创业项目的时候再详细的展开嗯咱们现在就接着聊后面的一些经历吧嗯读完prd之后你应该就是先去了microsoft research 嗯再去芝加哥大学做教授对这是怎么考虑的呢嗯这是个常规操作说实话在北美phd毕业去当教职前都会都会都会就是所谓叫gap一年就是你去休息一年就不叫休息一年其实这一年干事儿了但是呢说实话没有这一年人真的太累了这个phd刚读完 [00:44:56] 你知道拿到教职的人都是phd的时候都把自己当成功然后嗯然后你如果去当教授那那那立刻就开始这个就有这个tenure clock 这这你要你是个嗯中生教职这个评选就就五年之后就要就要做了所以你就开始开始又又又开始有个deadline 对吧嗯中间一般休息一年是个比较比较常规的操作这是很多人都做了至于为什么去microsoft呢是因为我是希望在那一年找到一个自己新的方向嗯当然这个新的方向呢呃最好不要是跟以前做的东西差太远那我当时是觉得像我phd的时候做大数据相当于是ai for networking 这ai 把ai用在网络系统或者网络应用里面视频传输嘛对吧但是我一直觉得嗯这系统为ai做的系统 system for ai 也非常有意思但是呢我一直不想做啊训练系统 [00:45:57] 因为我我其实很早就就觉得训练系统早晚不是不是重点因为你训练一次你之后就会用无数很长很长时间你绝大多数时间都不是在训练里面你绝大多数时间就一个模型的绝大多数 life cycle 在这个生命周期都都都都花在推理上面都花在给人用上面你如果真的应用场景变多了之后推理永远才是保重带嗯所以我当时想是这当时 ai 这个真的推理火了就是视频分析 video analytics 就是computer vision 然后这视觉这啊计算机视觉是个当时唯一有大规模因为现在看起来就是小规模了但当当年是大规模应用推理的一个一个方向所以我当时去微软呢也是因为当时有个组在微软做就是想开始做这个视频分析分析系统嗯然后啊我我其实去了芝加哥大学之后前几年也做的是这个方向 [00:46:57] 因为看到你过去其实在pd期间在工业界做了至少有三次嗯那么你觉得在工业界的这些经历对你比如说你读pd呀嗯找教职呀做研究呀有什么帮助呢哇呃说实话这个这个事可能呃很多很多学生可能呃我我接下去说的话可能对对对对不少学生可能可能可能可能这个冲击有点大哈哈我做了三次呃就我在我在当教授前有四次这工业界经历啊其中三次呢是微软研究院一次呢是在公司里面做做工程做产品产品我在公司里面做产品那一次是我印象最深刻然后然后对我研究领域研究的帮助最大的一次那三次在微软研究院其实最后都写paper了啊或者至少两次肯定写写了paper并且中了啊嗯但是我觉得在工业界做的在工业界直接去写产品代码去写做工程的那一次 [00:47:58] 对我研究的帮助是最大的嗯原因是什么呢我当时是呃第一次做intern是在呃也是在张辉老师公司这他们当时在commiba做写写写视频写写写写写播放器其实video player你看这个就播放器这个非常非常工程非常非常啊就是底层其实其实工程师都不想干的事对我研究员根本看不到什么播放器相关的论文对没人知道这个播放器应该怎么写我当时我记得我当时在commiba写的那个那个那个那个那个那个播放器是个是个adobe的播放器呃呃那个编程语言都没人知道这adobe自己写了编程语言啊然后然后后来后来又做了个就就就就hls 就啊就苹果那个那写写的那种东西c写的就当时当时张老师让让我去做这个intern的时候他就跟我说你你就别想research 别想research这个这个这个这个这个这个这个是实习期间你就不要想任何research的事你就你就做产品对吧 [00:48:58] 对吧但是我后来我后来回头想那一次intern是让我呃收获最大的一次intern 因为什么呢因为我经过那次intern 我是全全这个做所有做呃做网络视频传说的所有phd 包括老师里面唯一个知道video player里面到底在发生什么事到底什么事情是video player这个视频播放器可以支持的优化哪些优化他就支持的了哪些优化他支持不了哪些优化做了是有效果哪些优化做了不可能有效果哪些优化是或者他他有哪些这个工程上的问题是暂时解决不了的但是过两年他就可以解决哪些问题是啊这些不同的video player这些不同场上的video player工有的问题这这这这这件事情是只有你真的人钻到intern 你人进到这intern的染缸里面你才能看得到的问题所以我我我的我的这个我跟我学生很多时候说说就是你如果去industry做intern [00:50:02] 你如果去industry去工业去做一些这个实习生啊或者说去就想想搞些经验啊去而且也不带研究的这个这个这个思维去因为你根本不知道什么问题就是你会看到什么样有意思的事情不要带着你你你研究者的这个这个偏见去你就真的去我就是当当工程师去了我就把我自己三个月卖了就当工程师但是你回过头来看这件事情的时候你可以一个研究员的方式来看哎我三个我人走了我想那我我这三个学到了啥我除了会写代码我其实知道internet到底发生什么事情啊这其实是对于研究之后的研究最大的也最大的宝贵财富啊当然我不鼓励学生去去做些跟他自己研究完全没有关系的这个工业界啊但是如果如果是有关系的工业界那就去啊而且是不带着研究员的这个就你要做research 你要写paper的这个这个这个这个这个这个这个这个评件去就直接去做做工程呀你这个观点那马斯克也太喜欢你了 [00:51:03] 对吧马斯克就特别讨厌researcher这个说法我不是说要学生去让当当富太吗对但是你这个视角就很有意思他其实听完你这个说法之后我相信很多的听众会有非一样的感悟我刚才的一瞬间的感觉就是一个好的researcher 要先变成一个好的工程师去在工业界的染缸里边去感受一些东西你说对但但也不对如果你要就我说的意思呢是你去工业界去看到他里面到底在做什么事情你只有你但是你要看到里面到底发生什么事你必须得把你变成他们的一员你必须得混进去你才能看到他里面到底发生了什么事情你得天然看到那些工程师在吵什么事情你才能知道里面到底发生了什么你到底什么事难到底什么事容易学术界里面呢有一个学术界是非常变成非常容易变成这个 [00:52:03] bubble的一个地方他非常容易所以有一种感觉是你说这问题重要我说这问题那个人也说这问题重要那我就觉得这问题重要你可能根本没见过这个问题到底长什么样对吧或者说或者说你就看了别人的论文里面写然后这些论文都在做这个问题那你也去做这个问题那你永远只能跟在别人后面是吧所以我觉得去工业界里面会看到一些什么事呢你可以看到真的在第一线的工程师看到的问题那不是说这些问题一定重要但是如果有重要的问题如果有非常有意思的问题首先这些第一线的工程师都不会写paper的他们根本不care这个事情是吧但是你只有站在那个地方你才能看到这些问题你看到这些问题之后等你暑假这个时期结束了你回去再想想这能不能写论文因为很多时候这种论文写了 [00:53:03] 一年之后这个问题可能就真的很重要对吧你过了一年这个问题说不定就不是第一线的工程师可能很多工程师都碰到的问题了对但是我听完之后感觉你没有在反驳我你是在支持比如说在工业界的时候你一个researcher要变成工程师心态对工程师心态我不是说他要变成好的工程师对然后用这个工程师心态去尽可能的吸收工业界真实发生的问题对你当前单点所解决的问题对在两三年之后甚至在一年之后其他的大公司可能所有的工程师都在解决我可能一开始误解你的意思我以为你说的是要去做要把自己变成个好工程师要把自己这个工程能力训练的很强我觉得这个呢三年三个月一个暑假应该做不了这种事对但你可以也对待心态加入他们对吧你尽量去融入进去你才能看到真正的问题对就是有些同学可能觉得甚至说有些老师哎呀我不要去工业界参与这些真实项目但是其实是这样容易让自己的研究变成空中楼阁 [00:54:06] 对一直在法宝里边对真空中的球形机大家一直在说这样的问题对反正我是我个人也是觉得这个东西非常非常的有道理对我觉得一个计算机的话它应该是一个工程科学对吧你还是要真正的去在工程当中去和这个世界产生一些互动对吧再去抽象一些问题对要么你就直接去做成理论对吧然后的话我们就来到了你的教职生养你觉得从一个PGD转换成一个教授最大的不一样以及遇到了最大的困难是什么最大的不一样是做老师和做博导和做学生一个很大的区别是学生你是解决问题的人博导你是提出问题或者说你诱导别人提出问题的人你不能是解决问题的人你不能是解决问题的人所以这是很多特别好的PhD学生 [00:55:07] 变成博导之后会struggle的问题就是他觉得我是个特别好就我特别能解决问题我是个解决问题的高手但是当你当老师之后你不能是解决问题的那个人你得把自己的这个热情给压下去你不能去帮学生解决问题因为你问题你也提了解决也是你做的那学生做啥这没有任何意义了对吧所以你要把自己变成一个会提出问题或者说是诱导别人提出问题的人这一点是说实话这是挺难的那些好的PhD学生他在PhD训练过程中是不会学这个东西的这其实就跟很多时候工程师被promote成提拔成管理人员之后他反而管不来人了因为他以前没有这个能力我不是说很多PhD学生变成导师之后一定学不了这个能力但这个能力是需要新学的 [00:56:07] 这也是我有时候跟我的特别好的PhD学生就跟我说他想做他想以后去当教授我第一个问题就是你更喜欢解决问题还是更喜欢提出问题如果你更喜欢解决问题你得思考你得三思一下你可能不适合当老师所以说就是要尊重自己的角色那么但是同时的话也带来另一个问题就是你得判断出什么是高价值问题甚至判断出你的学生提出的问题是不是高价值这样说吧问题价值高不高这件事情其实看你怎么说真的就我觉得我就在北美或者做在比如说清华北大也是非常好的学校大家在最好的学校里面当老师其实有一个luxury 有一个别人没有的这个优质什么的就是真的你有机会去改变大家的想法你有机会把一个大家都不觉得重要的事情把它变得重要 [00:57:07] 你有机会改变大家工业企的进程真的就很多老师会觉得我的目标是要培养学生写更多论文拿更多基金然后让学生开始参业是吧这你有很大的学术遗产但是其实说实话我觉得在最好的学校里面当老师的这个这个这个你有这个自由为什么给你这个自由呢就是这个自由是让你去改变大家的想法这件事情是这这是你问我说什么问题什么时候好什么时候不好有时候我觉得这学生提这问题可能确实我第一反应不行但是再想想说不定他真的可以呢说不定我如果跟这个学生真的往这方走下去我们可以改变时间我们可以改变大家对这个对对这个对对这种问题的想法呢我发现好像咱们俩还是没有冲突就是我想说的是呃这个问题重不重要你想说的是这个问题可能在当时不重要 [00:58:08] 但是在未来可能很重要对对对对对对你发现没有这样的话其实就是最终还是殊途同归所以要发现接下来可能很重要的问题对对对对那这个呢什么问题真的是接下来会重要的问题这是个百万美金问题啊这是这个这大家不一定就每个人看法不一样你像这样说吧就有些老师嗯我可能属于这一类就是我们会看历史的这个这个这个这个循环然后就觉得你说说哎呃这件事情重要是因为历史上有过类似的事情他非常重要啊这种呢你需要有一定的这个历史这个这个经验就就你需要啊你需要去去去知道历史上什么事情很重要那这这这这这你其实你想想这个啊如果如果大家有读过phd这种经验大家都会去上过一些phd就是所谓advanced advanced algorithm advanced OS advanced networking advanced database [00:59:08] 这种这种课这种课是什么呢这种课让你去读经典paper 想想看当时你去读博士生的时候那种那种课都让你去读经典的paper 读经典paper 其实不是教你怎么去写经典paper 那些paper写好都已经过迟了读经典paper是告诉你说历史上其实他是上历史课他告诉历史上什么事情重要很多时候大家都觉得这种phd的课其实不用去上什么的我说实话我跟我学学生都说那种课是最最最最好的课就是给你这是真的教你我们这个领域的历史或者别的人领域的历史只是你看到历史上发生过什么重要的事情你才能印象你才能反映说未来有可能会发生什么事情当然这也取决于这老师教的好不好有可能老师就让学生自己去present那些paper去了那就失去这个意义了我上advanced课的时候我教过几次我都是自己准备PPT 我跟学生说历史上发生过这些事情历史上就诱导大家想那未来会发生什么事情你只有这很自然的事情 [01:00:08] 你只会学了历史材料知道未来是什么这是一类发现重要问题的方法另外一类发现重要问题的方法就像我说你可能跟工业界直接合作的非常紧密然后工业界在往前发展的时候你是第一看到那个gradient 你是第一看到那个delta的人是吧去做这个事情这也是一种这也是一种方法至于其他方法我到现在还没有想到什么其他更好的方法所以说听完你这样讲之后我觉得无论是对于PPT来说还是对于大家即使不做研究读科学史是一件很重要的事情对非常非常重要当然你说做科学的人对学科学是非常重要就像做艺术的人学艺术史非常重要是吧学文学的人对学文学史非常重要历史是个非常非常重要的事情所以我一直就跟学生说你看看这些你即使看硅谷历史也可以你看看那些比如PARC 我不知道你说PALOTO 就是research center 就是当时做出第一个做出以太网 [01:01:09] 第一个做出这个graphic UI的那个lab 在硅谷就在硅谷还有Bell Labs 就是这些这些这些历史上的计算机历史上的这些很有名的这些这些这些这些事件这些这些实验室还有就你自己领域的历史我觉得这这都是这其实非常宝贵的财富大家一般都不教大家一般都都都觉得哎这些都是老骨头就是就是现在现在现在没什么用大家一般看这个老论文你知道就是学生一般想的是啥你说我看这个论文就哎哎这idea好像好像20年这个提过的我现在还在做这个idea 就大家一般看老的文那感觉这样但是其实真的advanced的这种这这这我不知道中文的翻译就是这个啊高高阶网络高阶系统高阶操统高阶数据库高阶就是AI 高阶这个算法其实这些课程很多时候都是教你历史课大家没有没有没有真的get到这个为啥读这些paper 呀这个真的是一个很新的观点 [01:02:10] 把这些高阶的那个CS课程全部当成历史课来读那就是历史课啊哎呦这个我之前其实我是真没这样想过但我确实比较喜欢读一些浪潮之巅呀包括硅谷那种类似于那种风云啊甚至说看一些电视剧吧能够大概知道过去发生了硅谷硅谷科学史上发生了一些事情是但是你现在要是仔细想想的话那些东西还真的挺有帮助的嗯那么之后的话就是你变成了一个带着学生去继续深入做视频分析这样一个课题然后甚至到一直到今天你带着学生开始做大模型系统对那在整个过程当中的话因为你自己是清华摇班了嘛一直指招清华摇班的人当学生也不现实那不可能不可能不可能对所以说那你怎么处理这种就是说呃带学生和指导学生这样一件事情说到招生嗯我觉得大家第一想的都是申源我呢觉得申源确实也重要 [01:03:12] 但是呃呃申源也没有那么重要啊我我我觉得首先我招的我招的学生呃我可能比较幸运我招了不少的这个这个名校毕业的这这这这最后做的非常好这都超过预期的学生了呃然后呃他们一开始来跟我做呢我觉得呃一大部分的原因是我做的方向他们可能喜欢但是我觉得就随着时间发展我觉得他们觉得就我这些学生里面呃有就都很有个性很有个性呃有些人工程能力强啊有些人思维能力强啊有些人写paper强有些人有些卷的强有些人这个这个这个这他交流能力强就就每个人的这个特点都不一样呃这是我觉得非常有意思的事情因为每个学生他他我我每次跟跟学生开会我都在想哎如何劝这个学生应该这样做如何跟这个学生说哎你你这这应该这样做啊 [01:04:13] 啊有时候我甚至会会会想是哎这学生老不听我的我是不是应该让他往东走的话我现在跟他说得往西走然后他就自然让我东走了这这这这这确实有时候是是呃就需要需要需要导师花点花点心思在在后面呃但但我觉得最最最最重要的标准不是就招招招学生的时候最最重要的不是这个学生出生怎么样而是这个学生有没有你特别想要的特质你看比如说我啊摇巴不是最重要的这个这个这个这个 feature 我觉得对对老师最最重要的我跟我这个思路更更更最像的人是做就做过啊做过竞赛的学生你像啊像就像我的这这两连创昆太和一华他们以前都是搞竞赛的你觉得一个虽然都都都不是数学竞赛跟我不是一样竞赛他一个是搞化学竞赛一个搞计算机竞赛但是搞竞赛的学生都有一个都有一种我觉得非常跟我跟我非常契合一个一个一个一种特质什么的 [01:05:16] 就是他们的思维不连续并且他们以不连续思维为傲你知道这因为他们都保送了就是竞赛保送竞赛保送有一个前提是你必须得你得你得承担啊没有没有好好学习高考的风险你竞赛如果不成那就真的得去高考不是说他他他们高考我相信他们肯定跑跑得进北大但是他们都是以自己这种跳运性思维就做一些以别人想不到的事为骄傲的事情就是他们是这种能力在学术界里面非常重要有些老师喜欢招一些就听话然后肯干活肯出国的学生可能可能我不太适合这样的学生这个标准也不低呀这个标准并不比去摇班招个学生的比例要高呀对不对 [01:06:16] 好那我们就是后来吧你就从视频转成了大模型这个转变是怎么发生的呢那这个故事可以更有意思了我们从来没想就我们之前从来没做过大模型我以前从来做的都是视频网络最多是一些就AI系统但是从来没有接受过大模型我们接受大模型我接受大模型还是当时我记得二三年的时候二三年初的时候就是chpt刚出来就一个月就两个月的时候当时这个东西在网上炒了铺天盖地你去餐馆里面吃饭边上一个不知道什么人都会在那里说chpt 就那么火的时候就两个月然后所有学生那个时候几乎所有学生都在问他们导师说我能不能做点大模型的东西因为真的太火了我能不能做chpt的东西这东西太火了我自己也有学生来问我这个问题然后我记得当时多数的老师的反应 [01:07:16] 第一反应是什么呢你说这是个buzz word 可能过两天就没了对吧而且就是一个application 你为了一个公司一个特别火的application 去转变你的系统研究方向吗不可能这是就是the hype right 不是一个hype 就是这个就不是个真的这个trent 嗯我我很多同事当时学生问他们的时候他们都这个反应我也是这个反应其实但是我学生不经的问我你就这这搞得他们连连连连这个这个这个1月份我觉得2023年1月份有个一个second deadline 这个deadline 都不想赶了就天天天用意问我这个时候啊想行我就是想想这个东西是不是真的真的有得做一谈这个事还真的是个大事因为我们说实说我们觉得这有可能真的是个拐点 [01:08:16] 区别并不是在于这个应用本身有多好或者这个应用本身有多在AI里面到底有多大区别其实大家都知道这个JGBT它就是Transformer Transformer这个东西已经出了很多年了为啥现在突然去做Transformer呢是因为AI或者XGBT是唯一一个或者当时第一个一个AI产品有让所有人在任何时刻都会去用的潜力所有之前的AI 所有的AI的产品或者技术都完全没有到这个级别以前都是某一个模型串好了某一个特定的场景下然后做某些特定的事情 XGBT是第一个发生这些事情那你想我们做网络系统的网络系统最重要的时间节点是什么 2000年初的时候或者90年底的时候 [01:09:17] 大家第一次意识到所有计算机可以互联起来有应用可以让所有人连起来有应用可以让所有人连起来让每个人都时时刻刻刻都想去上网对吧我们当时就觉得 XGBT也是第一次让AI有这样的Internet moment 就是Internet时刻当时就和学生讨论了那么几次就做出这样的判断了吗我们当时就真的几次我当时跟他们谈了几次我说我觉得真有可能就有时候你有一个就是something clicked 你一它意识到这个applicator如此不同的时候你脑子里面就会想它是不是真的不同是不是真不同然后每次就会想真的跟历史上发生的事情有重合这个当时它就是一个chatbot 比起现在这种能写cool的能做各种各样的agent 差的可太远了但你想当时这个东西它不仅仅是它可能应用选的好就是有可能chatbot [01:10:17] 这是应用选的好但是聊天机器人这个东西其实每个人都需要对吧我记得当时我们出去吃饭这边上一桌不知道什么有可能是卖保险的人都在那说chat bt 我当时就意识到这个真的是第一次AI出圈了不是真的专业的人所有人都想用这个东西 that's the internet moment 这个东西当时我们其实在创业但是就觉得这是一个大的hype 但是现在回过来看的话包括最近采访的一些人无论是你在之前就投入这件事情还是在2023年1月份再投入这件事情都算是早期的early adopter 对都能吃到后面陆续发生的一些红利这个呢我需要这个credit是给这些学生就包括宇航昆太他们他都最早一批逼着我要看这个事的人你这么一说 [01:11:17] 感觉毕业个两三年就觉得自己是个老人了就没有那种学生时代那种一看着新鲜东西就要冲上去那种小时候看着小霸王学习机虽然这么简陋但是还想玩然后当时看着个tilegbt 哎呀这个东西就是能对个话能对我的生产力能对我的日常工作产生什么帮助当时还试了一下github copilot这样一个产品那代码写的一行都不能用基本上就是很很难用很难用大家看到这质量我们当时看到的是这用的广度大家兴趣对我后来就就看到了就是说嗯从之前的那种呃视频的 AI分析就是到那种语音的那种分析那些AI的场景都特别零散然后一个模型一个是就是很不普及嘛就是每个对产品的AI非测值其中的对说多不多说少不少的一部分但是拆了gbt那一瞬间之后好像AI本身就是产品然后每个人都可以用的那种产品对 [01:12:17] 也不是说立刻可以用但是每个人都想用或者每个人都觉得这东西可以有可能可以就像像当时苹果电脑一样苹果电脑刚刚出来的时候这这这其实你想steve jobs over marketing 这这这这这你说你说你说可以做那么多酷的事但是做不了那么多酷的事但是大家一样想买因为因为你你你啊你抓住了大家想象力一旦一件事情抓住大家想象力之后那这件事情就会普及不管怎么样不管怎么样它这个cycle 这个这个这个这个飞轮飞起来了对吧当然当然这个这这这这这这最后把这件事真的真的这个飞轮让它跑起来是是open ai 或者或者一开始的google 对吧但是啊等到你意识到有这个这个这个这个正循环开始出现了大家都想要这个东西了这个时候做infra的人其实就应该意识到那就是下个internet 这个下个big data 下个cloud 下个AI 这个确实是做infra的人的话其实怎么说来着一定要看到足够大规模的事情 [01:13:17] 再去做那种优化能够拿到的那种影响力才是最大的对在戏之末节上去做infra优化其实对吧大家都懂吧能够产生的影响力反正微不足道吧可以说是所以说infra的人要盯准大趋势对在这个为了这个大趋势去做各种各样的地层优化要要看到大趋势就得去学历史又回到了刚才这个那个就是callback了一下所以说infra的人一定要多读科学史至少是计算机的技术史那么接下来的话你们是怎么选定了kvcatch 作为你们的一个研究课题从那之后我就看到你的研究方向你的团队里边所有人全部都在kvcatch 有些学生还是得把这个论文得写完这个就可以当毕业嘛是吧但是确实我们当时想做kvcatch 或者想做大语言模型里面做优化的推理优化的学生我就跟你们做吧做吧没事做吧 [01:14:17] 大不了我们一年不发paper 我反正我反正我那时候还评tinyo前两年了我就是说你没什么你们之前的paper可以写完你们之后就做新的东西我不管你们是不是要发新paper了反正我评不上tinyo无所谓因为这个东西真的是非常重要真的这我当时是跟他们说这如果你们有对大语言模型推理上有好的建议有好的想法我们就讨论我们就讨论因为这东西在我看起来就是下个internet 当然我们为啥做kvcatch 这是个非常为啥是kvcatch呢这些非常现实的一个考虑就是kvcatch是我们就我们是做nar 就网络出生的嘛所以做网络的做网络就需要很大的数据你如果数据量少那根本不需要什么网络挑战是吧那让我们想这个input tokens 这个令牌给你这么多这个输入的文本这这有啥这有啥大的呀是吧然后想说哎第一你先看有没有输入视频 [01:15:18] 但但但当时OpenAI 或者是这种这种大约模型的这个这个这个多模态还没有做得很好那这那那时候根本根本做不了视频输入也也也生成视频也特别特别慢所以当时想视频做不了那做啥呢哎我后来发现哎模型里面这个kvcatch 就是个3D的三维三维照亮就跟这根视频这个3D天色啊啊而且这个东西他他可以复用他可以存他他可以复用他可以他可以传输就模特这两个模型之间可以可以可以分享这个kvcatch 他可以分享他内部的这个这存储这个记忆哎哎那这东西好东西这个这不就撞到我们枪口上了吗然后你们就做了类似于catch阵呀呀呀 catchblind呀 lmcatch这些项目对甚至说还把lmcatch给开源了嗯我说了这个开源并不是一开始的计划我们一开始计划是想想做一个嗯啊我们当时那个叫internet of agent 我们当时想现在就还有还有几个做database [01:16:18] 老师一起在想这个事原来想说这个就搞一个像像skylab 哦不是skylab 哦不是skylab 就那个时候想想想想像amplab一样就是把啊做database 做networking 做AI的解析就要聚一起说我们开一个研究方向说怎么做啊这这大元模型推力的优化嗯我们是做kvcatch 别人可能做kvcatch 就是那个这这这这这context database什么的那后来后来这就我们就就先做什么我们先做kvcatch的压缩因为kvcatch特别大所以你要压缩所以我后来做这个kvcatch啊cash blend 就做啊非前缩复用你要把这个kvcatch在非前缩的地方也给复用起来嗯这些这些东西做完了之后我就开始出了给talk了我说我说你看这工业界你看这个呃kvcatch 你说复用了可以有很大的好处所以你们肯定把它存下来了嘛这个肯定有个kvcatch存储系统是吧这个存储系统里面呢那这个这个系统存在那你要存那么多kvcatch 你得压缩吧是吧 [01:17:18] 因为每个kvcatch太大了然后你这个kvcatch你要更多的复用你需要blending是吧你看我们这个research paper都写好了然后你说那个你看这个呃kvcatch存储系统在哪儿我们要帮你deploy一下你说什么是kvcatch存储系统我没有这个东西这应该说这我知道kvcatch可以复用但是现在kvcatch只存在在gpu里面啊然后然后这些推理引擎把kv 这一个请求结束这个生成完了之后他就把kvcatch丢了这个kvcatch完全从来没存过这个你说的存储系统是啥我说我那个时候才知道这个我们走的太超前了然后当然我们有两种选择一呢放弃吧我们就去做别的工业界没有ready 就给他们这个东西他们用不了或者呢我们就就等继续做等到他们想用我们当时就等不及我当时想你们即使没做既然没做我们就帮你把这套机车给做了我们开源一个项目 [01:18:18] 你们你们就可以用这开源项目去存kvcatch 然后把它存在存一个系统里面然后就可以用的优化了所以当时做做kvcatch 为了可以让工业的用起我们的用起我们的这些这些研究的系统研究的研究的这些这些想法这些这些papers 那最后最后发现其实这个开源项目做成功了之后用的人越来越多了然后我们也就去开公司啊这这这开源项目用的人多了之后大家他反而就觉得哎君臣你们你们你们你们不是那个你不是做做lmcatch 做kvcatch存储哎那些那些那压缩是谁做那个那个那个那这就非前队压非前队复用的那些那些research 哎那你们做不做那个我说我们一开始就是做这个的哈哈哈只会你们用不了这种idea 所有帮你做了一个开源系统所以这是开源系统不是一开始的计划但是但但后来开设想做多了之后大家反而觉得哎你们是不是就一开始为了做这个开源系统 [01:19:19] 像你在诉说这一道的时候是不是又回了当年你刚开始读pd的时候哎看到工业界很多那种视频网站野蛮生长你抽象问题哎到大模型时代搞出kvcatch 以及一系列的压缩呀这样的前队非前队复用这些东西回到工业界一看哎工业界还没有ready 继续在那野蛮生长用各种各样的那种开源大模型这个催一点那个催一点那个推一点到最后整个系统还是零散的野蛮生长没有嗯就是系统化的去往前更做一点是说更经济更高效嗯那种感觉真的这说实话其实呃做这种事情需要很大的勇气其实其实就我我我现在回过头想是呃有点有点呃不知天高地高的感觉这这真的做做这种东西像你做一个开源项目来来来来创造一个开源生态来做一个工业界有可能本身就会做的事情这其实这是一个真的是一个非常需要勇气的事因为因为你相当是以一个学术的学术研究组 [01:20:20] 一个research group去挑战整个工业界因为工业界早晚会做这一套系统等你真的做出来的时候工业界可能就直接抄了或者工业界会会觉得他们做的可以更好嗯当然当然我觉得我们是这件事情呢有可能赌对了有可能是真的赌对了因为工业界等到他们真的想做这套系统的时候已经已经很晚很晚了到那个时候其实lm cache已经做了做的其实功能都已经比较完善了啊所以所以现在很多工业就是直接附用lm cache 或者说是甚至有时候在resell lm cache 嗯然后也有公司就跟我们商业合作去做lm cache 但是我如果回头来说两年前三年前的时候刚刚开始做lm cache这个项目比如说是不是如果我再回去跟三年前的我说或者两年前的我说你们是不是应该做开源开源项目我觉得这是个真的有非常大风险的事情啊我们我们可能当时只是看到成功例子 [01:21:22] 你像spark就是个成功例子 spark相当于真的直接踏着industry出身的 industry多少公司想做spark 类似的项目它是直接踩着他们实体出来了就真的把这些工业界的项目硬生生一个个干掉啊嗯lm cache其实也做了这件事情啊只不过我们当时没有意识到这真的是一个这么大的挑战这之后在今年的GTC大会上其实看到老黄把你们lm cache的logo 在大屏幕上展示了一下当时那一时间的感受是什么哇当当时那一时间我就把手机掏着快点拍了然后然后然后然后然后其实我当当手机那个那个那个那个那个摄像头还比较模糊然后拿衣服给你擦擦擦擦擦行待会我们就把这个视频一会儿行待会我们就把这个照片打在公屏上好吧我不知道还有没有当时我拍了第一批那个比较模糊的照片后来别拍了我直接上他网上有直播我就直接网上直播上监督 [01:22:22] 合理好的是什么原因你觉得你自己必须和学生一起出来创业了甚至把家也搬到了硅谷这是两个问题啊为什么要跟学生一起创业这个问题和搬到硅谷是两把事我觉得和学生创业呢这说实话是有点不得不做的选择因为学生做这个项目的学生其实都快毕业所以如果不创业那这项目就做不下去了同时呢我们也非常清楚意识到这么大一件事要给industry做个这么大infra 然后还得把还希望把research idea 研究出这些论文里面的东西让它源源不断输送到工业界这这件事绝对不是一个开源项目或者或者学界可以做得了事情必须得拉投资必须得开公司必须得让工业界一起参与进来所以开公司是必须得做的事情 [01:23:22] 那至于搬到硅谷这是我觉得被这是个误区说实话我们其实前半年是可以不用不是一定要搬到硅谷来的只不过我们就有一个有个印象说这个开工资肯定得来硅谷所以这是个这不是一定需要做的选择第一个开公司是必须得做的第二个不是一定得做的但是现在来了硅谷这也是一年多了之后你觉得不在硅谷这件事情能推展到今天这个程度吗我只是说前半年不是一定要来硅谷因为前半年我们一共只有不到七八个人而且都是初创团队都是芝加哥大学的学生和我所以前半年还真不用来前半年还真不用来我们是来了太早了但是现在必须得来现在在这个阶段要招到好的人要有好的客户要有对的信息源都必须得在硅谷然后你们就创立了TensorMesh 也就是基于LMcatch 这个KVcatch存储系统打造的一家公司对你们官网的整个的slogan [01:24:23] 其实就一句话就是不要为了模型重复去在相同的内容上计算来交钱也是对给大家详细说一下就是这个公司和这个产品的理念这个理念和或者说我们的vision 我们的这个未来的愿景和这个slogan 还不是一回事说实话这个slogan 这句标语是一个现在大家能听得懂的愿景我们的愿景是更大一件事但是现在大家最能听得懂的事情就是我们的技术能不能帮大家省钱能不能帮大家加速能不能帮大家用更少的资源服务更多的人这就是为啥我们要说说这句话的原因因为KVcash这个技术在现在当前这个阶段它对工业界的优势或者这个好处大家能看得见摸得着的好处就是可以帮大家减少重复的计算 [01:25:23] 帮大家减少GPU上模型重复的计算重复计算如果你可以把它计算结果用KVcash形式存下来那它下次就不需要再重复计算这种东西比如说你让一个模型读了一本书之后去回答一个问题或者读了一个报告之后去回答一个问题但为啥要下次看到这本书的时候再重新读一遍呢那就把它自己以前读过的信息以KVcash的形式就这个模型自己内部记忆的这个文件形式把它存下来这不更好吗对吧这样的话这样的话模型就不会把它以前见过的内容给忘记这是会上我们说 KVcash或者我们公司一个现在大家看得见摸得着的好处是可以帮大家把重复计算给减少给避免重复计算是避免但是KVcash又特别大导致你占的存储又特别大而现在的存储价格又这么高这种价格之间的这种平衡 [01:26:23] 你怎么去抉择呢首先像我说的这个价格存储的价格只是虚高是暂时性的因为毕竟供需需不一样需求不平衡那产能上去了这个价格自然而然会往下降的但是确实你说的对用KVcash 就是你要存更多的KVcash 你要存更多类似KVcash的数据对存储要求就会更高所以才会出现新的这个虚的关系只不过共方把这个供给的这个产能给提高上去之后这个价格是会下来的但是需求往上涨这是绝对会发生的事情因为毕竟有更多的公司公司有更多的产品它的它背后的大元模型生成的KVcash 实在被存下来而且存的会越来越多这是一个非常明显的趋势那么你能不能够带大家去整个走一下用户输入一个他的想要的prompt 到最后比如经过KVcash [01:27:24] 经过GPU 大概的一个流程以及成本以及你们能够帮助到底完成怎样的一个优化通俗易懂打个比方你是个非常聪明的程序员我给你一个程序让你去分析然后告诉你说能不能在这个程序里面加一个新的功能写一些新的code 那你做的第一件事情呢是肯定得先读这个程序模型也是一样他得读这个程序来理解这个程序里面的这个程序的内容人会把这个程序理解成他脑子里面可以记住的这些结构还有一个记忆模型也会有这样的记忆这个记忆呢就是所谓KVcash 它是一坨的这个浮点数很多的这个数字在里面它是一个矩阵三维矩这是非常多数字但是这是模型记忆新的知识的方法这就是所谓新的知识就是他训练过程中没见过的东西 [01:28:27] 这个程序我给你的新的程序就是他没见过的东西那这个时候他在生成所谓你说你要写新的这个功能之前他得先读这个程序然后再读你的问题然后去生成这个结果下一次如果我再需要你去把这个就在这个程序上再加个新的功能再加另外一个功能的话如果你把之前读这个程序的这个记忆给忘了其实现在很多模型都在干这个事他把这个记忆给忘了那下次还得不停的读这个程序所以如果你的大语言模型在处理这个工作的过程中 90%比如说90%的输入都是这个程序其实非常可能90%以上都是这个程序你用户期间的问题很短 90%都是这个程序那如果你把KVCache给记下来我避免的重计算就是90%的计算 [01:29:28] 我相当于把模型重复做90%的计算给把它跳过了模型直接就可以漏的就把他自己的记忆给重新输入回去直接进入他的大脑所以说你们这家公司就一直把KVCache 当成了一个大模型的记忆来作为一个管理对它就是一个大模型的记忆现在呢大家觉得大模型记忆或者把记忆给存下来的好处就是你可以复用这个记忆对吧但是你想想看如果你存下来是记忆除了复用你还能做什么别的吗你还可以去理解一下的记忆里面是什么东西你还可以去理解一下模型到底记住了什么模型到底对哪些token注意力更集中哪些token他觉得更重要甚至你还可以去优化他的记忆可以让他以后行为可以更好他以后得到这个记忆之后可以做更好的生成就是不单单在指示一个就是所谓的KVCache存储公司 [01:30:29] 对甚至能去帮助大家理解大模型本身的工作原理对然后提高这个工作效率对提高这个记忆原理这样一家公司很像确实确实我们现在这是一个愿景这是一个我们长期的vision 但是毕竟公司是要做生意的对咱们先解决大家燃眉至极燃眉至极就是这个token cost太高大家都在烧token 如何让大家烧token的时候不用花那么多钱不用花那么多算力是吧可以serve的快一点 KVCache就是可以直接帮你做到这件事情的方法但是以后我们是想请KVCache 还可以做更多的现在大家没有想到的事情那现在的话一些的计算范式在可能产生变化甚至说一些新的计算芯片也在产生无论是前一段时间上市那个Cerobus 还是过去一段时间应伟达去收购的Grog [01:31:30] 甚至最近推出的LPU 这样的一些东西你觉得这样一些新的芯片会不会对你们目前在软件层面上做KVCache的优化产生一些影响在回答这个问题之前你能不能跟大家分别解释一下这些芯片相比较现在的GPU 最大的一些优势以及对于KVCache的冲击是什么我的理解是当然我不是做硬件的我也不能说的太绝对我的印象是现在的硬件上的创新绝大多数都是集中在如何做更高效的Decoding 就是更高效的生成我们做的优化呢多数是在于如何做更高效的输入分析就Preview 这个技术就叫Preview Preview是模型在看到所作为长文本输入它需要做的理解这个长文本的过程 Decoding 或者是你一旦理解完了之后 [01:32:31] 你怎么样一个一个Token去生成出来一个一个字把它蹦出来或者一个一个字把它蹦出来很多现在这种新的芯片它优化的是Decoding的过程因为Decoding是绝大多数用户能直接看到的问题你说这个我在等这个给我生成一篇文章我这等着它一个个再蹦出来但其实很多时候大家忽略一件事情是人的感官上百分之九十的时间这个模型在做Decoding 在做生成在做生成它这个输出但其实百分之九十的算力花在的是Preview 再花在的是处理Input 这个有数据统计支持没有直接数据统计支持但是你如果去看所有的这个Agent的Trace 就Agent的这种分析大家都知道其实Agent的Input 输入比输出要长很多很多一般输出呢可能几千个Token 差不多了或者小几万最多了 [01:33:31] 输入可能是几十万几百万的Token 因为你任何的输出以后都有可能变成以后的输入你现在的输出永远都会变成以后的输入这也是为什么其实大家如果真的看这个GPU的这个算力分配绝大多数的算力都是放在输入上面但是呢输出非常重要输出的速度非常重要因为人真的体会到的是输出的这个速度快慢你在那等这个文章输出的慢那我就觉得不舒服我哪管你这个输入这处理的多快或者输入处理的多但是你如果从这个Infra 这个基础设施的角度上来说的话其实多数的算力放在输入的处理上面其实是个很大种非常有意思的误取现在大家都觉得这些芯片公司在优化输出那输出就是算力的这个大头其实输出不一定是算力大头 [01:34:32] 这个是挺有意思的一个见解有点反直觉了非常反直觉对那么如果说在这种情况之下会不会出现这样一种未来 OpenAI和Anthrobic 他们某一家一家独大他们把API的价格打的也越来越便宜随着软件的优化随着硬件的优化那么大家就跟打开自来水一样用他们家的API就好了那么此时KVCache 在其中能够扮演怎样的一个角色呢那KVCache是不是又消散了呢首先这是有可能你说这个前提是有可能发生的任何的技术有可能会有一家公司去一家独大会有可能垄断这是有可能发生的事情但是我并不觉得即使有一家公司或者少数公司垄断这个领域就不就所有人都只得用这几家公司的服务嗯就可能他们可能垄断了百分之八十的这个这个这个用户的这个这个这个需求 [01:35:33] 但是剩下百分之二十谁做对吧就跟视频流一样啊你你确实觉得全世界的视频都有很多就全世界视频公司千千万万对吧但你如果看哪些公司就就如果看这个这个视频的这个这个这个流量分布绝大多数流量都是YouTube 其次Netflix 当然当然如果把黄色网上去掉的话哈哈哈但是但是你可以想就是一个一个产业它可能非常这个流量分布非常不均匀不均匀但是这这这这确实有几家公司它流量是巨大无比的但是还是有很多公司他就他需要服务他自己的用户啊就跟视频一样对吧啊没有人会说HBO 他的他他做视频流不重要很重要啊对吧但是他只给他自己用户用这这这AI模型呢未来也有可能这样即使Anthropic和OpenAI [01:36:33] 大到像YouTubeNetflix一样也有很多是也有很多AI提供商会像现在视频服务商一样大家都叫得上名可能你的Traffic没有像啊像YouTube或者Netflix这么多但是还是非常重要的嗯我觉得我觉得这是这是未来有可能出现的方向那不管是什么方向啊回到你刚刚说的第二个问题对我们的影响其实这件事我觉得啊很有意思就是我们做的东西它和模型本身并没有直接的直接的直接的啊并没有直接的强绑钉我们做的东西是任何模型都会出现的问题任何模型它都会有KB cache 至少现在肉眼可见的所有大元模型包括多模态模型它都是Transformer架构当然它可能Transformer和啊这种Linear model结合一种Hybrid model 但它永远都有KB cache 这个KB cache如果啊所有模型把KB cache需要存起来它都需要一个独立的Layer [01:37:35] 可以让它从不同的啊硬件从不同的啊啊啊这个这个这个啊推力引擎从不同的啊然后存到不同的啊存储系统所以说你们想做的就是完全把KB cache这一层和其他所有的存储介质所有的模型都捷偶开了都捷偶开了变成一个独立的套件对啊当然我们不是要和模型本身捷偶毕竟KB cache还是模型来生成的但是我们要和其他的组件给捷偶比如说啊运行的环境存储的结构存储的这个硬件还有GPU 这些东西都可以捷偶这其实现在LM cache 就是在往这个方向走让所有可以用啊大元模型的这些系统不管你用什么什么样的啊推理引擎不管你用什么样的存储系统不管你用什么样的推理的架构这个是运行架构啊他都可以把KB cache存到LM cache里面 LM cache就是作为公共的layer [01:38:35] 那么这里有一个比较哈实的问题你们从推理引擎从模型本身从存储介质全部给捷偶开来那之后的话怎么样说服用户必须去用你们这个东西我为什么不说直接用推理引擎本身自带了那个KB cache 或者说某种什么云上自带那种KB cache 对吧我为什么一定要买你这个服务首先开源这件事情就是让大家有选择对吧开源用户最大的需求就是我用你的东西也可以用别人的东西我随时可以换各个层上的选择我可以选这个engine 可以选这个storage 可以选这个gpu 就确实你如果从我如果只给一个用户让他现在的这个系统做到最好他以后再也不变了那没有必要要做一个捷偶的东西他做一个强并偶的东西就可以你像这样像苹果他把他从芯片的他应用全自己做了是吧但是绝大多数公司并不需要 [01:39:36] 并不是这样的这种想法所以确实有很强的需求需要有一个强杰偶的kvcache layer 但是这kvcache layer 必须得在各种场景下性能都得足够的好让大家看让大家并不会觉得这个强杰偶对于性能和对于support 有多大影响所以说这就是你们觉得和其他家能够不一样能够持续做下去的一个目前为止的低层原因吗是现在对目前为止的一个重要原因当然这件事不是那么容易做的这是一个非常需要社区的大家一起做的一件事情因为比如说要跟不同的芯片和不同的存储戒指要去存储商要跟他们合作我们没法去写这么多code 我们不可能去写这么多integrations 这些友商得有工程师一起来做这件事情才能做得成那所以往深了讲的话你们相当于知道 [01:40:36] 一个工业界的kvcash的标准希望大家一起来建设这样一件事情对如果说某一家公司更愿意接入你们这个标准那么可能的话其他的模型厂商就更愿意用这一家的存储戒指或者某种推理引擎对这也是很多现在和我们合作的公司和我们合作的原动力之一就是他们觉得加入接入lmcash 可以给他们更多的可能性可以给他们和更多其他厂商合作的可能性这个可能在硅谷已经看到过不少这样成功的范例了就是做大一个社区做大一个开源变成一个事实的标准那么最近其实越来越火的一个topic 这个就是coding agent 之前你刚才也提到你们是在做的一个大模型的记忆管理如果说我把coding 想象成一个一个在 GPU当中存活的个体的话那么你们相当于我理解 [01:41:37] 其实给每个agent 都做了一套记忆管理而且是模型原生的记忆管理就是你存的是模型直接可以理解可以用起来的记忆那在这个场景之下的话你们觉得相比于之前的普通的那种chatboot 你们能提供的更大的价值之中首先agent 是一个很有意思的东西它的能力来源并不是来源来源于这个模型本身有多是不是更厉害了而是它和环境的交互更多了之后它可以有更好的它有更好的这个适应性这个东西其实还是源自于一部分模型能力是但是你如果只去用模型一次但是这个能力没有用上对吧 agent是相当于把这种能力最大化了但是在最大化的过程中你和环境和模型交互的这个次数也会变得越来越多 [01:42:37] 你让模型在完成一整个任务过程中需要记住的东西也会越来越多并且它记住这些内容的复杂的不是简单的就把这些东西全记住它需要不停的shuffle 它需要不停的取出最相关的记忆它需要找到哪些记忆跟现在哪些记忆应该放前哪些应该放后这些交互越多它记忆越多你任务越复杂它记忆的管理方式也需要越复杂这些东西都是最后最后都是放到记忆管理模块现在绝大多数记忆管理模块都是以人可以懂的话去管理记忆就管人话就管那些文本管那些code 管那些图片我们管的是这些文本和人话 [01:43:38] 它在模型能理解的这个范畴里的镜像你可以想象但是把人话翻译成了模型直接可以看得懂的记忆你在那直接管模型的记忆这个其实前一段时间 OpenAI一直在发一些相关的blog 他们现在能够提供更好的memory机制随着你用OpenAI越来越多对它能够更好地吐出更适合你的一些是说实话这个挺annoying的这个挺annoying的我每次都跟ChatGPT说你就忘了我之前跟你说的话因为很多时候因为我有时候跟ChatGPT 讨论这个公司的事情然后我有时候会问他说是一些其他的事然后说这个这应该有什么建议干别的事然后他就会突然蹦出来说 Tencent Mesh 我说根本跟这个事一点关系都没有你跟我说以前的记忆但这个确实可以看到ChatGPT 在想要个人化你的记忆想要个人化你的记忆 [01:44:38] 想要个人化你的记忆对你之后交互的影响但是这种时候这个挺annoying的就是你们刚才说的是在管理模型本身那套记忆对相比于这种在上层职业管理用户的prompt 职业管理用户过去的输入你觉得到的优势是什么呢你可以这样想所以就一般现在有三类人有三类所谓 AI engineers 你第一类呢是真的写真的try model的人训练model的人他们是他们可以改他们觉得他们改变世界的方式是改变model weights 改变模型的权重他全出个新的更好的model出来大家都用这个model 另外一类人呢是写application的人写英文的人写agent 写agent的人对吧写prompt的人写context engineering的人他们觉得他们改变世界的方式是给我最好的model 我去改context 我去改模型的输入然后让模型的 [01:45:38] 最大化模型的潜力我们是做中间的人我们是在走第三条路第三条路是什么呢是去直接看模型一个圈好的模型和已经写好的application 它产生在model自己模型内部的记忆去尝试理解去优化去存储模型的记忆可以让人然后这个方法它可以有三个好处它可以既提高系统的效率同时又可以给你模型内部的一些insight 你可以知道模型到底在想啥你可以知道模型到底在想啥你可以知道模型到底对什么关注同时你也还可以改变模型的行为如果你篡改了不要篡改这个词就不太好你如果优化了kbcash 那就可以改变模型的行为你可以让它看对的地方去生成对的结果而不是看所有东西去看去生成一个平均的结果你刚才在说这段的过程当中 [01:46:38] 我脑子里边出现一个画面就是最近特别火的一个词叫做self improvement 就是自进化的那些agent 对就是用户和agent之间随着交互的越来越频繁然后或者说是agent 本身可以用来去提升下一代模型的一个能力刚才听到你说能够去直接修改kbcash 直接修改模型的记忆有没有想过把这套东西在那种自进化这一套那个体系之下尝试一下你说的对自进化啊或者你说personalization 或者就是这种这种都是范式上的就是目标上的改变是吧你说我AI可以有一个新的目标你要self improving 或者是personalization 这些这些都是在目标上的改变你有新的目标像我刚才说了有拥有三条路第一条路trim model 第二条路改agent application 改prompt 第三条路改kbcash 这三条路呢我觉得互补的 [01:47:38] 其实是互补的所以确实这是一个新的方向然后kbcash可以是这条路但我想说就是可能我没有强调这件事情没有强调很清楚我觉得确实我说的很多东西在多数人看起来嗯非常奇怪因为在多数人眼里面 kbcash 这就是模型在生成过程中的一个一个暂时性的数据那这个就是这个嗯一个一个生成完了就是丢掉的东西大家不觉得就是就很多做真的懂model training的人就是训练模型的人在看起来 kbcash就跟就跟GPU CUDA一样这是他看不到的东西他而且不关心这个东西学到处说作为Infra人也觉得这个东西就是就是个model自己生成出来一个天书一样没人看得懂的东西那在我们看起来可以看他就是金子那就是未来的石油这个数据 [01:48:39] 可能现在大家觉得是这个嗯你说嗯不像prompt一样 prompt engineer一样大家直接可以看得懂也不像模型训练一样这么多公司在背后陈耀说模型训练是未来这个东西现在只有tensor mesh 在说说实话我们是是第一个做这个也是第一个吃螃蟹的人但是呢我们看得非常清楚 kbcash一定会是下一个做模型在模型优化和prompt优化之后下一个最大的机会这个数据本身非常重要所以说你们感觉所有的kbcash能存储的都应该被存储然后用于下一代模型或者说下一代范式的提升你可以这样说但那可能有点极端但是确实我们就觉得任何的大家觉得重要的context 上下文任何重要的上下文都应该变成kbcash的形式无论如何咱们之前也聊过一个话题就是乔布斯现实扭曲力 [01:49:39] 在一个世界上你觉得我在洗脑是吧无论如何在一个世界上如果说你相信一件事情你不通过创业去扭曲一下现实那人生也都没意思对不对当然但这样说吧我觉得每个人的这个角度不一样说实话你如果看乔布斯传多数讲到现实扭曲力 reality distortion field Distortion field 这个东西都是个贬义词绝大多数人看这个才是个贬义词所以就说实话中国人说就是洗脑是吧洋人说这个是现实扭曲力但其实中国人说人话里就是洗脑这不一定好事但是呢确实我们做的一件事情是一个工业界现在还没有承认的事情或者说我们相信工业界即将会承认但是还没有承认的事情这是需要些需要些勇气的我觉得嗯开这个公司啊然后用靠我们一点微薄的力量去告诉大家说这件事情真的很重要啊是个很大的挑战 [01:50:39] 那我也用一点微薄的力量把这些对话全部记录在互联网上之后如果真的成真的话大家可以来反复去看一下好吧是这个世界上还是有相信现实扭曲力还是在一直在朝着现实扭曲力现实扭曲力这个方向去做的一个人这一轮融资的话你们有英伟达呀有AMD呀各个厂的那种融资甚至说他们之间还有一些互相的竞争关系你觉得你们是如何打动了他们这是好问题嗯我我也一直以前我以前一直是觉得工业界呢是一个就非黑即白的地方这竞争关系就说明他在互相看不上眼啊但是但是在互相看不上眼的时候大家也也会对某些技术趋势有共识嗯很有意思就是他们两他们两家都分别觉得 KB cache这个技术他们是觉得非常有潜意的未来嗯我从来没有跟 [01:51:39] 至少至少这 NVIDIA 对我们这个技术感兴趣和AMD一点关系没有 AMD对我们这个技术感兴趣也不是因为NVIDIA 对我们感兴趣他们都是独立觉得 KB cache 做到最好的KB cache layer 可以是是一个嗯所谓嗯让他们的硬件有最大发挥性能就能发挥最大性能的一个关键因素所以他们都想在KB cache上投出钱他们自己人也会做他们也会跟我们一起做所以啊我也不是说他们投了我们的钱他们自己就不做了他们自己也会做是吧但是他们相信这个技术必须得是嗯就如果这个技术做不好他们自己也完蛋所以他们必须得投钱在在做这个领域最好的公司里面现在呢我也说做做KB cache 过去最好的公司也就是我们了这个领域还没有那么大貌似这个领域应该只有你们一家公司呢对吧 [01:52:39] 所以这个应该是你第一次公开谈集就是他们两家投资并且在互相不知道的情况下投资你们的一个 At some point 他们是知道了但是他们一开始找我们都是互相不知道的情况下对当然估计他们内部可能有人知道因为大家在跟TensorMesh做那AMD也去跟他们做但是来找我们的时候并不是因为这个但是我觉得是真的他们觉得KB cache 是必须得有好的KB cache 这个技术存储包括传输存储和优化才能让他们的硬件有最大的效率从上一次融资到这一次融资一共间隔了多久我们确实融了两轮当中隔了也就8个月吧那在过去这8个月到1年的创业当中你遇到的最大的困难是什么最大的困难其实是如何在没有直接竞争对手的时候 [01:53:40] 给自己最大的动力去往前走因为在学界你说在学术节我们以前写paper都有deadline 工业界没有deadline 工业界没有一个paper截止日期的是吧当然如果有人跟你竞争那也有个动力是吧比如说大家熟知的两大推理引擎剧头是吧这也有动力是吧但是我们呢没有这种特别强的动力是外部因素来推动做这件事情但是有也有但是是那种就大公司里面有些组像有些工程师要 justify他们的自己的价值就做一些这个但他们并不是以跟我们竞争的方式来做这是对我来说我觉得最大挑战就是如何跟自己赛跑但确实我们都知道这时间非常紧迫现在还没有到kpcash最最最重要的时刻 [01:54:43] 大家还没有意识到这些kpcash这件事这么重要等到大家真的意识到kpcash这件事这么重要的时候所有大公司都会抢着来做这件事情这么笃定吗我绝对相信我可以跟你赌这件事情这只真的at some point 可能不需要一年真的等到那个时候所有的公司或者大公司都会推出kpcash相关的产品我们到那个时候必须得跟他们可以平起并坐至少平起并坐或者超过他们让他们追不上我们这件事情是我们一直知道这是个压力但这个压力不像paper deadline paper deadline就放那说你如果赶不上你就paper头不出去了这个没有这种deadline 我觉得这是一个我觉得从学术界出来做创业的时候非常非常你需要有种不同的方式来激励大家那我们就继续这个赌我们可以打那我们之后看一看这个到底结果是什么这是你过去遇到的最大的一个困难就是如何跟自己赛跑 [01:55:44] 那么相比较你过去做学者这十几年最大的思维转变和提升你觉得是什么那提升太多了确实你说工业界里面那整套东西我们都是第一次学这相当于是直接把你丢大海里跑丢大海里游泳的感觉这没有在泳池里训练过直接把你丢大海里去游泳因为做创业公司比在大公司生存需要的技能还是不一样甚至有可能会更多所以非常非常难的事情所以其实学了很多东西我甚至有时候跟我的学术界的朋友说我说我这两年学的东西比我之前15年的学术界的学术界从某种角度上还多很多那有一个我觉得很有意思的事情是我以前从来就去你在工业你在学术界里面说不定还会接触一些工业界但在学术界里面从来不会接触投资人这是个很有意思的东西投资人对于我来说是个完全新的生物新的这个对象从来没跟投资人聊过 [01:56:45] 投资人想要啥投资人关心啥这是真的我幸好归过这么多投资人可以让我一个个练过去不然的话真的如果就两个投资人我真不知道不知道这个错过错过这两个我就找不到了我记得很清楚当时我找第一次投资人的时候就是那个Pissonsini 其实都不是我找是张辉帮我联系的当时我跟他见过几次我都不知道他在面试我过了几次就照他说不行不行不行我得跟你讨论你这个东西应该怎么pitch 然后过两天还真的pitch又找我了然后就跟他又聊了一次聊了之后呢他也没理我后来但我一开始以为他这个是没有下文这说明他没兴趣但其实他每隔两周都来找我一次我想想这到底有没有兴趣这我觉得投资人是一个这是我从来没见过的生物然后甚至有一次他直接跟着他 [01:57:46] 跟他一起的一个manager 直接飞到芝加哥来了然后就跟我跟我的那几个口方的聊一下我当然想这么有意思吗他说他是去一个其他地方路过芝加哥然后就行我们找咖啡店聊一下然后那天我就去学校边上咖啡店然后那天开始去学校路上我跟张辉打个电话我说辉说说张老师这个这这这你说屁的他飞到这来是干啥然后然后张老师说你准备怎么跟他聊我说我找个咖啡店他说我去你这你这太不正规了就找到咖啡店聊一下你知道给他给他给他给他做做做做做做做做presentation 你给找个房间给他present一下我说完了我根本不知道他来是干啥的哈哈哈哈哈哈哈哈那当当当当当p的其实其实他也知道这个第一次创业给我这这这帮这帮这帮教授也不知道就投资人怎么干的就他他其实耐心非常好他就他一直聊着因为我当时也没有聊起他人 [01:58:46] 所以他也不急等到那他真的给我offer了之后给我term sheet了我之后我就在想哎我是不是应该我是不是应该了解一下这个term sheet 到底有什么东西然后连夜给给给给给律师打电话说这个这个这个这个这应该怎么理解这事应该应该怎么negotiate 就就这什么东西都是新的我觉得投资人这是一个啊啊很多教授都都都踩过坑我后来很多老师啊就就就因为我这个领域计算器系统领域里面现在有很多老师在创业大家都都知道我在创业大家都来找我然后说说说我当时是怎么怎么跟怎么学这些东西我说这没什么好学的这个这投资人其实都知道我们我们做不来做不来融资哈哈哈那最后为什么你觉得他们给你们这个融资那说实话投资人呢看人家太跌了他是知道你这你们也不懂这个东西我也不跟你来这些套路了如果你上来就如果你是以前融过很多资的人搞过很多创业的人你如果还犯这种低级错误 [01:59:47] 那我不能原谅你但你这你就教授反正你也从来没干过这事是吧你发现低级错误也无所谓只要你做的东西是真的只要你做的东西是真的只要你做东西真的是他觉得是金子的东西他他看到未来的东西我觉得这点呢投资人还是有这个品味的就至少跟学界的人做过投资的就合作过的投资人是有这个品味的就是自己的东西足够好无所谓自己会不会那些套路投资人自有自己的判断投资人也有他的判断至少是和学界的人做过的投资人是有这个判断的他们见过我们这样的人呢那么你就是在拿到融资之后这个公司开起来了和自己的学生开对他的感触是什么从师生身份变成了co-founder身份我首先说这有些东西确实没有变我觉得我有一个观点可能很多老师会觉得有些奇怪就是真的和老师很多时候创业不成功 [02:00:48] 有一大部分原因是学生没有跟他一起做因为学生是师生关系说实话就大家可能看到一个好处是有一个非常稳定的结构对吧老师有非常大trust 相信老师的vision 同时呢老师相信学生的执行力这件事情是一个非常稳定的结构但我觉得大家没有意识到的事情是这个结构会对公司的发展至少前期的发展有非常非常大的好处有根本想不到的好处就是很多时候你说如果大家说实话如果我是跟我一个朋友创业完全不会有这么顺利因为大家这个长处是没有磨合过然后也是有可能是冲突的对吧但跟学生创业这点上是一个先天的优势当然很多老师会不会说 [02:01:49] 我也没跟我学生创业我学生不想创业我自己处处创业我找了个好的professional CEO 最后做得也很好也有的也有非常多这样但我觉得如果你要真的做技术创业和学生一起创业是一个非常好的选择但是并且我见过很多我也不说谁了但在我身边一起同样背景的创业的时候没找上学生一起去创业最后都没成百分百吗几乎我小数就量所以就没有他统计意义那在这个过程当中比如说肯定也会做很多的决策如果说学生同时反对你甚至说有些决策回头看来就是他们对了你错了有没有这种事情发生有绝对有但是我觉得还是回答我说的这个结构大光的这个结构是有好处的即使短期他们觉得从技术上说君臣你这个想法太激进了技术上现在做不了 [02:02:49] 那我也会相信他们说确实你们说技术上做不了确实我相信你们技术上现在做不了这件事是对的但是我觉得你们如果push back的时候这个事技术上做不了那前提也是你们觉得这个方向是对但是只不过现在技术上做不了大家有这个trust 是吧并不是因为他们不相信你的vision 然后以技术的理由来搪塞你而是真的他们觉得技术上做不了然后我也相信你们我也会相信他们说你们是以技术的就你们是真的觉得觉得技术上暂时不能做这件事但是以后我们还可以讨论这个问题所以这是一个我觉得师生这个关键还是挺重要的但是换句话说我们现在放下之后三个人还是平等的包括其实连创三个人但是其实我们当时开的时候几乎所有学生都有原始果大家都是一起创只不过这三个学生毕业了这两学生毕业了跟我一起可以全职出来当连创 [02:03:50] 但其他学生也是在这里面控制了很多东西所以我想刚才说的就是一旦开公司像你说的开公司的关系就变了关系是变了大家是平等的关系不是就同事的关系但是因为之前有一起合作的这个经历他有trust 我trust你的我相信你的技术实力他们相信我的vision 对这个AI时代 Agent时代人与人业的trust 反倒成为最珍贵的一件东西我这种感触也是因为大家都不trust agent的时候那就是人归人之之间就棒的非常好但很多时候就是你有些事情只有在互相很相信的情况下才能走的走的长远就是一个人走的快一圈人走的远对我特别特别相信这一点对那么你最近在一些社交媒体上一直在转发一个论据就是open AI的API 就是他们的这种是新的时代的IPv4 对吧正在一个网络系统的角度然后这个观点 [02:04:50] 你能够继续深入讲一下他们是IPv4 你们是什么这样的说法所以我说那个论点其实是个我只是我真的觉得是个有意思的论点它并不跟我们公司战略或者是没有什么直接关系但这个论点本身是有深意的像我说的就AI现在经历的是一个刚经历了internet moment 你想internet在 intern网在90年代末爆发的时候它爆发了之后20年你想想看就多少的这个这个架构上的变化这些架构上的变化最后导致了 intern网是个非常繁荣有非常丰富生态的一个一整套全球系统在这过程当中你必须得有某些的部分它是大家公认的大家认为重要并且必须得稳定下来的这些部分这些节点吧 [02:05:51] 你可以说这个所谓层级结构里的结点我们以前学网络最大的一个lob结构就是你有中间一个细腰细腰就是IP layer 这个IP layer 是所有的应用都会都承认的一个通信接口 IP layer上做innovation是非常难的大家要在这个layer上面就在这个协议上做创新非常难曾经有个东西叫IPv6 我不知道大家知不知道 IPv6是大家都觉得比IPv4 这比原先的这个IP的这个协议要好很多你可以支持更多的油画你可以支持更多的applications 但是最后没有成是因为所有人都已经在用IPv4这个协议那为什么说这个历史呢就是你在一个新的生态在野蛮生长 [02:06:52] 一开始高速成长期那必定会有某些结构会被稳定下来因为工业界大家都会意识到如果这个结构不定下来我们都没法发展 OpenAI API 其实不是OpenAI 自己发的那个提供的API 我说的是OpenAI API Compatible 那个format 那个query format 这种形式这个东西就是现在所谓就是所有这些提供商应用提供商模型提供商还有这个推理服务商所有这些人承认的一个中间的所谓稳定下来的这个结构这个结构其实我当时说这个事儿其实是想要想要把现在的AI的这个Ecosystem AI这整套框架和当时英特网发展了十几年之后那个框架做个对比就是说其实AI的框架它发展成熟的非常快它有某些部分已经都产生共识了 [02:07:54] 那为什么说这个上其实未来会有更会有更多的像IP layer 像OpenAI API Compatible Format 这种这种这种 protocol 这种形这种稳定下来的结构稳定下来的这个这数据形式是会有更多这样的形式在这就发展出来 KP Cache 有可能就是下一个或者再下一个 KP Cache 是因为现在做KP Cache人不多或者想要复用KP Cache 想要在不同的Service 服务之间传出KP Cache人不多但等到这些服务越来越多了之后 KP Cache也会变成这样的一层也会变成类似的这样的一层东西还是会到AI Infra这个问题你刚才一直在强调KP Cache 变成一个独立的layer的重要性那么你觉得现在除了KP Cache之外有没有什么特别被低估的东西之后的话可能会被大家特别的重视因为就跟过去 [02:08:54] 20多年的互联网的发展一样很多宝藏是在后边被发掘出来对 KP Cache 这个东西很多人都以为它是跟Key Value Store有关系但没关系它就是跟这两个Tensor 这两个大矩阵这跟传统数据库的KP Store 没有任何关系很多人都听完我talk了之后这跟Key Value Store有什么关系我说完了这我白吃过了回到你刚刚说的问题我觉得有一个盲区其实现在硬件提供商有个趋势我把它管它叫IBM化什么意思呢硬件提供商它为了要最大化它的利益最大化它的margin 它会把所有东西bundle在一起变成一台大型机或者大型的设备一起卖 [02:09:54] 包括处理器包括网络包括存储包括所有东西都放在一起卖哎呀我知道你说的是谁了但是当你想这其实在走IBM的老路我不是说IBM本身这都是大公司都是非常好的公司但是你如果学习历史你会发现大型机最后并没有成为数据中心的主流为什么是因为大型机从技术上来说并不是最省钱的方法并不是最灵活的方法对吧 90年代你如果去看那些大银行买的都是大型机对吧大型机就惠普 IBM 做这种大型机当时还是去EMC 什么这都是做大型机但是最后真的变成大规模计算的平台是什么是把便宜的memory 便宜的存储便宜的CPU 便宜的网络把它连起来用最聪明的方法来连起来 [02:10:55] 这是后来Data Center 对吧你定制标准化之后用聪明的方法把小块的东西给集合起来这件事情呢其实我觉得这是历史发展趋势早晚都会发生的事情但是不代表大公司现在走这条路这些这些最大的公司啊走的这条路是这就他们一样一样会存在但是我觉得早晚会有类似的这种competitor出来竞争的这种小型的更灵活更scalable的这种更有延展性的这种系统出来所以说你觉得接下来的话这些东西可能会逐渐被挖掘出来有可能啊其实其实你听说有个词叫disaggregation 分裂式架架做到最极端其实就是把每一块东西特殊化然后可以随时的可以替换对吧然后你的你的你其实把它把它组合在一起的这个价格这个方法才是最大的这个核心 [02:11:56] 才是最难的部分这件事情如果做到了那确实会有一种新的架构出来会有一种新的AI技术设施的组织结构出来有可能会是颠覆性的但你如果问我说这除了KVcash以外有什么东西我觉得promising 那我们就后边拭目以待好我们说其实很多本科生或者在读一些研究生的同学都觉得工作有点难找对吧如果说你给他们的一些建议你觉得他们应该还继续压住大模型压住大模型应用的还是压住大模型的衣服首先我觉得大模型还是非常重要的东西大模型还是有很大的这个发展空间的毕竟做AI本身还是有觉得这件事情并不是个解决了的问题大家都知道AGI 现在做大模型的这条路非常promising 也有极高空间但是很有可能会有一条新的路出来 [02:12:57] 对吧所以压住模型或者是去学习模型不要去做大家已经都一直做烂的这种模型就做一些新的模型我觉得是个好的方向当然这是对研究员来说就是读PhD的人来说 Infra最好去工业界但是去工业界但是去工业界呢不但是纯粹是真的就是写程序的工业界因为现在写程序能被AI替代的东西太多了但AI替代很难替代的东西是什么呢是人能单责的能力不是说你要说我特别有勇气我说AI写出来code 我可以保证可以维护什么的不是这个意思而是你有能力可以去把AI给你写code 给你写code的这件事情啊结构化你就是直接说的说的说的直接你就是啊就就就就就英文叫taste 就是design taste [02:13:57] 你知道什么样的你知道什么样的设计好什么样的设计更啊更更持续更更持久什么样的设计更好维护什么样的设计更更灵活当然AI现在也有能力去帮你做做这些这些建议但是很多时候你你如果自己都不知道什么时候好什么时候坏就AI给你那种话你也不知道这好这话是好你怎么卖给别人如果你的你的设计完全依赖于AI 那你写的code你自己都没你写的code 你自己都没法维护对吧这是这我觉得做AI infra的人最我觉得一个一个啊一个需要考虑清楚的事情那你说最后一个做做做application 是吧做application 哇这这个问题这个问题我就没啥发言权说实话application现在这个形式嗯我也我也非常非常难说你说一方面呢application这东西发展前景可大了你就这么多的呃这么多的现在用就以前的传统的这个这个这个这个这个商业模式都可以被AI颠覆 [02:15:00] 但是你颠覆了完了回头2000又被又被anthropic颠覆了是吧这个这确实我很难说这个这个时候真的很难很难预测那这就是纯粹讨论了吗这个谁都很难说确实就是你现在把AI当成新一代的互联网然后你做个app 然后很快这个app就变成它的互联网本身也有的能力了对对对那如果说对于你个人来讲回到过去你最不希望自己做出哪一个决定最希望改变什么哦如果如果让我再选一次每一次我可能嗯比如说我会我会尽早开始做AI infra 啊就就就就我我如果当时就看到transformer有这个有这个潜力我会尽早开始做这个事情嗯说实话我我我现在觉得AI 啊你像我说吗 23年开始做这个东西其实真的还是有点晚的这大家并不就我们当当时 [02:16:00] 幸好这些学生这些学生强了说实话你说我当当时都不知道kpcatch是啥我们当我们当时第一次看到kpcatch是说诶证换人好像可以复用 that's a breakthrough 后来发现是所有人都知道的事好像就是嗯 kpcatch 就就就我们我们其实其实其实是运气好真的是运气好如果如果如果不是这些学生这么强不是呃就就我们有一个一开始找到很好的人就是包括商业上包括技术上找到很好的人嗯呃完全不会是现在这种状态嗯所以如果如果要我再回选一次的话我要不然说告诉我自己说这件事这件非常非常有风险你必须得想清楚这个失败的概率太高了或者呢我就就告诉更早的自己说哎你要知道以后transformer会成你快点去做这个因为你当时在microsoft的research实习啊当时应该那边有很多很多的AIinfra大神对吗当时的AIinfra系统里面AIinfra做的都是training [02:17:03] 我这这点我我我是一直相信的我从来不相信traininginfra是未来就是太一次性了对吧太不那个可持续了太幕后了太幕后了对你还你你是更想做一些目前的然后直接面对用户的那些对对嗯嗯那么最后一个问题吧应该是一系列问题啊嗯分别给不同的人一些感悟或者建议都行嗯一给那个22岁的大学生啊一个建议或者感悟快要毕业你知道吗嗯对对吧首先做对自己最有挑战性的事情嗯这点这点是是是我已经不少的人提过我自己也非常同意 AMD的Litha Su就一直在说嗯是吧越年轻的时候要越勇于接受挑战他他不是我听到这个话的人之一哈哈哈但是但是good他他他也说过这个话 [02:18:03] 是吧你先不用管这什么什么东西做的最最适合你什么事情最就做的做的啊做的做的做的就比如说收入更多什么事情给你那个稳定最最快可以稳定 22岁你做最难的事情因为你只有做最难的事情才能学的最快嗯嗯我说实话我我去读博士一方面是因为哦我确实最好的就当年最好的学生去读phd了就没有读phd 但是读phd 是个非常非常难的事情就因为因为我们当时我记得我当时这这这这本课的时候都觉得这这这写一篇写一篇写一篇siccom paper 这感觉是不可能不可能发生的事情现在写现在大家都就觉得很容易了嗯所以所以我就这这这这做真的对你最有挑战的事情那么给267岁的phd 你会有什么建议呢 267岁一定是phd吗先给phd [02:19:04] phd 如果如果已经在phd里面了 ok那那我觉得想想是不是你真的想当老师因为在就我说的是cs啊就计算机里面如果是计算机里面你如果想当老师那必须得把phd读出来并且还是得做到这个这phd这个领域里面最好的人嗯我觉得这是这是毋庸置疑的但是如果你的未来不是一定想当老师我觉得这个年头呢想一想做什么样的做什么样的研究可以让你接触到工业界最前沿的东西因为工业界和学术界的关系现在是跟以前完全不一样的嗯为什么呢我这样说哈其实这是个暴论可能工业界的现在里面phd太多了或者工业界里面的这个研究生太多太多了这这怪我们自己怪怪怪怪怪老师怪学校生产了太多cs毕业生 [02:20:05] 对工业界其实其实做做研究里面就就如果真的工业有个东西值得做研究工业界一定会做得很快所以啊如果你你不是一定要去当老师你不定不是一定要教书一人那去想想怎么去怎么去做一些跟工业界最前沿的东西相关的工作 pcd的话就是只要不想当老师就应该多去接触工业界对接触工业界前沿的东西而不是接触纯粹接触工业界你接触工业界你说你就去工业界写个网界没有用那真的浪费时间那个其实就是如果能接触到工业界前沿的东西该亏的亏的该不读这个pcd也可以不读对吧那我没有这样说这个已经很接近了对吧好其实就是现在工业界的资源多然后工业界的pcd整个其实也有很多的研究氛围我我我我并不觉得是是因为资源多其实最主要原因是因为太多的有研究背景的人在工业界所以工业界如果真的有好问题 [02:21:06] 他们可以做得很好只不过有些需要静下心来做的东西那工业就肯定做不了那么对于那种已经在工业界没有读pcd的二十五六岁的人如果想读pcd现在是个好事为什么呢因为你想现在的工业界里面的人最大挑战是什么是他以前做的东西未来早晚会被AI替代对吧你要充电你要再想一个以后你的differentiator 对吧你跟别人区别的地方说不定你说你说赚过钱了回去读pcd 还是很合适的事情真的真的我们现在看到pcd的applicants里面申请人里面好多都是从工业界来的其实就是这个威武现在赶不上或者说已经赶上了能挣到一些钱的人都回到学术圈慢慢想一下下个对大家充电说实话你也充电不是一定要去去学术界充电是吧 [02:22:09] 你也可以去startup充电 startup呢有一个好处是他有非常强大这个生存意识要做新的不无法替代的东西你去那边做一个新的无法替代的东西这就是充电对帮助自己在未来取得一席之地对这个建议确实挺棒就是你不读pcd的二十五六岁的人你要么当然你可以去申请phd 要么就跑去startup去创业为了未来去博弈吧对这个建议如果说返回到2020年2021年哟那个时候AI已经有点日薄西山对吧但是open AI其实在叙事待发对那个时候一选择open AI 哎呀直接一个起飞的不行了对但是那时候open AI其实还没有压住gbt呢对对越早越牛逼嘛你如果去open AI做的是那个那个rl做那个做做打游戏那个东西估计最后也是被裁了哈哈哈 [02:23:09] 但现在那个pulse training之后rl又火了是你这个经验是很难被取代对对确实对那这确实去比如说现在去startup 或者当年去open AI 都是我觉得非常好的选择那最后就是给30岁的就是职业生涯初期的这些人你觉得有什么样的经验可以分享这到30岁呢你需要考虑的东西多了多了我觉得确实你很难说我得只给自己最大挑战这确实可能也不一定负责任但是如果有机会可以跟志同到后的人一起做一件大事这种经历是非常非常少的我不是说一定要创业你可以在公司里面做一个完全跟别人就大家不一定看得上的东西对吧你在学术界里面可以做一个 [02:24:10] 大家就没有那么多人相信的方向或者说你在你自己创业做一个真的有潜力但是不是那么多人看好的东西我觉得这30多岁还有这个机会这一直都有这个机会只有30多岁正好是有积累并且你有可能长期把这件事做成的时候我说实话跟我一起创业的几个学生我最大的压力是别让他们浪费了这次机会你知道他们都可以拿很高分子的对啊那几个人的实力都太强我太知道他们的实力了那么其实经过今天的讨论大家也能感觉到就是俊成就是那种希望就是说突破极限对吧在能有的时间之内尽可能的无论是自己也好还是给大家的建议也好去多做一下挑战自我然后突破上线的事情对吧这是你一以贯之的一个做人做事的方式 [02:25:11] 那么最后就感谢俊成接受我们今天长达两三个小时的采访谢谢希望大家能够喜欢继续支持我们月球大叔的频道谢谢大家好的