从AI零基础到vLLM贡献者，他只用了1年

[00:00:00] 这彭老师我先问一个很简单问题其实我对于世界模型这个东西的观点还是非常兴奋的因为主要它给的人一种可以去操作的这个空间但是对于优化这个层面其实它有很多东西我个人觉得是一种像游戏一样这个东西像我本身是游戏会打很多的人然后其实这个里面能看到的话就是相当于是像游戏的话它其实很早以前它的GPU也并不是非常好的所以说它在这个过程中做了很多的这种不同的优化包括它其中有几个我可以举几个比较显著的例子就比如说你有一个人物在快速奔跑的时候它会有一个所谓的叫focus area 在这个集中区域的它的精度会极高但是在那些非focus area 比如说两边或者上下这个区域它的生成的质量就会比较raw 但人类也并不会觉得这东西会有什么问题因为你是在奔跑所以这个质量比较糊也没关系但是它如果说我把这个东西放大到我们这个平台上来说 [00:01:03] 那可能就是相当于是会对于diffusion model我要做频繁的取消就相当于是我频繁的要可能生成比如原本要50步去生成一个比较精细的东西我现在可能只需要25步就可以了因为我需要它所需要的是一个频繁的25步这样的变化的一个快速迭代同时还有一些东西就相当于比如说一些背景板它的总体的对于细节的把控的要求其实非常低的然后它可能只需要把一些最侧重区域的精度提升那在这种情况下会应对的就是说可能是我们在同一台机器中会有一个做粗糙的图片生成的东西和一个做精细图片做生成的这一块就是你感觉是这两个东西会不会成为在未来我们有可能的一个需求对是这样子的就是我们这边的话首先这个word model的话它其实本质来讲是对于未来的某一个东西进行一个预测 [00:02:03] 就是我们现在看到一些diffusion model word model的话它是比如说类似于打影的一些这种形式这一块地方的话其实工业上面来做一些视频或者是这种图像生成的话本身它就是通过了蒸留的就是它一般来讲的话 stime 肯定就只有五步就可以做成一个跟原来差不多的一个效果了然后还有一个的话就是有一些模型像是gpa这样子的就是ami他们做的东西他们主要是对于未来的某一个latances做成latances做一个预测这块地方可能它本身就是没有图像生成的它就只是对一个潜藏空间做一些预测这块地方我觉得本大厂商也是需要我们去跟社区里面去沟通然后去特别是这种比较前沿的显示问一下的他们对于这个方向的一些具体的意见然后以及对于他们需求的一些了解那么我们顺便这个回答一下主播间的问题哈 [00:03:10] 呃我找一找哦对第一个问题是VL 呃VL Omni有插件的机制吗呃具体是指什么东西咱们可以换个问题换个问题换个问题就是咱们现在支持什么地方可以做一些plugin 对啊呃这是个好问题啊就是现在来看的话基本上来讲还是没有的因为其实我们现在来讲定不是很需要的换因为我们的框架并不像主藏那边的框架就是非常的稳定然后很多东西不是很好拆我们这边的话其实很多东西可以直接接着进来就能用对呃那么下一个问题是并行的pr的话做实验大概需要多少卡呃这个东西也是case by case的就是我觉得可能最最少也需要两张卡好呃 [00:04:11] 那么下一个问题是呃 config parallel指的是同时跑两个request吗是呃就cfg啊抱歉我应该是cfg parallel 啊一般来讲是进来一个请求然后这个请求的话我们默认情况下比如说我进来一个promp 然后这promp的话他会生成一个空的promp 作为一个他的太神奇的请求他是这样子做一个cfg parallel 嗯好呃然后下一个问题是提pr需要多少算力啊嗯呃这个东西其实也是case by case的我非常建议大家可以先拿一些规模比较小的模型然后在上面做一些特性上的适配然后有一些特性的话可能是不需要两张卡就可以支持的就比如说你去做这个layerwise上面的适配 layerwise你只有一张卡甚至你用你的个人电脑就可以把它跑通就你发现你自己本来模型但这样跟人家上跑不通 [00:05:13] 然后你支持layerwise发现有种跑通的那通平之功就你实现了可以有道理智鹏老师之前有什么infra经验吗这么快能把项目做的这么扎实有什么经验分享吗啊这个东西可能是我最想分享的就是呃呃如果有人可能听看过我之前那么小龙上发的一个帖子就是我其实第一次接触aiinfra就是在去年4月份的时候然后当时看大叔和异化澎泰就直播然后我是当时完全第一次接触这玩意我之前就是连vm4什么都没听说过然后然后我之前是多传统软件开发的就是多一些前后软件上的东西所以说这块的基础也是基本完全没有的然后我一开始听你们直播我感觉这玩意好像非常的深奥然后你们也是充实各种行业废话然后我第一次听直播我尝试去理解但是完全理解不了然后我就想着我这个东西好像是很有价值的哎呀我知道传统软件还是基本完蛋了 [00:06:13] 对吧这个ai太牛逼了基本上可能过个几个月或者不到一年就是我可能叫实业然后我当时就看的是从这个优优大叔第一期直播开始看然后当时第一期主要是教你怎么使用vm的然后我这时候我才知道我原来vm是做这个推理加速的然后还有他还讲了一些关于这个一些指标像什么tft啊tpot这些东西的然后再后我就一期一期的往前看当时我第一次看直播的时候可能是你们的第三次直播左右对然后当时我大概花了一周的时间把进度追到了第三期直播然后在后面的话就是每期直播我就跟着一起看然后一开始的话我其实还做过一些一段时间的elm开始的contributor 所以我当时是给你们修了修了修了那个文档修了两次文档改动的因为我一开始就是什么都不会就是只能干这些东西然后在后面的话就是我开始去尝试给我elm做贡献一开始的话就是去在上面找一些issue [00:07:13] 然后在issue上面我就会留言就是issue都不用给我做但是因为我一开始实在太菜了所以说我可能一开始去接一个issue 然后研究一个星期就是完全不知道万一怎么修然后也完全不知道这万一应该具体怎么回事然后我可能是尝试呃接了三个issue 然后终于找到一个我能修的是关于一个honeyface上面的一个那个config这块的一些那个配置上的问题然后但是我在之前issue没有修出来的时候我通过不停的debug 我大概的对于整个框架的理解有这个比较深度的一个一块的理解然后呃我记得我当时是在呃0.8点几的一个版本的时候当时我是发现了一个bug 这个bug好像是跟那个cpu相关的然后我就往前面翻然后我就是什么从0.8.0 然后0.7 然后什么0.6 [00:08:13] 然后一个小版本一个小版本往前翻然后就发现哎有版本这个bug竟然没有然后是后面某一个版本的时候出现这个bug了然后我尝试去修然后我反正也根本修不出来然后我就当时去找了凯超然后问一下的这个东西我反正发现这bug 看一看他能不能把解决因为我当时这个视频我可能就只认得你们几个然后还有凯超因为我看到经常参加一些直播对然后在这样的话这种经历差不多过了一个月之后我记得当时我一看有期直播昆太说这个很多的模型是需要做支持的我当时在修bug的时候发现有人在跟我抢bug 就是因为外幕太火了就是你提一个issue之后不有人跟你去抢我记得当时江云也是当时在那里跟我们去抢bug 然后我因为当时记作本很烂就是我基本上来就抢不过他因为我想出现这个办法可能都需要很多的时间和精力然后我就想的是那我能不能去做模型支持然后我看整个餐馆里表面有很多的杜莫泰模型是需要支持的 [00:09:14] 然后我就开始尝试去做第一个杜莫泰模型就是一个叫Teres的模型这个模型是字节他们开的模型然后我做第一个开模型型的支持的时候我差不多花了一个月的时间就是从一开始看文大就是怎么样去接模型然后到后面的话成功把东西跑通然后跑通差不多就花了两个多星期然后在后面我提了一个算是差不多达到1000行的一个PR 然后PR我记得很清楚我记得很清楚当时是莫子峰和Ceres的两个人在那里联合的给我人入然后一个PR之后差不多有七八十条给人入记录然后我就一个看了一边看一边改然后我当然这个PR 虽然我最后花了一个多月但是整个对我来讲的话对于整个框架理解属于是非常深刻的特别是Ceres和莫子峰他们两个人真的非常非常仔细所以我提了很多很多建议我个人感觉一般来讲 [00:10:15] 特别是在做contributor的一个初期你对于仓库做出来贡献是要远小于你真正在贡献中学到的东西的特别是包括原来威尔莫和现在威尔莫 Omini两个仓库现在的reward 基本上大家都是比较友好的大家很愿意去带一些新人就是告诉新人应该什么样的是一个好的 coding的style 在什么情况下你是需要去在提交个PR的时候需要出一些东西的对然后在后面的话我就一直专注于做多摩泰模型的贡献然后最后差不多在主仓里面做了七八个多摩泰模型贡献然后我在我是在做第三个模型的时候我就接触到了Begel 当时我领了这个issue之后我尝试去接但是发现这个模型非常特殊他是一个要杜莫泰输出的模型然后我当时就找了Roger 当时是Roger第一次上我们的直播然后他那次直播完之后 [00:11:15] 我说哦原来杜莫特杜莫泰这个一块老大不是Ceres 不是莫子蓬是Roger 然后我就去找Roger 我说这个Begel 这个模型到底是怎么回事啊然后Roger他一开始给我的答复是说我们还是需要在主仓面去实现他然后我就开始去找莫子蓬问一下他能不能帮我然后莫子蓬他给我推荐一个GIS 这块一个模型那个模型他也是有个动不太输出的能力然后他说让我去参考这个模型但是因为Begel 他本身的原代码非常的复杂而且他也是没有这种Transformer的这种版本的就导致我的移植变成了非常的困难我当时差不多做了两三星期也没有什么思路然后我开始切换做别的模型了然后我又做了三四个模型然后再回来做Begel 这个时候我跟Roger讲 Roger说其实我们Omini后面是打算接这个模型的我可以先不做这个模型然后我把这个话就是跟Seres讲了一下的然后Seres说其实我可以做这个模型 [00:12:15] 我只要在主仓里面实现AR部分就行了所以你可以看到我在主仓里面是实现了Begel的AR部分然后很自然透明到Omini开人之后就是我去做这个Begel后面DIT部分然后我后面也参与了整个Diffusion的Worker和Diffusion Runner的重构然后参与了它的调路器这块的重构然后参与了Omini Connect的重构然后因为我参与了很多重构所以说我很快就成了这个项目的Committer 然后也成功的在两个参与上面实现了Begel模型的介入其实我当时感觉听完下来也都是有类似的感触大家从一开始做看员谁也不认识到后面大家成为很好的朋友然后把这些东西能够做到做好然后你的Diffusion也在社区里面变得逐步越来越核心然后你做的东西也从一开始抢showbug 抢bug抢医术变成后面可以提RFC提bug [00:13:15] 然后告诉别人该怎么去做事情然后就感觉这就是一个社区正下发展的模式当然的话我个人觉得也是有很多这种新人都可以加入进来参与这个机会其实我有一个小的顾虑当然也是在于对于各种Omini社区的一个发展就像志鹏老师说的如果说从一开始大家想要做贡献至少都需要两张卡贡献的门槛其实我觉得还是蛮高的有没有一些比如说对于新手小白大家想进入这个社区作为学生没有那么多算力可能我就只有自己本地的GPU 有没有一些机会能让我去在里面做一些这种事情有没有这种机会想问一下我想的话 Omini这边其实跟Weilman那边有很大问题是在于 Omini这边的模型它很多就是它小模型都不会特别的小但它的大模型没有像主厂那边那么大一方面的话 [00:14:15] Learwise和Modelwise它其实是一个比较好的选择然后还有的话可能我觉得你们可以去考虑一些算力的租赁平台对吧这个月下大树之前推荐那个Rumpo的我之前最开始入门就是在Rumpo上面租显卡的它显卡的话大概你跑就跑那种两张16G的卡的话其实一个小时大概也就0.3 0.4美元其实这个东西并不会很贵对这个其实像那个伊华和昆太之前也都说过大家就是现在那个Cloud的很多其实大家互相压加压的很厉害就是你正常的做两张RTX系列的话在家里边做事情你一个月就算我感觉就比如说晚上足足一段时间周周末足一段时间一个月花不了五百个钱五百是这样子对然后我有个我就说我有个建议就是大家如果没有资源的话一定不要去碰碰 realization [00:15:15] 因为量化这一块的话它非常是你卡的型号的其实志鹏老师有没有有没有机会就是说我们做一些类似于这种麻雀的模型就比如说那个QM0.6B这种我们能不能就是说做一个类似于这种Toy的然后大家就是所有的测试都可以在这个Toy上去测如果说它能过然后这样的话我们可以合入到这个主Brunch上这样算力吃了也会少一些有没有这样的比如说千问TDS 它事实上是有0.6B的variant 所以这个在小卡上肯定是能跑的只不过说可能在就是视频还有图像合成上它需要的算力会更多一点那语音的模型可能大部分还是两三B最多的一个level 所以也欢迎大家跟语音合成的一些模型去加一些support code with AI 相当于是什么意思就是说你需要我给你一个这个agent 你需要告诉他怎么用prom 去解决一个就是说一个相对较复杂的不管是算法的问题 [00:16:15] 还是一个系统问题包括去找到你系统中的一个bug 都是我们其实在考验的其实都这方面这些技能了就相当于说工作本身并没有被消失只是说大家的这种工作模式工作所对于工作的要求再进行这种剧烈的迭代和变化这是我的一个感受对嗯然后我这边也有类似的感受哈就是我前段时间读到了一个非常有趣的观点就是编程其实在编两件东西第一个编的是这个实体上的code 就是作为编程作为代码我们在编那个东西但同时编程也在编我们脑海里面的一个对code的一个整体的模型就是我们是怎么去认知这个整个一整个软件的这个架构的然后和AI的交流的用AI coding的总体而言的感受是第一部分也就是这个实体把这个就是把实体的code写出来这个活可能会被取代到后面这个去建立自己的对code的整体的这个精神上的模型 [00:17:18] 以及用这个精神上的模型去帮助自己做出来对的这个设计决特这个暂时AI还取代不了所以人类还是有存在价值的我们还没有被agent的取代我下一个问题是我对continue spashing很感兴趣请问各位老师如何考虑不同batching的精度差别问题不同batch的精度差别问题这个东西其实我们可能是需要我们这边也是有人在讨论这块东西然后可能大家是需要去找合作的但是我知道有为的公司他们就是这么做的所以我们后续可以去摸着前面的这个石头过河对因为diffusion当时我们在做的时候也是对于就是做batching 这一块也是精度在有一些concern 因为很早以前diffusion就有了 [00:18:18] 他真的是在你差GP这东西出来前他其实是第一波wave的一个代气人就是说大家可以做生成用diffusion 然后那会儿其实就有在做batching 然后做了很多发现效果都不好因为你那个layer在做不断的不同的step 你再把它逼进去以后质量有很大的degradation 所以就不好做这一块我不知道这个domain现在有没有一些research 大家去证明这个东西是可以可行的对各位同学听到了吗这个新的发viver的机会就这样出现了好对然后多么太我自己觉得是一个这个研究问题到处都是遍地走的一个方向这个非常欢迎大家贡献开源贡献贡献过一段时间你的paper就出来了就是这么简单我仍然想说一下的就是现在的话其实多么太这块模型结构它是没有收敛的它是非常适合这个学术界的人进来跟我们一起参与的 [00:19:18] 他不像这个lucky language model 其实他的结构主要是一个是工业界的人是在主导的然后他的整个结构其实来回就是那几套而我们这边的话他这个结构非常不确定然后你的idea是很有可能就直接变成我们的一些需要去改进的地方好那么下一个问题是请问老师如何快速熟悉 Omni项目和相关知识这是个好问题因为我现在其实我在新加坡这边搞了个学义小组然后我也带了很多人一起在做这个开源因为我们这边活实在太多了我的建议是首先先把这个webOmni用一个最小的模型把它跑起来然后你可以去看它的每个模型的Redmi 它有个文档教你怎么使用的然后它其实也有一些单元测试你可以先尝试跑这些东西能把它跑通然后跑通了之后你可以看到我们的issue列表里面是有一大堆的需要修改一些bug [00:20:21] 然后你可以去开始尝试去浮现一些bug 然后一般来讲的话如果这个bug是针对某个模型的那么其实这bug相对而言会比较好修如果它是针对一些方价层面的或者是重量bug反而会不好修比如说有个模型它说它出来的东西全都是造成的吧或者是有个模型它原来说能跑通现在跑不通了这种bug都属于是相对而言比较好修的你可以先修建这种bug 然后的话我们每周三的话是有一个是有一个会议的然后这个会议的话是北京时间的11点半然后可以先去来听一下这个会议可能一开始你完全听不懂我们在讲什么但是你可以先把一些关键词记起来然后我们这个会议也是有录播的你可以关键词记起来之后有不懂的话你重新回去看这个录播然后再去查这些关键词是什么东西然后也可以让你对整个框架以及相关这个行业的术语有更好的了解然后这个东西做完之后 [00:21:22] 你可以去尝试接一些单stage的模型就比如说一些Omini这种就比如说一些diffusion这种模型然后这个模型你在接的时候你可能第一次接会比如你把跑通了但你一来之后我可能会给你提几十个意见但是你可以仔细的去想一下的就是我为什么会提这个意见很大常常其实代码的质量是我很关心的一点还有点就是尽量的话提PR 减少对于整个方价改动然后减少对于提交文件的改动如果你的代码的行数超过的5000行那么你需要尤其的注意是否可以把这个PR拆成几个PR 然后是否你的PR里面会引入一些很奇怪的一些代码比如说你把训练代码放假了这些都是要注意的然后你接了一两个这种模型之后你可以再去考虑提一些RXJ 然后你可以到会议上面去跟其他的人讨个对对超过1000行就该拆 [00:22:23] 但是如果你是fature的话超过1000行是该拆的如果你是提的是一个完整的模型的话其实也是尽量的话要控制你的行数就这样子然后然后我还有一个然后还有一个建议我强烈建议大家初学者的话最好找铁巴尔跟你一起去学然后两个人一边学的话一边用方案学习法大家互相讲自己学的些什么东西你的速度会进步的非常的快可以找agent一起学更快 agent agent会有个问题就是在于 agent他懂得太多了你需要找一个不懂的人你跟他把这个给他讲懂对如果说你代码本身已经让AI去写了那其实你应该去想着怎么写更好的verifier 说白了就是写test 对吧我觉得很多时候我看社群很多PR 他那个test就是AI生成的其实我觉得这个应该去思考一下 [00:23:23] 怎么去做好一个verification这个事情因为包括我们现在说写算子很难写对吧但是实际上很多公司他算子的已经是AI生成了然后反而他可能人花的时间是更多去思考怎么写这个verifier 我觉得这个是一点很多公司在做的吧能做到对于大马的judge 相当于有长下文的一个理解还有一个就是验证你看如何证明他有用就是不管是exhaustive test 还是说有什么地方需要去cover这方面非常重要哎呀我想补充一下的我们仓库上面也非常的缺这个代言测试这一块就是如果有新来的伙伴的话他比如说你想就是泵演员然后做一些比较好的good first的pr的话那么非常建议你去做一些 unt to run的一些代理测试的编写对志鹏老师这个是不是可以vibe 你感觉可不可以vibe 我觉得这个东西是case by case的因为他有的模型的话 [00:24:23] 他其实不太好做unt to run的那么你可能会需要想办法去拆一些东西然后拆出来的话去做一些那种测试对我们之前也发现了这一点就是这个对测试来说这个unt to run的非常重要就是一个一个一个internal的test 他这个你的code 当你的code做一次refact之后 internal test会崩一大堆但unt to run test相对来说会稳定很多但但说实话你在这种gpu很昂贵的情况下做unt to run test成本还是蛮高的你希望的是你能够像做一个烤串一样把很多很重要的东西能穿在一起测一遍这样你跑下来一整套流程更有意义就怕你就单元测试的优化我觉得这一块有相当多的东西可以去思考就怎么样就相当于你在一张这种一个多维度的一个板块里面因为它不同的composent间它之间会产生这种chemical reaction 你该在这里面穿多少针 [00:25:23] 引多少根线能够把这东西串起来让它n2n能cover在我们有限的算力下其实也是一个很有意思的一个技术活我个人觉得我们现在其实内部的一个系统就是这样的问题我们就那么多块这个gpu 但是我们有比如说二三十种case要test 我们怎么样做这种exhaustive testing 确定东西是可以work cpu没有问题 gpu非常大的一个问题我们现在仓库上面的测试它是分成五个级别的然后它触发时机的话全都是不同的然后也是按照最算力的消耗然后以及包括从hinefait上去拉全重的一些成本来做了一些分析我其实最近反而是在做的事情是学习很多skill 这里的话我可以推荐一个网站就是它有个叫oxytrator的一个research 这样的一个domain 它是在那个然后就是说因为飞轮转起来大家就感觉其实很多东西并不需要你进行 [00:26:26] 不需要你自己本身进行的产业而不妨尝试去放大你自己的价值做一些这种更高维度的事情所以我现在在这方面做一些探索对我相当于是你会看到以后我的贡献会是可能是成指数级的上升因为当你把这东西build出来以后我希望我能build出来这样的东西或者说我就会看到我重新跳进去继续古法编程手挫代码对去到下一个维度思考就是这个东西怎么让这个轮子转出来就是如何建立一个很好的反馈机制是非常重要的就相当于之前Roger强调很多遍怎么验证这个问题因为验证做好了轮子就能转了对 VIT的技术还有需要学习的吗这个可能要请教一下志鹏吧志鹏 VIT的话现在的话其实VIT的就是来一回就是那几个就是VITsigleap这一块的 [00:27:28] 然后我自然想想我看有一篇paper 这篇paper的话因为我们之前VIT的话一般一个视频里面它可能会一秒钟取得一两帧然后这样的话我们其实会占用很多token 然后我看有一篇paper的话它会去在通过这个pictor上面做一些那种注意力就是它不会把每个pictor全部都取出来它只会取出一些局部的然后去捕捉一些比较关键信息重要的话它的这个信息上会有一些压缩了但是现在的话应该还没有模型把这个作为VIT encode的来做哎我想到了昆泰的这个ccom dds 就是找一个很小的模型去identify这个呃视频里什么东西是最重要的然后再用更厉害的模型去 detect 嗯这个思路我觉得是一个很通用思路而且我认为的话可能这个思路比较适合一些像GIPA这样的我的model [00:28:32] 就是我不需要去那么关注每个细节我只需要知道一个大概的东西就行了可以各位小伙伴们听到了吗新的发 paper 方向出现了这个region of interest for world model 啊我的天要了命啊真的是台湾笑哈但是这个这个里面的细节内部公司fork的开源的SGLine或BLM 怎么和社区的long-term support去追适配呢然后这样的话异购的hard code很多所以适配很难啊我来回答一下就是说怎么做适配是吧我们现在已经面临这个困境了其实这个公司很多公司都有类似的问题我个人觉得最难其实是rebase 因为你内部做了fork以后你每增加一点东西你再下一期去rebase的难度就会有增加尤其是大家对于这个代码进行大改的时候你的rebase是按照指数级上升的就是它不是一个节点难难 [00:29:33] 就是说你加了十个代码你就下一次rebase和前一次rebase成本就一样很有可能它是在不断去迭代甚至你需要重新把你这个这些patch加上去它加的方式可能都变了所以说本质来说的话最好的还是说能够尽可能的贡献到开源这也是我们组当时在做研发这个一个宗旨就是说我的要求是永远我们的这个适配层要打包要把你所有的这个就像一些比较类似于如果说你们公司有一些核心的东西比如说modeling layer 你没有办法去贡献对吧因为这是你们公司自己proprietary 这部分你可以保留但是一些比如说接口层的东西比如说是一些这个API level 这种API signature这一块如果是尽可能能贡献就尽可能去贡献这样的话可以确保在未来对于你这个东西的一个适配性你不需要在接口上面做更多的这个工作只需要去让你的模型 [00:30:33] 不断在这个新的接口上能够去使用当然你最终还是能够做开源就开源要不然的话你的维护成本会越来越高然后同时的话我们同时在做agent这一块我们现在也在做能不能帮我们去rebase这个agent 但是他也不见得来只是rebase了而是说是需要每一个PR都去理解他到底想要做什么然后根据这个理解去重新在新的它的那个version和brunch上去进行apply 所以说反正总给大家说它是一个比较困难的事情然后需要看看能不能把它模块化然后piece by piece的把它给贡献出去吧这个问题没有特别好的解决方案这个我们能做的就是尽可能的模块化以及尽可能把室配层打爆然后我这边需要打个小宏告就是我现在每周六的话会在Utown组织一个vm的一个自习然后如果有住在新加坡的人的话可以来我们这边参与一下谢谢大家支持