138. 对罗福莉3.5小时访谈：AI范式已然巨变！OpenClaw、Agent范式很吃后训练、卡的分配、组织平权

[00:00:00] Hello,大家好,我是小俊 2026年,大模型战争全面升级,揭开了第二幕从预训练主导的XBOT时代,转向了后训练主导的Agent时代在AI范式巨变之际,我访谈了人工智能研究员罗福利罗福利曾供职于阿里达魔院DeepSeek 目前是小米大模型团队的负责人主导研发了MemoVR系列模型他在网络空间里有很多的标签,例如AI天才少女但他不喜欢这个称呼这是他的第一次访谈,也是他第一次进行长时间的技术访谈我们系统性的谈论了2026年由Cloud Opus 4.6 OpenCloud等技术变量所触发的AI矩阵以及后续的结构性影响罗福利预判称,接下来两三个月会非常精彩 [00:01:01] 那接下来就是我对福利的访谈期待2026年我们和AI共同进步这些能力都是可以被,我觉得最多一两个月慢的话三四个月,确实都可以被快速洗的所以环境反而比经验更重要你刚才也提到ET的模型可能是未来竞争的一个入场圈是这样吗? 是agent你要做到接近Cloud的4.6 Ops的水平的这样一个入场圈那我如果说我们这样子来说就是for研究跟for printtrain和for posttrain 我自己觉得一个非常合理的卡的一个比例是可能3比1比1 对,就printtrain和for posttrain 应该比例是投入的算力是相当的然后研究的比例应该至少是你正式起训练的卡总量的还要多一点 [00:02:01] 就你要额外留更多的卡来去做研究你过年的时候也跟我说就是你觉得技术这几个月其实已经变天了能不能阐述一下你觉得过去两个月的这个技术的突变我觉得一个非常大的一个分界点在于使用OpenClaw的前后我自己其实是会把OpenClaw把它当做一个划时代的agent框架去这么去定义我知道很多人在尤其是用Cloud Code做严肃编码的人就会觉得OK OpenClaw只是Cloud Code加一个IM的这样的一个更有利于交互的一个UI的设计其实在我1月份的时候我第一次看到这个东西的时候我自己大概也是这样认知所以我很排斥去用它然后我觉得再加上它创始人 [00:03:04] 我觉得非常适合贴近agent 去做一些非常玄幻的一些运营的动作所以就包括那个SkillHub这些的就让你更去排斥去用一个你觉得非常的偏运营导向的一个产品的东西感觉它是一个产品形态一个交互范式对一个交互的创新以及它所谓的本地化所谓的24小时在我来看其实都是一些产品的定义而已但真正发生一个转变是我去用它那一刻我觉得就恰好在春节的时候有那么一段空闲的时间你想去搞明白这玩意为什么他们那么火对然后我就在有一天深夜的时候去查车去装上它然后两个小时装上了分解是吧对当时已经凌晨两点了然后我第一次跟它对话的时候从凌晨两点持续到了六点天亮对就那一晚上我觉得我老累的那个 [00:04:05] 不知道是多歪还是累飞胎就持续在分泌就是让我就兴奋到完全睡不着觉就你可能第一个感受是 OK 他是他非常有自主性然后他非常有灵魂就比如说我跟他聊得很晚他会老提醒我 OK 你现在已经很晚了你要不早点去睡觉就我觉得这样的温度和关怀或说这样的情商是所有去open cloud的人第一个感受到的但后面去深究他的原因其实他是有很多机制去保证这个事情比如说他有他的所有的AMD 比如说他在他就拿最简单一个很小的一个细节比如说他怎么感知时间他就在每轮对话的这个context前面去拼上当前的时间然后就是一些非常细微的我觉得我为什么把它称之为所谓惊喜编排的context 就是因为他就是在这些很大家没有关注的角落上把这个context给编排的非常好这是你第一天的感受就是OK 我觉得他只是在产品设计上 [00:05:07] 确实做到了一种超乎我的一个想象让所有人觉得这个框架有灵魂但是第二天的时候我晚上我觉得他应该不止于此然后我开始尝试把我自己我觉得现在的框架做不成的日常生活中的事情交给他做然后我发现他全部做出来了比如说我跟他聊的基本上第二个话题是怎么去激发一个团队的好奇心或者说怎么去筛选出来就有好奇心的人然后他进行深入的探讨了一个小时我觉得他的很多折思上是远超我的想象的然后所以第二天我们俩就在聊怎么去构建一个更好的大部型的团队然后以及从最开始的人员的筛选到后边整个组织架构的构建到你怎么在面临范式转变的时候应该做什么样的举措和动作我觉得至少他能get到我的点 [00:06:07] 就我跟他说了过他最后能把它形成一套非常体系化的东西然后并且变成一套skills 然后所以我后边就用这个去很大去解放了至少我在非常多我有时候会遇到我甚至现在遇到有一些不管是筛选人或团队管理商的问题我现在都会问他然后我觉得他现在已经基本上变成了我的某一个数字分身只要在这个事情上然后但是真正让我超乎意料的是第三天的时候第三天的时候我尝试把一些研究上的一些任务交给他做比如说最简单的我觉得你怎么去如果我们在进行 agent 框架里边最关键一个事情是你怎么去进行多轮的交互那么你就必须要去模拟 user agent 进行多轮的交互那我就会跟他共同去构建一个很好的 user agent 怎么来在我来看这是一个非常 [00:07:09] 我自己觉得还挺重要的一个研究 topic 对我觉得应该不会说一两个小时就把它做出来但是当我跟他沟通了大概一两个小时过后我觉得这个事就已经做传对就基本上就已经达到有一个很好的 user agent 的诞生我可以用这个 user agent 跟我现在的这一套 post 圈的框架一块去构造出来更丰富的 agent 场景的数据然后不管是做SFT也好做R也好这个 user agent 都是非常关键的就我觉得他从一个我最开始对他的认知只是 OK 一个有灵魂有温度的一个产品的设计到他可以帮我替代我生活或工作当中的一部分到最后他能促进我研究这也就是三天发生的事情就每天他都能给我额外更多的惊喜然后我后边就去深入的去看为什么这个框架本身他比Cloud Code好在哪对 [00:08:10] 一个我后面发现这些所谓好在哪他我们单独去拎出来去讲他其实都有点 boring 就是我觉得他没有很 cool 这也是为什么大家会觉得 OpenCloud有很多槽点的地方但是他把它整合在一起你就会觉得他的完成度是非常高的就比如说他会有更持久的memory的体系这个很持久的memory体系体验在他对memory有分层和分级这个我在使用Cloud Code的时候是完全没有这样的感受的然后再比如说我自己觉得他在对多个模型的这种联合的利用上会非常的超过我的想象就比如说我用Cloud Code的时候我会默认他 OK 假设这个模型比如说他的视频理解能力不行那么我可能就要自己给他配一个更好的视频理解模型然后在Cloud Code去折腾但是我在OpenCloud的时候我完全不用想这个事情 [00:09:10] 我就直接发给他一段视频他会自己想办法去找一个 OK 视频理解能力好的模型就这种自主性这种自主去面对当代模型的缺点然后但是他针对这个缺点在框架上去补齐这个缺点这个能力是有点超过我的意料的因为我去用Cloud Code的时候我就默认OK 我是因为要用Cloud 4.6 Ops 这一代模型的能力我去用它的但是我去用OpenCloud的时候我不会关注模型的能力的一个原因是我认为OpenCloud框架的设计之初它其实是想尽量的通过 agent的整套的编排来去弥补模型的短板它一直我觉得这是它非常核心的一个产品的逻辑所以后面我们直接就把把我们的模型就是其实Memo Veriflash 当时并没有做很多针对训练训训练给它接到OpenCloud里边去甚至把我们最近训的一个 [00:10:11] 很小很小的一个端侧的3B模型进行去训练发现在这一套很复杂的 Skateford 或者说agent框架情况下它依然能做那些我自己认为不可能是一个非常小的模型能够做出来的事情所以这是我第一次感受到就是原来一个非常复杂的一个非常复杂的一套一种框架设计它是能够弥补非常多模型能力的短板然后当然了我觉得这是OpenCloud 本身它这个框架的一个相交于Cloud Code的一个差异化的优势但是其实对于如果说我们要去追求你怎么在不同的这个Skateford的框架下去模型都有一个超预期的非常稳定的表现那么就回到了另外一个命题另外一个命题就是当你有非常多 [00:11:11] 现在其实市场上的 Agent框架非常的丰富 Cloud Code OpenCloud 然后Kill Code OpenCode 等等当你面临这么多很复杂的 Agent框架的时候你怎么让你的模型在不同框架上都有一个非常稳定和超预期的表现然后你怎么让你的后训练的范式对你与之做适配和迁移然后就是我们在这个事儿 Context的冲击下快速的去思考了第二个问题然后所以我们对应的整个后训练范式就要从所谓的Chart到Agent 这样的一个前移所以你对OpenCloud的认知发生了一个非常大的变化这个是在春节期间发生的对为什么开始是抵触的呢我觉得如果要追求非常顶尖的编程的体验对 Code的体验就是哪怕是当下哪怕是当下也是Cloud Code加Cloud Ops 4.6是最好的 [00:12:11] 嗯所以如果你是在这样的一个终局去思考的话就其他的任何一种框架其实确实都可以忽略掉但是但是一个问题是 Code它是一个泛滑性非常强的一个场景嗯就是你针对它去做了非常多 Agent的设计也好或者说模型的训练也好它都是有价值的但并不代表说它这个泛滑性能保证你在 Facode的场景能够做到非常高的准确率和完成度嗯所以我觉得我觉得我那会儿虽然也会用Cloud Code 来做一些Facode的东西但是我并没有期待说它在这套框架上能给我一个很高的完成度因为我知道我会去帮它补充这套框架不具备的一些短板但是我去用OpenCloud的时候我觉得我不用考虑这些 [00:13:11] 就它完全在Agent框架本身就去弥补掉了很多模型的短板我能理解OpenCloud 是让Coding的能力放化出来的一个产品吗嗯它在很多设计逻辑上比如说它有更多的Message的Channel 比如说它有更自主的一些比如说像地址任务心跳任务然后这些更适合日常场景因为你写代码你通常不会需要一个心跳任务吧对然后但是如果你是日常生活你心跳任务就很关键它确实有很多框架的设计去为了让它去适应更好的日常的任务但是我觉得它也没有去丢弃掉说一个好的Agent框架本身的一些最基本的特点这些最基本特点我觉得后边是被Clark Code给吸蜡进去的就比如说它的持久化的一个记忆 Clark Code之前是它的记忆还是for 它的整个记忆系统设计 [00:14:12] 还是for软件工程的就比如说它会在Session内可能Session快满的时候我会有一个压缩的动作然后把它记忆进去然后我在完成任务的时候根据我的plan 可能会有一些记忆的动作然后保证我跨Session的时候它的context是更好的所以你能看到Clark Code 它的所有的Agent框架设计其实都是非常的for软件工程的就怎么去更好写好代码但是OpenClaw它的设计之初我觉得是借鉴的这个思想但是它更想的是它怎么更好端端端的去完成所有的任务并且怎么去弥补当下模型在端端端端完成任务上的短板然后去设计的所以像这种持久化记忆到后边这种你能通过一个更好的remote的界面能够去操控它然后等等这些所以很好的设计后边陆续这一两个月完全被Clark Code给吸蜡进去了 [00:15:13] 我觉得这也是一个双向的一个触动因为这些设计其实它对于编程或说泛编程翻编程就是指可以通过编程去完成一些看似跟代码无关的任务然后它是有帮助的但它背后是模型能力的提升吗它激发了中层的模型的上限它激发了中层模型的上限就可能我们如果没有这么一套很复杂的Agent框架可能中层的模型它达不到近似于Cloud Sunlight或Ops的水平但是你借助这样一个非常好的Agent框架那么你就能在绝大部分的场景除了那种非常难的需要长程任务的或者说真的需要我称为严肃编程吧就是比如说算自由化就算是严肃编程对然后像这种场景的话它确实可能距离顶端的模型还有差异但是在绝大部分的生活的场景或说只需要借助代码去提效的场景 [00:16:13] 那么其实这样一套新的Agent框架再加上一个中层的模型中层就是可能在85%的任务上能够达到跟Cloud Sunlight一样水准的模型那么其实它借助这样一个框架已经能发挥非常大的作用我听过一种说法就是它觉得OpenCloud如果是看作一个壳它释放了现在比较强的模型的能力是一个最好的壳这个模型就是Cloud Opera 4.6 其实我觉得你的整个表述不认可这个观点对吧认可认可我觉得它的上限一定是Cloud 4.6 是带来的就包括我在跟它高强度合作的那一周我只用Cloud 4.6 Ops 因为只有它能给我带来经验的感受但是当我用Cloud 4.6 Ops 沉淀下来那一堆经验 [00:17:15] 那些不管是skills Gills还是在Agents.amd别的一些关于它怎么我甚至自己去改了它的整个Agents架构设计因为它是开源的所以你可以自己改而这也是Cloud Code的另外一个弊端就是它的整个Agents架构设计是个黑盒然后这样黑盒就导致你你肯定改不了它的记忆系统你也改不了它的整个Agents workflow 但是因为OpenCloud它太Open了你可以自己尝试去改比如说我会让它自己去帮我设计一个重新的Memory系统我会让它我觉得它现在当时二点几版本的 Multiagent的整个逻辑我认为是很混乱的然后我自己去让它给我设计它新的Multiagent的系统我自己可以去改我所有的圆码就这样的一种原生的可操纵性给我的那种冲击感是很大的但这些事情基本上只有Code Office 4.6才能改但它我让Code Office 4.6 给我改好过后 [00:18:15] 这条框架本身是很好用的过后 OK 我再切换到Sunnet 再切换到国内的一些模型甚至我们当时正在训的VR Pro 我就觉得它就非常强大所以这也是我为什么觉得顶尖的模型应该跟顶尖的这种Agent框架是共同的往前去进步或者说这也是我最近对所谓的自学习以及反正前段时间有很多很火的这个概念的一个思考就是我在这个身上是第一次感受到了一个Agent的自学习到底是怎么个发生的就大概发生的途径就是说你确实需要这个模型本身给你这个Agent的架构本身同步的往前走然后模型在进步的时候就不管是通过强化学习续训练或其他训练方式在进步的时候 [00:19:15] 它其实也是在去改变你的整套Agent框架这个Agent框架包含它送给模型的静态的信息这些静态的信息比如说Memory就是静态的信息只要你写死了哪些东西应该送到起一个新的Session的时候你应该送到模型一边去或者我们叫Skifold吧这个东西其实是在训练过程中应该是变化的还有一些动态的信息动态的信息包含你整个Agent 本身的架构的设计对然后我觉得针对不同的场景就比如说Cloud Code的这种 For软件工程的场景和其他比如说做进入分析等等其他场景我觉得它的Agent架构的设计会有差异的然后你怎么在在提升模型能力的同时再去提升你的整个Agent框架的跟这个模型的一个适配程度或者说一个泛化能力 [00:20:16] 对然后这是我现在思考的自学系嗯你说的这个智能体的框架 Agent的框架是不是就是我们理解的产品不是它跟产品差异蛮大的怎么理解这个Agent的框架呃产品跟Agent之间的边界现在我不知道怎么去界定它有点它有点模糊对嗯就是我觉得产品可以定义成是说你直接人交互能感受到那一层的东西嗯但Agent框架它确实有在去定义你的交互层但是它同时又在去定义你怎么跟模型沟通那一层嗯嗯对所以然后它甚至能知道模型能力的长版短板然后它能知道怎么去更好做调度嗯就比如说Fore成本优化的调度嗯它相当于是一个中间层嗯它相人和模型之间的中间对对然后这个中间层它可以做的非常的厚重 [00:21:16] 然后反而那个前端的UI展示它是最薄的一层它已经不是很关键的对所以OpenCloud其实是展示了智能体的这个框架可以怎么做对这个框架的想象空间非常大之前有人做过吗嗯其实Cloud Code它一直是一套很复杂的一种框架只是因为它是黑盒所以我们不知道它怎么设计的 OpenCloud是开源的所以你知道它是怎么设计的然后并且你可以去改它就改它这个事是非常非常激发人的创造力的嗯就你知道它框架怎么设计你让它去改你自己限列一个新的框架出来你可以给予它限列一个新的框架出来这是为什么OpenCloud从二连级版本我当时用它的时候我自己觉得它并不好用所以我花了好几段时间去改它到三连级版本嗯就三月十多号的版本已经非常易用就你基本上啊基于三年级后的版本接一个啊还不错的模型你都会觉得它很强大 [00:22:17] 嗯而不是只有接靠的模型你会觉得它很强大就是因为它整个 agent架构哦受受一堆人开发者也好嗯或者说本身像像我这种哦是属于是啊呃一开始这个框架的开发者只是使用者我都能去改建它我佛我自己的场景去做改建和优化所以我觉得这是这个嗯或者说这是开源 agent框架本身的价值和意义对嗯在你高强度的那一周嗯就是跟OpenCloud交互的那一周你消耗了多少美金的OPPA4.6 嗯第一天反正就是快一千块钱一千刀哦我大概用了四五个小时嗯然后我中途疯狂也会切因为它太贵了然后我会切Sunlight 但是我发现真不行然后我就就只又又只能去用Obs 然后只有Obs 能带来那种那种经验感但但但后边但现在慢慢慢慢逐渐我发现不是这样了 [00:23:17] 嗯就是因为嗯因为它带给我经验感的那些东西发生在变化就呃我觉得人的信心真的是非常强的就我第一天感受到很惊艳的东西我第二天立马觉得不惊艳就我刚跟你讲的时候我都觉得我刚刚讲的第二三天的东西我怎么觉得这么boring啊好但它确实是我三天发生的事情对那我当下我确实觉得很惊艳那现在我自己也觉得不惊艳对因为因为因为你是一个很优秀的框架能力是非常强的所以所以你所以我现在已经可能让Obs 帮我把我的A级框架给打到好过后然后让我经验的事情就越来越少了所以我现在觉得反而缺乏的是而缺乏的是第一个是想象力就是我要疯狂去想还有什么事情它做不了对然后第二个就是我怎么去当它这些那些能做的事情都能做的时候我怎么去优化它的成本对优化它的速度对 [00:24:17] 我就在考虑这些事情了嗯你说的所有的发生都是在春节期间发生的嗯我觉得大量的思考是这样的时间发生的但是嗯我觉得一个人通常是薄弱的对就是或者说你还是会有自己的认知的一个坍缩就坍缩到虽然我那几天高度兴奋兴奋到我觉得我在群里面给大家发号我说强烈推荐大家去使用但没有人搭理我人家在过年对大家确实在陪家人然后我也不希望大家然后所以我都说强烈推荐然后后面过完年回来我看真正用的人是很少的因为大家对新起事物的这种尤其我真的觉得它有点玄化玄化对就是不太不太适合就不像不忍太可对大家大家会觉得故意玄化的东西太不真实了我我也是这个感觉所以你就不想去接触它然后嗯所以一开始的推动是蛮难的 [00:25:17] 然后但是我觉得第二天我觉得不行了就是我觉得必须让大家去用然后 OK 我就给大家想了一个一个指令我就说如果那个第二天 OpenClaw对话次数不超过一百年的人可以直接quit 但是我为了促进这个事情前面做了非常多了比如说因为大家那会 OpenClaw用整个部署期还是还是需要几个小时的时间我觉得没有必要大家所有人都去花这么多时间去去折腾一个充满bug的一套其实也没什么价值的一些事情然后所以就买了几台麦米里然后把它布出鞋然后把它把它都拉到这几个不同那个OpenClaw的群让大家去分不同方向强调强调在这个方向上在大群一边在一个飞出群一边然后聊然后为什么要在大群一边聊就是因为个人的想象力真的是局限的但是当你看到 [00:26:17] 别人用OpenClaw 居然能干成这个事情的时候你就会激发你自己的想象力所以我觉得大家的想象力是一个成绩的作用然后所以当我说这句话的时候其实我觉得我没有想过说第二天有人对话次数没超过一百我真的会把它那个我没有这个想法没有这样的人是吗对因为我没有最终去考核你没有办法验证这个事情我有办法验证但是我觉得验不验证不关键我只是想给大家表达一种一种态度是 OK你不用你可能真的要落后了对所以我第二天没有去因为中途有人过来问我那个CC你怎么去考核你的我跟他们说我说你们用就行了我说我有我的考核方式其实我的考核方式就是我不会考核对我只希望大家用起来就行了对然后所以那那那那那两天春节回来午后两天整个团队的人就在一天到晚 [00:27:17] 感觉不像在上班就在群里边而那个这个嗯躁动对可以叫躁动就是你看别人能完成这个事情让你也很想玩然后他就在群里边就是那个群消息我只要十分钟不看 999家那四种哈但也没有这么夸张就是就是很多就大家一块在群里边玩玩的非常happy 她是一个非常happy的一个旅程一点都不酷一点都不残酷就真的很好玩然后ok 那么玩了两天下一步我会发现哇这个事儿这么好玩那那怎么办了那那搞啊就就就所有所有人心目中想那ok我要怎么去借助一个这么好的一种框架去提升模型的能力同时我怎么让我的模型去改变现在的一种框架就就就马上进入到这样的一个研究范式里边去所以其实一旦进入这样一个研究范式以及我刚刚讲的我们有Calcode的这种其实在绝大部分场景表现输出更稳定的这样一套框架虽然它是黑猴我们不知道但它确实 [00:28:17] 不管是for研究也好 for coding也好它确实是一个比open cloud更稳定的一个框架更好的一个框架然后那么你再在这个框架里边去激发你的去扩展延展你的研究的想法并且让它帮你实现然后并且快速的去训练启动模型训练这个事就会大幅的加速所以我觉得我们基本上可能在三四周的时间做完了以前可能三四十周的时间才能做到的事情就在研究上我觉得我觉得这个事是我后边真的我们被这个框架点燃热情到最后它产生价值这个过程中我觉得我从群体智能上我觉得我的成长和收获会更大对在你们那个非常躁动的群里探索的最好玩的几个任务是什么现在听起来都不好玩 [00:29:17] 但当时的冲击感都很强最让你有冲击的最让我有冲击的最让我有冲击的还是大家一块去改那个框架本身就是你想着怎么去改进那个框架本身因为当时那个框架真的问题很多还有就是它的memory真的做得非常的智能因为我们在一个群里边大概有近一百个人然后我觉得那个飞出了整个的 Message的channel 应该还是做的不是那么智能的它至少没有那么把人跟人之间区分的很好但是它的整个聊天的上下文它对每个人的画像的把控然后以及每个人的memory 我觉得都没有串的太厉害就可用度非常高我觉得这个是模型能力强的表现这个跟Agent框架没有关系因为在一个群里边上一百多个人在那聊天然后一百多个人都有不同的背景 [00:30:17] 一百多个人都在疯狂改它然后都没有把这个模型给改坏都没有把这套Agent框架给改坏然后它还变得非常智能我觉得这也是我第一次感受到你怎么用一群人的智慧去提升一个事情本身然后如果说我自己单一的去改这个Agent框架但是别人感受不到这个框架的智能我觉得它好像差点意思或者说这个框架本身的进步的速度是非常慢的但如果Agent去改进它进步速度非常快的可能几个小时就跌跌了一段类似这种感觉所以你会觉得可能所以我们第三天第四天把它接到我们自己的模型上去用的时候你会发现怎么也挺好用的怎么还没选择跟Cloud差不多了当时第三四天就这么感觉了但是你要测的更多你会发现还是有很多东西没有Cloud的问题然后所以你就但这个事带了一个冲击就是 [00:31:18] 你会发现你利用群体智能去提升Agent框架能去提升Agent框架是非常重要的所以我也很非常的欣喜看到 OpenCore后面的那个Stars量就飞升我觉得这是Agent框架到来前照必须要有的事情对因为你一直对研究方向非常的敏锐基于我们上次聊过很多所以你觉得上面这些变化给你带来了什么样的直觉你觉得未来一段时间会发生哪些变化就之前可能做研究的一个方式是你从你想到你写代码到你去设计一个很好的评估标准这中间的流程还是蛮漫长的就你至少要花两周一两周我觉得快的话可能除非如果你的评估是确定的然后你的Thema只需要修改可能你也需要一两天但是我觉得至少在Agent有辅助的情况下 [00:32:21] 他真的可以一两个小时就把这些事情给做完我觉得效率的提升基本上是代表着一个非常本质的一个问题然后这是我觉得在这个时代上做研究研究的Test非常关键的一个原因或说你的研究效率非常关键的一个原因其实我一直把研究效率看得很关键只是Agent去放大加速的这个研究效率然后如果这个时候你的Test又比较准的话那么就做一个准当然有可能是十个里边有一个能成但是这十个可以并行做你十个可以并行做你不用像以前一样拍不来做你可以十个idea 交给不同的sub-agrant的同时做他们还能交叉验证 OK 那很快可能一个小时两个小时就最多一天你无非烧很多token [00:33:22] 然后你就能验证你这个研究的想法然后关键是他还可以如果你愿意长期的去培养他还可以自己自迭代进化那在Code里边不行但你换一个更开放的框架然后他是可以自己迭代进化的所以我觉得这是给我带来做研究的冲击吧嗯所以它是改变了整个研究的节奏对效率和方式都会发生我觉得很根本性的变化嗯这对你们后来带来什么样的改变在你经历了春节和春节之后的整个的冲击之后嗯你接下来做了什么其实我觉得接下来做的事情就是搞明白就是嗯为什么嗯 Code是一个非常嗯有繁花力的一个事情嗯然后嗯以及你怎么把Code的这种繁花力给外延到其他领域嗯嗯 [00:34:22] 其实Code它它有繁花力的一个最本质的原因是嗯也有分好好几个阶段哈嗯首先Agent它是一个非常长城和多轮的一个任务对嗯我们回到预训练环节然后你很难去找到说有哦比如说哦一兆上下文的数据甚至128k的数据你都很难去找到但是嗯比如说真正能达到128到一兆这个长度的数据基本上都是嗯只有两类数据大概率只有两类数据一类是Code数据一类就是书籍但书籍书籍它的信号太发散了嗯 Code它的呃这个嗯文件之间的关联然后嗯是更强的嗯所以当你在一个嗯 [00:35:22] 这种嗯文件文件文件文件文件对这个是我们可能在嗯没有去直到 Agent这个事是那么重要的事情之前我们就去做的事情所以你可以理解为这个基座本身它就为长上下文的能力和效率效率很关键效率我们待会再谈嗯长上下文的能力和效率已经做好了充分的准备这个是在我们没有去受到这么大冲击的事情之前已经做了的但是嗯春节后做的事情是你怎么去激发这样一个大的模型的潜力从扣的出发到外延到其他的场景嗯因为其他场景是你训了它会更稳定嗯但你没训它它能被泛化只是说它没有那么稳定而一个顶尖模型的水平一定是要在更广泛场景里面更稳定嗯所以带扣的是拿它的上限然后你训其他里面是保它的下限 [00:36:22] 我是这么认为嗯然后所以就是你首先要把code做了 code的这种长程任务做的更多样性嗯所以你为什么软件开发那么重要就是软件开发真的是一个非常长程的任务你把它做好了基本上很多模型的通用的特质就就已经好了不管不仅是模型通用的特质好了是这个一切的框架本身也迭代的非常好了嗯嗯就像像plan这种模式像这种嗯嗯厂商上到一定的阶段你要去压缩压缩完过后第二天你要再去回顾你你之前修改这些agent框架的设计本身其实是为软件开发做准备的但这种这些框架它都是有泛化性的它都能泛化到其他更难的长程任务里面去然后然后所以就是春心西安后座的事情第一是一定要在agent场景里面把真的长程的任务给它啊构造出来并且训练进去然后并且在这上面去scanning大量的 [00:37:23] SFT训练和RL训练对然后第二个就是我觉得还是你要考虑它的泛化性的话你还是要覆盖更多领域所以但这个时候怎么去覆盖更多领域我觉得就是要靠更多靠群体的智慧就你让更多人去用它然后基于更多人去用的比如说我们内部会大量去使用我们会让我们这个模型首先在公司内部去推大量去人用用了过后然后我们发觉到更广泛的场景在这个广泛场景里面去合成更多的数据来做训练对嗯然后这里边很关键的一个问题是嗯你怎么哦还原当时所有人用这个事情的环境嗯对因为有这个环境你才能更好的去嗯进行更长程的交互然后并且呃有了环境过后你才可以针对这个环境本身去做 [00:38:23] 哦更精准的如我的设定对然后这个事情是比较有难度的然后我觉得呃也是我认为在这世界上如果突兀的算力足够多的话研究的实验足够多的话应该会有一些代差的模型的出现对而这个你们现在是怎么做的现在才能做的保密真的要保密对和reward 嗯啊我觉得等我们把这套范式给skinning到一个很大的量级的时候我觉得我们会开源告诉大家嗯但是做长生任务不是会中断吗呃其实真正的以照上下文里边很基本上很少有任务是在做一个任务对它通常是在做复杂的任务嗯对所以其实呃你要把一照上下文做得很好当下阶段当下阶段我说当下可能就是当下一两周的阶段嗯不代表未来两三周的阶段就是嗯可能并不是真的要找到 [00:39:23] 要把一照上下文塞满的任务当然你要找到的更好但是这个任务是很难的而且它的训练效率太低了就是你要训练完嗯一照你要ro out 玩一整个trajectory 一照的trajectory 它非常慢哪怕我们现在的TPS能做到80到100 像在Memo VR Pro上能做到80到100的TPS 你要ro out 一照上下文也是需要需要时间需要可能一两分钟的时间了所以呃呃所以所以其实真实的训练不会在这么长程的任务上去训嗯嗯但是可以有在一照的contextable去训练过呃预训练过并且呃后训练有对应的任务稍微激活它一下它通常就能在一照的contextable 具备这样的一个能力但是我们需要再提升对需要再提升所以你看现在cloud 呃在我觉得真的在一照上下文的呃呃能力的稳定度上 [00:40:23] 基本上现在只有cloud 4.6 ops 和Sunlet 是是领先的我其实其他像JML 嗯 JML虽然虽然仿称是厂商效能力很好但其实都是不行的嗯对你觉得量化里面挖掘因子会是好的长程人物吗嗯看错的是什么资产对嗯就是有很多资产它它的握得太太不清晰了对嗯有些资产是大部分的资产是不太适合呃做长程人物建模的嗯这个具体我就不展开说反正就是嗯某些资产是非常不适合的嗯它嗯就回测是没有没有价值的然后你要到真实的环境里面去run的话它有可能不是不是短期的因素而是一些更长期的因素或一些 [00:41:23] 额外的一些阿尔法本身被这个模型建模不进去的一些东西所以得选资产就是选选对这个就ok 我觉得嗯新模型我放在后面说我们先把open cloud这个话题聊完嗯你观察就你观察你觉得open cloud是怎么样的一个火起来的链路啊而且我明显感觉到在中国它的火的程度比在美国要更强为什么我看到还有一个很好玩的说法叫西瞎东扬叫什么西瞎东扬西瞎东扬哦嗯因为我不了解湾曲对它的热度哈嗯对所以我我仅从你的视角对仅从我自己以及我身边人的视角我觉得可能的一个原因是就中国的开发者我觉得是更更更多的就是 [00:42:23] 我说开发者是指他可以用code去提升他的生的效率的场景可能是要求更急迫的对要求更急迫的就我觉得对于效率的提升好像是是是我们的血液里边的东西然后嗯所以我觉得当就open cloud能把这个事给给效率提升给拿到极致所以我自己感觉这是他火的一部分的原因之一当然当然我觉得还有一个原因是我觉得跟国内大木型的发展也密切相关就嗯我们的效率提升的场景目前确实不需要浪就是可能我觉得85%不需要最顶尖的模型所以然后我们又有那么多便宜好用的模型可以用然后你一算这个性价比是非常划算的就是这个模型的API的费用跟它替代的生产力的价值的系数比是很大的 [00:43:30] 所以你去体验它会更有动力它可能花10块钱的API就能帮你干完1000块钱的事情那你肯定很愿意用如果你的API贵那么10倍或几十倍中间那个差距很小那么你会很排斥的去用这样一套很复杂的东西对去优化它对但是关于agent 其实已经讲了一年了对吧嗯去年年初的时候大家就开始说这是agent元年为什么到现在才开始火你觉得这个跟去年有什么不一样对就我觉得我我认为之前讲的agent应该都是非常在我的定义边我觉得它不算agent 它只能算是一个嗯上下为稍微比较的复杂一点点的东西就不管是像browscamp 像swebunch 然后这些search和code的agent的框架其实都非常的简洁就相比于现在的codecode也好相比于opencode也好它的agent框架太过于简洁了 [00:44:31] 然后这样的简洁性就导致首先它简洁其次它不通用对就这样过于简洁和不通用导致它只能for这个任务来设定所以那些我们看到在browscamp swebunch 那swebunch有它的问题是因为它本身关注领域也太单一了就去修bug 它并不是for真正的软件开发对就是我觉得至少在去年上半年乃至下半年很多看似foragent的模型它其实只是说我换了一个更复杂的 system prompt 然后稍微带一点点环境的反馈稍微带一点点环境的反馈比如swebunch还是有环境的反馈的 Talbunch也是有的然后稍微带一点环境的反馈和交互然后让模型具备一点遵循复遵循复杂system prompt和理解环境交互的这样一个能力 [00:45:33] 我觉得那会只能是做到这个水平但是它根本没有达到工业极可用的能力最简单就是什么叫工业极可用就是你把它接到Code或OpenCode里边去用你会发现它不可用它有很多问题对最简单它就理解不了这套框架本身然后它也没有针对这套框架本身人跟它的交互范式会发生变化比如人跟它交互范式发生最大的变化是人不再会去修改代码人不再会去关注 OK 这一行代码出错了你帮我改一下这样的query是不会再出现的然后人只会提一些更高阶的比如说增加限制增加限制就是提澄清需求然后架构设计人会参与架构设计因为现在好多架构设计还是人更强的以及辅助理解业务逻辑这是skills的价值 [00:46:35] 这个业务逻辑是模型本身不具备的其实很多业务逻辑它是企业类部的东西对或说真实环境里边沉淀下来的东西这个你必须要跟它很多轮交互才会沉淀下来的东西所以我认为之前那些一件换架就不能叫一件换架吧就没有任何可用度然后在那些benchmark上表现非常高的模型也不代表它的AC能力是真的强对所以我们在优化这一版模型的时候是完全放弃这些benchmark 我们基本上就不关注这些benchmark了就当你面临一个很大的范式变化的时候其实只要你路径走对了其实你可以短暂非常短暂的一个窗口期里去忽略评估因为你靠体感你就能立马测出来一个非常大的质的差异对但是当你慢慢迈入深水期许的时候还是需要一些非常静细的评估的所以skill是不是改变了模型的生态 [00:47:37] 改变了模型在这种高复杂度就是流程复杂度的任务上的执行的准确率对因为它其实是定义了套执行的规范对然后这套执行的规范是很难在运训练的数据边具备的因为运训练的数据边没有这种interlow的信息这些信息通常是大量企业内部自己去沉淀和积累的这种由人和人之间产生的一些组织上遗留下来的一些规范我觉得更多是组织上遗留下来的规范然后但是就这不可能在运训练数据边出现但是可以由人交agent 跟他多轮交互通过完成几个任务把这套规范让agent学会所以agent就会所以现在大量skills 其实是agent自己写的 [00:48:37] 对那skills也是在cloud里面诞生的对不对对但是这就是出现一个问题就是确实是opencloud 把skills这个事给带火的我说带火就是它让更多人去贡献skills这个社区这个是非常关键的因为这就是属于我觉得人跟agent需要共创的地方对如果你没有那么多人高阶就是没有那么多这种另类信息我觉得它确实另外一种alpha 它是另类信息跟当前agent的共创的话那么agent 或者说最顶尖的模型能力也很难发挥出来这也是你说的群体智能可以这么说可以这么说所以经验成 skills 变得如果更重要了它是不是预训练的一种补充对因为预训练其实它大部分依赖的知识 [00:49:37] 还是你在互联网上可访问到的知识但很多知识或者说很多智能应该说很多智能我们是在互联网上访问不到的嗯那么这个时候它就以另外一种形态出现我觉得现在skills 算是一种吧对它其实提供了一种交互的方式让人去主动贡献数据嗯对贡献更让模型執行任务的成功率更高的方式对如果重新来定义一下所谓的因为我以前有deep seek moment 然后有open eye 有xpt moment 如果重新定义一下这个所谓的open cloud moment 你会怎么定义它嗯这个moment 它会更时间时间线更长就是因为它延续的章节太太久了人家还不会觉得它是个新东西然后它后续的章节了但是我觉得对我们已经嗯信这个事情的人而言比较believe这个事情而言 [00:50:37] 我们反应速度足够快的但我不知道我不知道其他人有没有follow up上对所以就是从我的个人的感官上就是这个moment 它会隐序的时间更长更深远嗯它不是嗯这个更深远是说嗯它可能嗯能力更外放到更多呃人能感受到的场景里边去所以它更深远但是它这个流动是需要时间的嗯对嗯它的能溢出的能量能力更强强很多对它不像它没有一个非常清晰的那么清晰的例如像OER1 它会有一个嗯数学代码这种有ground truth 一个东西在这 OK 你fresh上去了模型就具备这个能力的像一个非常清晰的标准的界定当然我觉得有 agent [00:51:37] 其实确实有很多场景你是有需要有清晰标准系列对对所以所以然后它产生的价值也是慢慢的到一个领际点突然进一大步其实靠4.0 OPS 确实是实际上一个进一大步的突然的一个一个时间点然后但是但是OER1做这个事情这个路径也是持续了两年的至少有两年的我们能看的嗯那刚刚为什么这个事情不是anthropies自己做出来嗯我觉得还是就一个开源一个避远的原因吧就是嗯你的框架你是没有办法去洞察内部的设计的所以你没有办法利用大部分更多人的智慧去改进它但开源就是你就可以用更多人的智慧去改进它嗯可能也不符合anthropic 对安全性的追求其实我现在觉得安全性嗯绝大部分还是模型本身 [00:52:38] 应该去追求的事情对我们不能嗯太过于去去要求一个框架本身是过于安全的但是框架本身可以做非常多的事情嗯我觉得开源跟安全性并不冲突嗯因为我们会把很多数据授权给open cloud 嗯如果我们把大量的个人隐私数据授权给它的话怎么缓解就是更多普通人对于安全性的这种焦虑嗯嗯所以其实我我这是我为什么说要做开源的原因就是嗯我觉得还是会有一天嗯而且应该很快也会到来就是人的大部分简单的任务就除了那些非常难的人物就是其实跟隐私相关任务有很多还是没有那么高难度的任务其实你完全是可以放在本地化去做的对就你你自己会由于自己随身携带的有可能随身携带有可能是在在家或某个场景边有一块嗯 [00:53:38] 嗯芯片对然后你所有的数据都在本地然后嗯所有的涉及到隐私数据的的这些场景都在本地推理这是很关键就是在本地推理然后涉及到一些非隐私然后高难度高创造力高复杂的人我再去云端推理其实这样是能够解误的然后这也是为什么我说一个好的一定的框架借助一个我自己觉得很小的3B的模型它发挥的这个它自己能做的任务的复杂度都已经超乎我的想象了然后就这个事激发了我自己对于其实比如说所以所以段云混合也好所以隐私的本地化也好有一些思考但是我觉得还很初步对因为这些思考不仅是需要模型这一侧做非常多东西还需要本身架构这一层然后一块往前走所以这也是我为什么觉得开源是如此重要的一个事情的原因就是我觉得这需要更多人一块来做而不是某一个公司 [00:54:38] 就把它能做好的对接下来你觉得我们会看到什么在Open Cloud 已经火了这么几个月之后就2026年大家会基于它做什么国内已经有很多动作了也出现了各种的Cloud 包括你们 Memo Cloud 嗯就是其实所谓现在很多很多Cloud 只是让它大家以一种不同的交互形态然后去访问到不同的模型和不同的一些的框架但是我觉得真正那种去让这个框架自迭代或说更强调自进化和自迭代的框架我觉得还没有大规模的诞生和出现然后以及你怎么去利用绝大部分人的智慧去创造一个更强的框架也还没有出现这两层一层是框架本身的自进化一层是 [00:55:38] 一层是Agent本身的自进化一层是Agent跟人之间的自进化我还没有看到就我们现在做的其实是怎么更好的Model 以及怎么让Agent去适应这个Model 对其实是在做Agent跟Model之间的双向流动但还没有在框架层我觉得未来需要做的事情其实是怎么让框架自己进化以及框架跟人互相进化这是你们现在的着重大致的方向对我会去深入研究的事情你觉得现在的没有做到的核心的缺陷在哪里就可能补足了某一个短板它也许就能成了缺陷是我们刚坐到这里我觉得我也不知道我说别做不做反正我觉得就是只是因为时间原因我们刚坐到这里而已然后未来的这个加速度是会很快的不仅是我们我觉得 [00:56:38] 应该是这么去定义现在只要拥有一个 non-conscious 非常inflation的模型架构的厂商并且它在做预训练阶段把code的能力给做得非常好的它有这样一个model 这个model参数上可能至少我希望我觉得至少一梯以上吧对只要有这样的一个入场券的人基本都处于同一水平线去做这个事情当然我说别肯定是走到前面了我只是说目前上一个时代的成功并不意味着下一个时代的领先现在基本上大家在同一水平线这是一个什么样的时代 agent的时代怎么定义它就是我觉得就是生产力加速变革的时代对近年生产力会爆发对吧对从最就是大家会觉得很多工作不需要自己做这是最直接的感受从只要你接触到这个事情过后 [00:57:38] 你就发现你的好多工作都会被替代掉那么这个时候人应该去思考就是说到底自己的意义和价值是什么所以 agent能做什么样的高价值任务是不是变得更重要了你要从提升顶尖模型的能力的角度上来说肯定是让agent去替代更高价值的任务是重要的因为更高价值的任务它意味着更长的context 然后意味着更多的token消耗量嗯它肯定是更多的token消耗量然后意味着嗯它替代人的它最终这个能替代到最顶尖那群的智能就够了其实因为下边那群的智能是可以慢慢的以另外一种方式来替代掉的对然后总之就是如果说要为了for追求更强的模型能力的角度上来说肯定是完全for更高价值的场景做是更有价值的对 [00:58:38] 嗯但另外一个影片角度是说你是要做一个对全社会更有更有益的对所有人都有帮助的一个模型那么就不应该for更高价值的场景去做而是让所有人都能感受到这个模型的智能水平那么它可能是另外一种做法有可能是另外一种做法对就比如说在这种场景里边你就更需要在乎多么太因为在更更更更广泛场景里边多么太尤其是对视频的理解对于一些更细微的环境的的理解然后嗯它是更关键的然后以及就是要注重成本成本是产生革命非常重要的因素就你不能说你完成一个任务要花一千刀对吧那我觉得很多任务场景就除了很多任务场景觉得它它必须要达到一个很高的一个替换系数比 [00:59:38] 你能帮我提升十倍的成本我可能才会考虑去试吧对所以这个时候你怎么去做一个更低成本更高效率速度更高速度的这样的一套一阵的框架以及对应结合的模型那就很关键所以这是两种两种发展思路对你会怎么定义2026年嗯我觉得我很难去定义它因为因为我嗯我觉得两个月都已经现在对我来说是发展巨变的就我我们做两周的事情我觉得基本上就就就让我们很难相信这些两周内做的事情就在过去两周发生的事情所以所以我都不知道这一年接下来会发生什么基本上是处于在这种高度欣赋的状态嗯我很好奇啊就是从2022年底 XHP诞生然后当时大家就觉得 AI一定是生产力革命到今天就发展三年 [01:00:38] 你觉得它带来了哪些先决条件让今天的生产力爆发可能成为一个更可能的时间点就是它是哪些条件变得成熟了就我觉得第一个关键点是不再是算法工程师在做这个事情我我自己会把这个事觉得是一个非常有标志性的节点比如说之前是你会觉得只有啊啊 researcher 或说算法的人在去考虑怎么去提升智能水平嗯但你会现在会发现嗯还会有不就是所有所有懂懂懂写代码人都在一块去考虑去提升模型能去提升这整个东西的智能水平嗯我觉得这是最主要的差异就不管是它是在写skills也好去盖agent框架也好嗯还是去嗯设计更好的研究范式也好嗯这是三个层面嗯我觉得是所有人都在 [01:01:38] 让嗯自己的智能去加速这个事情嗯这是我认为最大的一个变化嗯嗯我突然想到pick去年底的那一期播客里的最后一句话它就说agent的进化需要所有人参与对嗯所以现在是让我有这种感觉而且现在其实现在已经是了只是现在唯一唯一没发生的就是我刚刚说的呃 agent跟人怎么更好的更加速更加速因为agent也要自迭代人也要自迭代那我聊天吧对聊天是一种然后那会不会有一些更自然的方式嗯嗯有一些思考就比如说我要是真的能能带一个非常好的设备一整天跟着我然后我所有说的话我见过的人他都知道我觉得他进化速度应该比我快我自己认为他应该比我快因为因为他他他的他后边依赖的算力会更多嗯然后嗯他会很快替代我对而且他是他他不会今天记得明天不记得他是非常稳定的 [01:02:38] 而且他是只有进化的一条曲线而且他乐此不疲他他不需要休息你刚提到那个说国内的人我们可乐更热更热更热情那完全人现在是怎么评价的模型公司的人不是很care这个东西我感觉模型公司的人不是很care的事情嗯嗯那真的跟我们蛮不一样他可能觉得这个事情不难嗯我一开始也觉得这个事情不难嗯然后到后边我就觉得他整个A型的设计是非常非常巧妙的我说这个巧妙的我说这个巧妙是指我觉得他弥补了很多模型短板嗯他是怎么精巧巧妙的去构建的这个编排啊我怀疑这个原因是他最开始是基于 Cloud的上一代模型去做的嗯就Cloud的上一代4.5 哪怕是Ops Sunnet 其实是不够那么强的所以你就要必须在系统的设计上 A型的框架的设计上你要设计得更精细一点 [01:03:39] 去把它这个短板给补起来对然后嗯这就导致了 Ops的进步了但是国内的大部分的模型可能刚靠近 Cloud的4.5 Sunnet和Ops的水平然后反而这两个在这握手了嗯我觉得是这样一个原因那如果模型能提高的话他这些精巧的偏排还需要吗嗯还是需要的就是出于对成本的考量是需要的就是我们永远会去追求一个成本和效率最低的一个一套方案嗯这个是生产力革命的非常钳制的要求所以不可能说我们所有的场景都用最顶尖的模型因为它太贵了嗯所以更有可能是 A型的在进化模型在进化然后模型进化的方式有可能是嗯同一个水平的模型在越变越小它也是一种进化嗯嗯虽然我们没有在做这样的事情但它确实是一种方式嗯 [01:04:39] 也就是说现在可能激活10B的一个模型嗯可能过一年它就能做到考的4.6OPS的水平这个这个是几大概率会发生嗯那那那激活10B的模型是很便宜的然后可能然后可能一两块钱就能有百万的上下纹所以那你为什么不用一个更小的模型它反应速度更快更厘米基于这套A型的框架很好用你还可以改这套框架那为什么不拥抱它了对嗯它其实让不那么好的模型有了更好发挥的空间它上线更高它对嗯所以其实更符合国内的叙事对吧不知道国内叙事是什么但是会让人很想用它很想用它替代自己的工作嗯所以需要小尺寸的端侧模型爆发吗这个趋势肯定会发生但是我觉得它不是26年的一个主要的旋律嗯它是一个支线而且是会持续发生的事情 26年的主要旋律就是生产力的变化 [01:05:41] 高生产力场景的持续突破所以我们要做更长程的任务然后更强调多A型的直接的协作因为更复杂任务它不可能是单一A型的去做的但多A型的协作某种程度上也是为了成本的考量对成本和时间的考量对然后嗯以及怎么去激发 A型的这个群体的智慧我现在觉得现在市场上的现在已经看到的 Multi Agent的工作都有点尾我说这个尾是说真的依赖于Multi Agent能够实现更好的最终的任务的完成率在这个维度上我觉得是有点伪的但是它能提升效率就是速度就是这个任务完成最终的速度以及它最终能够节省成本这个是确定的这个是确定的Multi Agent能但我没有看到说 Multi Agent能一定最终能够实现一个更高上限的一个东西但但它会发展它进展 [01:06:41] 只是我目前还没有看到所以今年的叙事其实跟前三年已经发生了很大的变化嗯我自己是怎么感知到的 Kimi的人跟我说他们觉得他们跟豆包已经开始玩不一样的游戏了豆包元宝阿里都在玩混乱网产品的游戏因为他们在打DAU 然后Kimi的人他们是觉得他们在就是走了anthropic那条路你们在玩一场什么样的游戏啊就可能我们追求的事情是我自己觉得什么时候能够超越自己吧嗯我是这么去定义的因为我觉得我对AGI的一个定义会非常的模糊的一个原因就是因为嗯我觉得没有必要去追求一个非常清晰的一个AGI的定义那AGI发生的时候所有人都会感知到的就是因为你发现每个人的生活你的生活方式你的工作方式已经未知长达很长的时间已经慢慢的被它改变了 [01:07:42] 嗯所以在这个过程中追求DAU 追求这些东西它并不会改变我它并不会促成这个目标就是让这个模型代替我它并不会促成我这个目标所以我就完全没有在想这些事情嗯而如果说我们去追求一些中间的目标比如说你去追求Token消耗量嗯你去追求它完成更高价值的任务它是在往这个目标去靠近的对因为要完成可能替代我自己的任务它确实是需要更多的Token消耗量嗯它需要具备更复杂的context 嗯嗯它需要去调动其他人的智能水平嗯团队管理其实就是要去调动其他人的智能水平嗯对所以嗯技术创新也是你你需要具备更多的数据访问的权限你需要具备嗯给你一个集群你会用一个GPU集群你会用它并且你要自己去定义一套评估标准 [01:08:44] 当你在这个集中训了个模型你怎么去验证这些事情就是呃我想像的是我们应该让这个模型结合一套框架本身应该去完成这些事情和任务嗯而不是去追求呃另外一个叙事上的事情所以我就没有太理解呃他们那个叙事吧你说DAU的叙事是吧对就是我自己觉得这个叙事就嗯不太符合我自己的呃呃我们做做研究的一个路径嗯过去两个月你觉得你的生活发生什么样变化嗯生活就是呃抗训还有抗训就是呃就是你感觉每天呃都会发现 AGE的框架本身或模型本身又进步了所以今年带着给你很强的 AHA moment 这个可能比过去的Triple更强呃对而且它是持续的就它持续的就它你感觉它停不下来嗯这是比较大的变化我觉得RE可能就是那一阵就你去体验它的那一刻你用到它了 [01:09:44] 然后呃呃你发现它具备很好的思考能力了然后这个思考能力从科罗根马斯外放到其他领域也就是那一刻然后那一刻玩忽后你没有感觉它有持续性但AGE这个事你会觉得它一直在持续我觉得这种持续性是呃是完全不一样的感受因为有这样的持续性所以你会更坚信这个事它在全面加速嗯有什么样的一个任务是你过去觉得它绝对不可能做到但是今天它可以做到就续模型这个事我自己觉得以前我认为是很难的嗯因为嗯你要涉及到跟一个更复杂的比如深度学习平台的融合听起来就不太靠谱然后以及你怎么去嗯让模型具备你有的context 因为一个研究员他要有的context 是很长的嗯你要经过很长的科研的培养比如说一个博士他有五年的科研的培养对吧你怎么让一个大模型 [01:10:44] 跟你有一样的context 这个事是很难的我之前认为是不太可能的但是我最近发现原来他很聪明聪明到你只要把你近期的context 告诉他他甚至能帮你复原出来你自己的科研的成长的路径嗯你让这个时候你再去跟他讨论同样的topic的时候你发现他跟你一样聪明就这个事是很残酷的就我之前认为我们自己做的工作已经是足够有创造力足够不会被scale化不会被brokeflow化的但我现在发现他竟然也能然后也就是说可能过一段时间他真的能训一个我们能训出来的模型他也能训出来了那他可不可以训出更强的模型呢然后他就自己左脚踩右脚就提升了我觉得这个事情是很有可能发生的这个可能是一个非常大的转变对所以他可能真的能依靠于他自己产生更强的智能进化他先吸收所有人的智能然后再靠自己产生更强的智能 [01:11:44] 我觉得这个事肯定是就在这一两年发生的事情我刚才听你的整个描述我会有一种感觉我觉得你训模型的方式好像和你管团队的方式有某种相似性主要的原因是他确实需要群体智能对不是个人英雄主义当然不是就是他需要每个环节上都是足够 believe和极致的人对什么叫群体智能在模型训练上可能不同的agent 他需要有自己的context 然后有自己context的原因是当模型能力没有那么强的时候有自己的独立的context 他会更他会更专注对专注还是蛮重要的就是你的context 不被混乱然后他能完成得更准然后所以就是你可以解决我们现在训模型可能需要非常懂英法人然后去写一套非常好的训练 [01:12:44] 训练或推理的架构然后需要他从推理的视野去倒推跟做能懂模型评估以及模型训练的人一块去定一个非常好的模型结构有这样一个中间的collection的合作然后这个非常懂模型训练和懂模型评估的人又要学会去跟做数据的同学去进入去沟通说OK我们要赋予模型什么样的能力我们需要去构造什么样的数据然后同时呢做数据这一群人他又同时需要参与一训练跟后训练因为一训练跟后训练他的数据的sense是通的对然后嗯你要你要真分的话还是有很多subway 但这些subway 所以说我们最近的之间他们的context 有独立的地方也有观点的地方然后我觉得这样一套复杂的框架现在目前看起来是能够被被模拟出来的确实能够被模拟出来的然后然后 [01:13:44] 这也是我为什么我自己然后玩open color第二天我就开始让他去去当时我在家嘛然后我就让我家里边的每个人就我爸爸我妈妈然后我老公然后每个人都有一个自己的subway 我们拿到一个废数群每个人也可以自己跟自己的独立的subway 去聊天然后他自己进化然后然后我就会在那个群里我会派一个任务给他们的subway 让他们赶然后因为我们的context是不一样的然后让他干确实他会他会因为他有更好的context 所以他会干得更好就也就是这样一很粗钱的尝试让我相信就是这个事应该就同样很简单的事情他他换到一个更高复杂度更有创造力的场景嗯只要模型的能力跟A9的框架本身在进化应该是也是可能做的嗯我想呢刚才有一个点就是关于框架你要不要有一个完整的表述就是智能体的框架智能体的框架嗯其实智能体的框架我认为是一个 [01:14:44] 现在就有很多形容词去形容它比如说Harlis Skateford 然后还有一些其他形容词就我没有特别去专注说哪个形容词是更准确的对然后我更关注的是这个框架本身它带来的一些差异化的优势是什么嗯然后就比如说我用一个非常好的框架它它其实应该是去尽量去弥补在行动上的缺陷的嗯很多很多东西都是在弥补行动上的缺陷就比如说很好的memory系统是弥补行动上的缺陷然后揭露到了更多的广泛的message的channel 是弥补行动上的缺陷然后以及它更主动它更主动不管是定时任务的主动还是它它有些其他方式一些主动的设计以及它自我去更新迭代更新迭代其实这些都是在弥补行动上的缺陷因为 [01:15:44] 大模型是它你给它不管是你给它越好的contest 嗯它肯定执行的效果越高所以你要是能把这些它获取不到的contest 这些行动上的contest 都给它那么它肯定会完成的更好嗯所以这是我我看一个好的框架的时候我会看它有没有这些要素然后那么嗯当然这里边还有一个很关键的一款是是评估就是一个好的框架本身它确实是需要有个很好的可泛化的一个一套评估体系的对然后这样它才可能自迭代然后这里边是现在现在也有的评估体系其实都非常的简单它只是为了防止它啊不出致命性的错误对然后那么怎么有一个更有泛化力的一套评估体系然后来促进这一套框架自迭代其实现在是把最高阶级那一群人当评估就是 [01:16:44] 嗯你你交给它一个更更难的任务更更高价值场景的任务然后它完成不了你会你会给它提供补充信息嘛嗯然后指出在哪错了然后 push它嗯经过更多人的交互能把这个任务给完成所以其实本上是现在是这群人在当评估但是这个评估会慢慢的被框架吸收嗯框架会设计很多东西来来确保呃呃在某些确定的场景我能评准同时也会被模型能力吸收就模型会学会像人一样当我采用这个方法或思路做到这瓶颈的或者说呃怎么怎么样他会自己采取另外一种思路或者说或者说自己去反思啊就像人一样去去反思当然了他是不是接触他自己还是他是去接触一个更super的agent 还是一个其他领域的agent 那都是有可能的但这个是目前这些框架还没有太太去 [01:17:44] 其实其实最近一个月已经有一些框架再去关注这些事情嗯嗯因为在opencloud 发了之后就国内的很多团队都推出了类似的产品你觉得他们有不同吗比如说 QQ的团队有你们团队有嗯 Kimi有 minimax有他们有什么不一样我大概只试了一半对只试了一半我觉得大同小异就是就是让这个大同小异真的就是让让opencloud 变成一个 lay chart的形态让你去感受到嗯我还没有看到一个我自己觉得至少在在改agent的框架本身我觉得你这种产品你知道要去叠在框架本身吧还没有看到一个比opencloud开源社区进步更快的嗯因为opencloud开源社区进步太快了然后我还没有看到比这个开源社区进步的更快的这样一个 agent的框架或说产品出现我还没看到所以你愿意用最新的opencloud 你看 opencloud 不久之后就卖给了openi [01:18:44] 你觉得是为什么为什么就是这种非常不错的产品公司最后还是并给了模型公司这是不是说明没有模型做产品还是比较难呢对觉得就这两个应该是一定要也要深度我活的一个事情然后但很好的是opencloud 它开源的这个事儿没变所以你还是可以在这框架的基础上大家一块去设计更好的一件的架构所以这个事儿本身没变只是说可能做这个事儿的一部分人的立场变了而已嗯然后这个立场变了 maybe是好事儿有可能是坏事儿但总之它不影响opencloud 本身开源的属性我觉得就是就至少我说这种群体演变这种可能性和基因活种是保留的那就挺好的嗯那我们来接着聊聊模型上次我们聊天其实是在你们的 VR Flash发了之后这次已经又发了 [01:19:44] 三个新模型 Pro Omni 和TTS 并且你把它称之为一次悄无声息的伏击为什么这么说呀为什么是悄无声息的又为什么是伏击首先它嗯这三个模型它在Agent的场景下表现提升能力提升这么快或者说我们能这么快去追上嗯嗯在复杂的Agent的架构里边它表现这么稳定是超我们预期的就是不是我们计划的非常好的而是我们一下大家觉醒了然后就爆发了你们觉醒了对然后就对是这样一个context 所以它确实是一个很安静的我说安静就是因为嗯外部不知道我们自己内部也是快速发生了一个事情然后然后第二个就是嗯我们其实在一年前去做这么多模态的时候其实更多的角度还是说嗯嗯如果真正产生智能应该这个智能是全风位的多方面的所以 [01:20:44] 去做了对对多模态的一个理解以及最终你产生你你智能最终嗯要产生价值一定是要有交互的所以要去做语音的生成对嗯但这只是但一年前做这些东西的时候它还不是很明朗就你还是觉得你还是在做一个单一的模型你再做一个多模态理解模型你再做一个语音的生成模型然后能够很好的去被组织和编排到一起然后当我看到open call的时候我自己自己就呃一下就想到这样的一个呃画面就是这些模型在各自在什么样的环节发发为什么样的作用它们能够怎么被有效编排然后以及它会产生一个什么样大的一个生态的价值一下我觉得就在我的脑子里边就全部给打通了所以我们快速的让所有方向都要面临到这个范式去做哦后训练的针对的设计嗯就是这个原因然后 [01:21:44] 嗯嗯嗯嗯嗯更比用其他价模型可能好用一些然后或者说至少这是我们往后迈进的一个目标呃那为什么还是后面有这三个模型不是合到一个模型里边去我觉得更多的就是出于对于成本和速度和价格的一个考量就比如说语音生成你没有必要去用一个遗体的模型它的实验你也接受不了对然后嗯比如说多么太有理解哎它是不是值得一个更大的模型然后嗯那么这个这个事我觉得都是要要要要去打个问号的然后因为我觉得agent的革命就本质上真的是生产力生产力就必须要足够去在意最终它端端端的完成率以及它的成本效率对然后这是现在三个模型同步出现的一些原因然后以及我们后面应该也会有一些计划怎么让三个模型更好的写作嗯对就是你所谓的编排现在有什么样的一些know how吗怎么样编排是更好的编排 [01:22:45] 嗯首先你从任务类型来说比如说你最简单的呃绝大部分的任务类型你其实是可以只用语言模型来做的嗯对然后呃但是呃因为现在我们完成整个任务的环节太长了在某些环节上如果你意识到你是需要调用你其他像人一样感官能力的时候然后你就去用另外一个更精巧的模型让它来做得更好类似于这样的然后而且你而且因为这三个模型是同一个生态性的所以你能知道啊他们的bar ground 你能知道我知道的知识他也是知道的然后呃所以你能放心的把你觉得他能完成的任务交给他做你不会担心他不知道你有的背景知识就这个背景知识是来自于训续练的嗯目前呃这些三个模型在同一个agent框架里边 [01:23:47] 去释放出来的潜力跟你去组装其他模型能释放出来的潜力的差距是很微弱的目前是很微弱的但我认为未来不会嗯因为未来它它是一个呃效果成本效率三者的一个成绩就未来你不会觉得但是目前你会觉得它是微弱的这三个模型你们在bat什么样这三个模型的关系是什么样就我觉得在bat全方面去替代替人的生活和工作的方方面面所以你就必须要具备这些能力你看 Pruel 我觉得它是在做理解和认知嗯做更复杂的调度 Omni是在做感知嗯 TTS是在做音频声音的输出声音的输出它是一种表达对嗯这三个加起来是一种类人的智能吗反正它把人有的智能的表象 [01:24:48] 输入和输出给建模了嗯对但是它有没有人的各个感官之间的协同那么好为什么现在还没有做到但这也不纯粹是模型上没有做到还有就是框架上也没有做到就比如说现在OpenClaw它对于视频的理解和建模是非常差的它整套架构因为为什么呢因为就是因为开源社区没有一套对音视频联合理解的非常好的开源模型的出现然后并且这个模型还有很强的能力就没有这样的模型出现所以它在框架上的发展是之后的所以它现在对视频的理解会回退到去理解图里甚至就是会回退到理解caption上就回退到一个存本的智能水平上所以这也是为什么要做开源的原因就是因为只有开源界看到一个更强的视频理解的声音声成的这样的一些模型过后它对你的框架才会发生改变对然后只有这两个就框架其实它是一个协调层吧对 [01:25:48] 只有这个协调这一层然后以及这个模型这个智能的中枢这一层这两层很好的交融的时候那么可能才会达到内人的智能那我们来围绕着VR 一个一个来聊虽然Flash已经过去了一段时间它是你们去年12月16号发布的当时做Flash的时候你们的核心定位是什么呀这个被大家认为是你在小米的第一个工作第一个作品其实Flash跟Pro基本上是同期训练的然后因为它们的模型结构非常近似但是我们在设计VR这一系列不管是Memo,VR,Flash илиPro的时候这个模型架构本身有一个非常关键的一个目标就是我们要for non-conference的效率来设计模型结构当时是有隐隐约的预感到agent的时代 non-conference是非常重要的或者说有预感到non-conference会产生智能的 [01:26:48] 但是我们没有预想到会不会是open-close 就是这种形式但是已经预感到non-conference一定是一个非常重要的问题然后non-conference效果以及最关键的推力效率就是你的成本和你的速度要很快成本够低速度够快那么就是我们这一代模型结构必须要去追求永恒的命题因为成本够低速度够快你有可能可以把一兆做到十兆甚至一百兆其实现在所有的模型结构它都能逊到一百兆但它为啥不把这个模型提供一百兆的推理除了效果一般以外我觉得更多是出于对成本的考量就一百兆太贵了就是你可能到后边一兆过后到一百兆这个范围内它非常贵贵到你根本就不想用它对所以就是我们当时就围着这样的一个核心目标去设计的这个就是Hybrid Tension的结构当时其实另外一个更主流的选择是用MIA 就包括现在我觉得同期跟我们开始训练的 [01:27:49] 应该是GOM跟KIMI KIMI更早一些 KAR更早一些然后其实他们都选择了MIA 就Deep Seek 其实MIA对Chart的时代来说确实是一个非常优秀的模型结构因为它甚至它对于常文来说也算是一个还不错的模型结构因为它大量去减少了KV Cache 然后对常文来说你的KV Cache很宝贵然后但是它有一个我认为是不那么去适合Agent这个范式的一个最根本性的几个要点第一个就是它其实是因为MIA在设计之初是为了去达到很好的仿存跟计算的一个比例在当前的当时的H系列的芯片上为了实现一个更高的一个就是我既不浪费我的算力又不浪费我的又要把那个仿存的瓶颈给打破 [01:28:50] 所以是在这样一个架构下设计的然后在这样架构下设计出来的模型架构它没有任何可发挥的空间我只可发挥的空间是指假设我们认为KV Cache是重要的并且我认为推理速度也是重要的那我能不能用一些让它推理加速的方式比如说最简单的推销编码 MTP就是一种方式然后让它实际上推理的时候加速N多倍但是MIA是不太行的因为MIA它已经达到一个 L-Bound和MMA-Bound一个非常完美的一个临界点你要是用MTP的话你会发现它又卡在计算Bound上所以现在你看所有MIA的模型结构不管是GMA也好 KIMI也好我猜测应该都没有上MTP 因为它上了过后它又被计算Bound 然后计算Bound的它就很不划算所以它的模型都会慢一些你会觉得大家对Memo的我们第一代Flash 哪怕是Flash能做到100-150TPS 然后Pro现在我们也能做到 [01:29:50] 就看成本因为基本上是能做到60-100的 100TPS肯定会更贵一些所以在这样所以大家用Memo的不管是用Flash还是Pro的一个感觉是哇好快对然后这就是这个结构尤其是针对non-colors implementation的结构带来的一个优势然后同时呢它成本有够低因为hybrid的腾讯包括在Pro这一代上我们给它拉到一个更极致的一个hybrid的比例就它的复合层跟那个siding window层的比例会更极致达到了7比1的一个比例所以它更省kvcash 所以我们基本上是在这一代结构上实现了通过siding window层去减少kvcash 让它在长吻上效果更能够支持更长的长上下吻然后同时通过MTP 把siding window层减省的那个算力减省的那些层的算力 [01:30:50] 然后把用MTP给它填上这样子它能达到一个在实际推移的时候这个仿存跟计算了一个很好的一个平衡然后同时又去兼顾了长上下吻的成本然后以及它的推移速度所以虽然我们设计模型支付没想那么多但是基本上就完美的非常适合做agent 因为agent 对agent来说长上下吻非常关键然后很小的kvcash也很关键因为你很小的kvcash 你能做更多的多级的缓存缓存命中的话会非常有利于节省你的推移的成本然后再其次就是速度是一个还蛮关键的一个命题然后你一旦体验到了更快的模型以及智能水平相当的更快的模型你就回不到更慢的模型的水平了对所以我觉得MemoVR [01:31:50] Flash和Pro大概是这样在这样一个背景下我们同期的开始进行训练的放在当时你当时为什么会选择MTP MTP的选择还真的是蛮厚厌的就是说我们这个模型已经快训练到中后期了然后我们觉得我们把这个模型开始为它去设计推理方案了然后我们在我们自己的那一代的推理卡上去实际的去设计推理的并行方案的时候发现它的计算剩余的实在太多太多了就我们没有想到它会剩余这么多然后所以那你就想的是怎么把这些剩余的计算给它有效利用起来那么MTP太适合了然后但是我们在运训练阶段加上MTP的原因是它确实能提升机座的能力这个我们跟DeepSig是一样的就是运训练加MTP 是因为MTP能提升它的机座能力推理的时候为什么只有我们用MTP的原因 [01:32:50] 是因为我们的模型结构天然在计算上流有大量的富裕然后这个事是我们在后边去设计推理架构的时候很突然有一天悟到的但也不是突然有一天就是你去仔细的去算算那个推理的各方面的一些数字的时候你就知道然后你可以用推较编码然后把这些生育的算力给你用起来恰好我们又训了MTP 那恰好用起来就其实很自然的一个探索的延伸为什么它还没有成为一个主流大家太相信MA了我觉得大家太相信MA了就是大家因为MA它确实太巧妙了就它在模型结构上把它能做到的全做到极致了所以在我觉得二五年上半年如果要去训模型的话嗯训一个基座模型的话那么其实 MA确实是一个不错选择尤其是当没有看到 [01:33:50] non-connected的价值和agent的这个范式的时候 MA确实是一个非常不错的选择对那它未来会成为主流吗你觉得我我觉得应该不会还是不会 MA应该不会对我说MTP MTP 如果说如果就看大家的下一代模型结构是什么样就我觉得现在模型结构设计大概有两个趋势一个就是你真的在运训练阶段你就想明白你后边推你的场景是什么比如说你要在什么上的卡什么上卡去推然后你要在多场上下纹上去推你的推理的并行的方式是什么你可能连这个都要想明白那么你就可以设计一个针对这个场景和这个推理方式和这一款芯片的完美的结构然后你去训这个结构那么它的效率成本各方面一定是最优的就MTP是在这样的contest情况下被设计出来的但是 [01:34:50] 但是但是但是这个contest 它是建立在两个前提基础上的一个前提是 pust train是不重要的或者pust train的时间是很短的嗯就你能一个月就把pust train做完你大部分时间在做print train 所以你只需要print train for 这个推理本身就行了而第二个是你的推理卡你永远就是用那么一个两个甚至用那一个就是最好的对但这个事儿在当下是在发生了巨大变化的因为现在是pust train的周期在拉长你在一代基础上能做的pust train的上限是远远被激发出来的而这是什么时候发生成的就是agin的这个范式带来的对你有一个更高效的contest的嗯就是其实contest越长它也是产生智能那种方式嘛就被输被输进更多的contest 理解更多contest的时候那么你的潜力就越高 [01:35:50] 这个跟原来差的这个方式是完全不一样原来差的方式它的contest就是人数的人数的就是很短所以它纯靠这个预训练但是agin的这个方式它就是很吃pust train 你对框架理解对于怎么去所谓多性的协助那些发生也好反正它你给你解释就是我们在pust train上要去投入的算力会可能跟pust train是相当的所以这个时间周期在拉长那么在一个比如说你pust train要做半年或一年的场景下那么你前半年去假定的非常多的东西它可能是失效的就你假定要在什么上卡图你假定你要在什么场景下达到更优的效果它全是失效的因为有可能有可能当你做了pust train做了半年或一年过后你会发现那些场景全变了你可能以前大家觉得128k有个但现在大家觉得可能可能过几个月大家觉得我需要10兆 10兆上下文就类似这样的逻辑所以 [01:36:50] 如果还是这样去做做模型结构它可能会失去一定的灵巧性但是呢如果说它的这个团队的pust train的效率足够跟得上它的认知是能够辅助print train去做架构的正确的判断的话那么有可能这个模式还是work的就它设计一个精细的结构想清楚推理卡类型想清楚场景那么它应该还是work的对然后但还有一种做结构的方式是另外一种就是我在结构上更简洁一些然后留有更多的富裕度来去做后续在不同场景的一个适应和增强就比如说我觉得hybrid tension 它就是一个更简洁的结构你可能它的简洁性体验在你可以靠MTP去做去把它的这个算力给它更充分的利用对然后也可以是后边你甚至于针对已经训练好的 [01:37:51] 一个hybrid的结构去增大 SPAS和Full的比例等等反正就我觉得在这样一个更简洁的架构上的时候其实你agent发挥的空间反而在后续你也发挥的空间反而会更大嗯成本下降是MTP给Nest Token Prediction带来的优势吗 MTP是如果它的命中率非常高的话那么它是可以带来成本的下降的嗯相对于它在更短的时间内吐出了更多Token 所以它把GPU的利用率打得更高所以它本上是在降低单Token的生成的成本你刚刚说了MTP的很多好处啊那它会相应的带来一些幻觉吗不会 MTP它是因为它是会被verify的然后只有你预测的准我才会采拉你当前Token的结果所以它没有任何幻觉嗯好刚才我们重点聊的是Flash上面用的MTP 嗯那嗯你们还做了一些选择 [01:38:52] 嗯就比如说混合注意力机制你们当时选的是五层滑动窗口和全局注意力机制嗯嗯这个嗯你们这次其实有变了应该说是这样子可能我们的一个大致的嗯大量的实验的一个结论是说弗尔腾讯它的层数很重要嗯但是它的系数比反而可以有空间嗯就比如说所以你在更大的模型上你的层数更多的时候你可以保证弗尔腾讯的层数总数不变但是你把你增加更多的Siding Window 的层就可以了就可能层数比这个系数比更重要或者说在更大的参数的规模嗯更大的attention ahead的时候可能我们也可以做到更西数的一个比例嗯应该是这两个结论的一个统一对嗯导致我们可以在更大的模型上做更高的西数比就是弗尔腾讯嗯 [01:39:52] 跟Siding的西数比然后我们最近在做很多 spars的研究也是发现更大的模型它能够吃更大的attention 的sparsity的比例对就更大的模型你可以更西数然后但你小的模型你太西数了你就模型效果就会 drop的非常严重对所以这是一个实验结果它不会成为一个固定的标准这是我们的实验结果然后我不确定其他家是不是也follow 也贊同同样也会有同样的实验结对嗯我觉得flash还蛮有点小米早期的风格因为就是追求极致性价比嘛嗯这个是怎么定的呀然后因为你们当时API定价是输入是百万token1.01美金然后输出是每百万token0.3美金在当时看来肯定是最低的价格最高的速度你觉得当时是做对了什么达到这个效果嗯基本上就是把该做的都做了就是架构有一个non-class很inflation的架构 [01:40:52] 再加上MTV推更加速再把infer 我觉得最基础的基线做好基本上这个价格就能做到就我觉得在预训练时代你根据模型的呃框架优势来定价嗯确实是合理的确实是合理的因为你的框架很强然后最终呃人嗯最终使用者最终用户能感受到其实纯粹是因为你们的模型很强所以我就按照你的模型结构的方式来去进行定价我觉得是合理的可以的但是嗯嗯我们进入到后训练的方式嗯除了这个模型结构本身带的优势以外你还看你的你还看你的contest好不好以及你这个模型对这个contest的理解能力好不好嗯嗯嗯我觉得它的定价逻辑应该发生变化就不应该是根据我最终的这个推理成本来定价而应该是根据我这个模型的最终产生的价值来进行定价 [01:41:55] 那么这个价值除了模型本身的啊架构的优势以外还有就是模型它在后训练上做了足够好啊哦所以它能更好去理解这个已经的框架对这也是它的定价的一个溢价的空间在的一个地方所以我们后边MemoVR Pro其实是抛弃了这样一个定价逻辑我在你们那个tech blog里面看到就是flash 你们是从一开始就想batter reasoning coding和agentic吗我觉得做结构的时候只是batter一个点就只是batter non-handling 一定要做的建模效果够好然后效率够高推理效率够高只batter这一个点其他都没有想我就其实那我认为不应该太至少我们当时那时是想不到更多的更多的目标的我也不认为一个架构本身的目标应该太过复杂因为架构的目标太过复杂 [01:42:55] 就是你的限制条件太多那么如果这些限制条件最后你的pusture要做很久做到这些限制条件它都变成很伪的限制条件那你这个结构不就摆做了吗对所以我们没有对最开始的模型结构给强加更多的目标我认为加更多目标是不合理的嗯嗯 Flash帮你验证了什么 Flash帮我们验证了我们整个infra数据是没有问题的但是我们我们并没有说先训Flash再训Pro是两个一块训的对但Flash是一个相对小的工作比较早期嗯也不早期我们我们训了就发了所以你们看到的时候也就是我们对没有规范很早我们基本上大部分的模型训练都是在下半年进行的对嗯嗯嗯嗯从Flash到Pro 你对Pro的预期是什么样的那当然那是同一时间嗯对就是两个模型同步训练我们相信这一代的架构是没问题的 [01:43:55] 只是我们在训Pro的中组过程中去解决了非常多的比如说训练数值的不稳定性对这个是训练跟ET参数量级的模型通常会遇到的很struggle的问题嗯对老训练训练Loss spike 老训练训练OK 某个激活值很大然后那你要考虑怎么去或者说某些expert的分布变得很极端然后像天花板一会儿一批头文打过去一会儿又一批头文又又又打到另外一个expert上就很危险这些信号危险会导致训练出现比如说Loss典型的会出现很多spike 复材会典型的会很不均衡 expert的复材会很不均衡对就在训练更大模型上就会花很多时间去解决这样的一个问题所以看起来是同步训练但Pro训练进度就会比FH慢一点因为因为就是你要解决中组这些让你训练不稳定性的要素数值不稳定 [01:44:55] 只是一个表象而已对然后这些要素就会非常锻炼一个团队的 info和算法中联合debug的能力甚至有时候你怀疑到是不是哪个卡有问题这是最后如果发现所有的卡都排查了没有问题你会怀疑是不是今天太阳黑色暴富就你会是他怀疑到一些很学习的问题上就你要从很表层然后查到很底层的因素对你刚才也提到ET的模型可能是未来竞争的一个入场圈是这样吗是agent 你要做到接近Cloud 4.6 Ops的水平的这样一个入场圈你当时立项的时候还没有这个模型对吧为什么你当时就已经觉得一定要是ET的嗯就首先我训过Deepsea V3这么大小 600多700B的模型你不会再想去训一个同样的模型对就肯定还是继续往下一步scaling [01:45:55] 所以ET是一个在我们当时也有的卡的训也有的卡的数量情况下的一个比较极限的一个区间对是多少卡几千卡反正训这个模型是几千卡但实际上我们要投入大量的卡去做研究嗯所以其实实际上的研究的卡会是实际训练卡的几倍训练比如说Memo VR Pro或Flash 其实各自训练可能几千卡就够了但实际上你去投入做模型研究的卡会是这个卡的很多倍嗯我觉得3到5倍是一个更好的区间嗯不管是你前期的结构的研究然后中后期的Poster Train的很多算法上研究所以不是说我们拥有几箱卡就足以去做这个事情而是说至少我觉得在卡的资源和储备上嗯目前来看嗯尤其在Agent的范式下嗯 [01:46:55] 所以卡的数量反而变成一个非常重要的一个瓶颈因为Ideal的诞生和这个动手你把它代码写出来太快了然后你现在卡在什么呢卡在卡上就因为那个GPU它的效率就在哪所以你要为了训练这个Ideal 你去跑实验然后你要并行的起很多实验所以卡在卡的瓶颈上所以现在卡反而变成一个更更更更关键的一个制约项当然这只是for训练那for推理的话卡更是一个更关键因素对就推理卡的需求量远比训练会更高很多嗯训练推理和实验这个最好是GPG 嗯推理看用户数对或者说是看高价值场景消耗的投肯数所以这个很多场景因人而异对所以就把推理拆开卡 [01:47:55] 嗯那我如果说我们嗯这样子来说嗯就是for研究跟forprint train和forpost train 对嗯我自己觉得一个非常合理的卡的一个比例是可能3比1比1 对嗯对就print train和post train应该比例是投入的算力是相当的研究的比例应该至少是你正式起训练的卡总量的还要多一点就你要额外留更多的卡来去做研究嗯过去的欲训练和后训练的比例是多少嗯至少在恰的时代应该是一个非常夸张的比如说3 3比1 5比1 对欲训练跟后训练一个比例嗯就是今年可能会发生的一个很大的变化应该有很多团队都是1比1了嗯嗯嗯嗯嗯嗯嗯我觉得全方位的挑战吧基本上是全方位的挑战吧基本上是全方位的挑战就是嗯嗯 [01:48:55] 嗯嗯嗯嗯嗯嗯嗯更大模型貌似对于更脏的数据的容忍程度更高嗯但是但是我我不确定对我不确定因为我们是同一批数据训练所以我不确定嗯嗯嗯嗯然后应该更主要挑战是你在在遇到在训练的历程当中遇到问题的时候你怎么去去我觉得第一不是你要发现问题对就比如说很多团队会把lost spike 当做一个很正常的事情但是我们可能会尽量的让他没有lost spike 对我们认为有lost spike 肯定会导致但是某一步的更新嗯特别的不稳定某些数值就异常之很大就直接把某些参数或者说某些expert给他给他打死 [01:49:56] 就是打死就是参数更新过后后面再也不会有expert送到再不会有token送到expert上所以那你中间就有需要很严密的监控的系统就是你要去洞察这个模型参数内部到底发生了什么样的变化你需要一套这样的一个监控系统比如说你至少要去看看比如说你至少要去看看expert负载怎么样去看每一层参数的输入和输出是怎么样它激活值有没有变得很异常这些东西是嗯发生过后你应该去看的事情但是可能不是所有的团队都会去看这么细这是我说的第一步要发现问题对可能好多人就不把它当做一个问题吧然后发现问题过后你再去想 OK它到底是什么样的原因引导这样的问题的比如说有可能是嗯西数比太高了导致比如说富二层输出跟塞林温德层的输出是嗯至少数值上的差异是非常大的那么这数字上的很大的差异 [01:50:57] 就会导致这些数值不稳定有可能是结构的原因有可能是结构的原因有可能是结构的原因也有可能纯粹就是infer bug 比如说你哪通信的某个算子写错了我们最后发现有甚至有可能就是某个long上反正有有点问题你可能可能最后实在无赖的一个解决方式是你发现这一层的数值太大你就给它要么就给它clip掉要么就通过long给它压下去就是它有非常多解决方案比如说通过long压下去它肯定是我我认为肯定是会对模型效果有损的 clip掉是一种方式比如说我们也会借减Kimi的QK clip的方式当QK的某些notice非常大的时候它实在影响模型的训练稳定的你没办法也只能把它clip掉这样至少能让训练更好进行下去进行到一个稳态的时候你再给它放开对就有太多的这种临时的你要去发现问题解决问题甚至去倒推很多可能会产生导致这个问题的一个分析的一个路径 [01:51:59] 这些路径其实是非常考验一个团队的跨团队其实如果是在一个很大的公司它就是跨团队协作但这个协作效率是极低的如果是在一个很小的团队一个创意性的团队那么它就是考验这个环节上的关键几个人的配合程度那么它就会更高效一些以及如果这个环节上的每个人都足够的追求极致它就不能容忍你这儿突然这么干那我们就必须停下时间来找问题你们属于哪一边我们肯定是属于小团队非常极致的类型嗯所以就会导致那么这样训练周期会被拉长因为训练周期它肯定不会一两个月就把它训完嗯那么训练周期拉长的情况下如果说有一个非常明确的一个data line 目标什么的那你肯定就承受不了这样的因为比如说大气显卡你停一天肯定就是一两百万两三百万的事 [01:52:59] 对那么你怎么去承担这样的一个损失如果是在一个目标驱动的一个团队可能会觉得停个两三周去排一个问题这个问题还不知道是不是个问题会不会对模型这种训练产生影响嗯可能是一个不太能接受的事情但是在我们这儿我们认为它就是一个问题我们就应该去解决它因为我们没有那么清晰的一个说我要发布的一个目标你们没有带来我没有没有带来就我们觉得模型讯号我们再发对没有公司来的压力吗没有你们确实不是一个创业公司对吧不是一个创业公司但实际上它就是个创业团队我觉得MIMO和包括MICROL 能做成其实都是以创业的方式在运作的所以它才能做成嗯选一个一体的模型对你的管理难度是不是指数性的上升嗯没有管理团队的难度是一样的嗯应该说不太存在管理因为大家一块去解决问题就好了对 [01:53:59] 就是你不需要去管理这几个人我们一起来解决这个问题然后每个人都有自己不同解决问题的思路对然后一起来解决问题然后反而是这种解决问题的这种以身示范能力所以是一个非常好的文化和导向嗯训练模型是多大团队很小的我只是说训练这个事本身但你做数据还需要那么几个人也是几个人嗯对还需要什么吗可能还需要一个非常好的基建团队就是你可以理解为把嗯把卡给集训给搭起来嗯这个是Infra团队吗嗯这个就是基础设施团队然后这个团队可能需要有那么一点需要有经验的人因为没有经验的人他们会出一些低级的问题对是一些基础的认为设施的经验那你们的诀窍是啥本上我也没有觉得它是需要一个非常大的团队协作的事情我觉得团队协作当然有有有有有优势就比如说 [01:54:59] 嗯大家在卡资源巨量的情况下可以冰险的去探索嗯对做研究来说是有优势的但是我并不认为它对呃我刚刚说的那种场景发现发现一个可能是问题的问题然后去深入排查原因去解决它我并不认为它对这种模型训练进程中遇到的问题是是很大的团队是优势反而很大的团队有可能是劣势嗯训这个模型过程中你有团队状态是什么样的团队状态是嗯原来做数据的那一群人就去做后训练的嗯然后嗯做infer 做训练框架嗯做推理infer人一块来去解决训练过程当中的问题嗯这是为什么这是为什么为什么有这个变化就是为什么预训练的人要去做后训练很多样的原因哈嗯首先后训练的 [01:55:59] 一大部分的原因是你需要有很好的数据直觉这是还是这还是蛮重要的嗯嗯其次就是其次它是基于个人爱好兴趣产生的对它不不太是基于基于你说我们这里需要人你转一下不是大部分是大家自然发生的但是我我确实能够预料到哪些人会做这样的一种潜移因为有很多能力特质上是很共性的就比如说对数据的直觉比如说会从模型效果去去倒推一些算法的设计其实做数据好多时候也是在干这个事嗯所以嗯可能我觉得主要原因是我们对人的界定没有那么清晰然后所以大部分人他会自然随着训练阶段的变化自由的去选择下一个阶段更有想象空间的事情对你们现在是100人吗我记得上次聊 [01:56:59] 嗯嗯他已经到100人但是这100人是包含嗯就是嗯所有联络上的人就所有联络比如说数据采集嗯数据质量 Print Train 的Infra Poster Train 然后包含甚至我们的开发我们需要有一些开发还有包含我们的产品包含我们的数据百小生还有包含三个方向上的算法工程师就是大致力可以发上就是语言多么太和语音对嗯然后这里边 100个人里边实习生的比例是很高的然后有部分实习生可能是在做一些更当下不会立马反映到这一代模型结构上的模型能力上的事情所以其实真正突兀到一代模型里边去迭代的人我觉得是很少的可能可能所有内容上加起来也就二三十个人三四十个人对最多也就这么多人二三十个人二三十个人比较均匀对没有组 [01:57:59] 不同的组的划分吗没有没有组没有组所以你一对一百差不多是为什么没有组的划分比如说为什么不分欲训练组不分后训练组因为很多很多人他会对两个方向都有感兴趣如果你组划分得非常的清晰和固定的话那么其实是在扼杀一部分的创造力对或说扼杀他未来的成长空间第二个就是第二个就是我确实也不认为做后训练的人如果说做后训练现在的一个很重要的一个范式和变化是他需要具备diversity这个事业很多做后训练的人他是怼着一个场景去做他没有这种多样性的事业但是做于训练的人第一应该关注的事情是多样性因为他不能往这个模型里面塞一小部分数据他要塞多样性更好的数据所以其实做后训练的人去做后训练 [01:59:00] 有非常大的优势就是他会天然跟在乎多样性然后他就是个很好的补充他就是个很好的补充当然也有人他一直做后训练比如说他只研究小方训练所以他一直做后训练或说叫medetrain 至少我们不要在组织结构上去给某些按场景来把某些人的这个我认为是创造力给他扼杀在这个场景里边那就很奇怪我在外来看对没有组也就没有leader 有推动实际这个项目往前运作的人对但是他都是很模糊的就比如说可能这个项目要往前走比如说我们要去Memovir Pro的预训练然后或者说后训练可能要实际往前去推动的人但这个人他并不对参与这个项目有绝对的控制权对就是没有直击对吗对你可以这么认为但是小米本身是有直击的 [02:00:01] 本来我们这个团队的整个的组织结构就是完全结合的没有直击你觉得对于做AI很重要是吗做大模型没有直击没有组这个对于智能涌现本身的意义是什么我觉得平权本身是有价值的就是平权本身是有利于所有人去平等的贡献自己的创造力和智慧我觉得是有价值的对任何层级应该一定程度上都是在在规范和约束然后规范和约束本身我自己认为是压制创造力的然后以及有层级过后他就默认这个层级上的人应该有更强的超越所有人的一个智能对这个很奇怪这个界定非常奇怪我觉得不太会存在有对 [02:01:01] 所以反而更扁平然后尤其是对于最重要的那个leader的人他不要有特别强的这种掌控感然后以及这种觉得没了我就不行这种我觉得如果一旦有这样的一个想法反而不是很有利于一个创新团队的发生那虽然你说没有管理啊但实际上怎么管理呢靠热爱驱动管理我觉得这个很重要的我自己发现是最行之有效的方式对就去选择激发大家的热情然后让大家围要着自己愿意信仰的事情去自趋做事我觉得这是我一直比较艰辛的最有效的管理方式你有什么驱动热情的方法让大家认识到一个新的事情让大家去体验其实是驱动他热情非常重要的方式比如说OpenCloud这是一种体验方式对你看起来用了一个非常极端说你没有一百轮的对话 [02:02:01] 你明天就辞职这是一个非常极端的方式但是你的目的是体验是吗对我也不会追踪去考核我第二天也不会去考核大家说OK你真的有没有用因为我觉得那不关键然后我只在乎你有没有真的去用这个动作是不是真的达到一百轮那只是一个量词而已所以你还有什么用热爱驱动大家的方法体验其实筛选有的时候也很关键就是很多人你可以从他过往经历看出来他到底是在围要着什么样的目标在做事情对就靠热爱驱动做事情的人的特质会非常的special 对你跟他聊天过后应该就能感受出来就有的人他会为了很多奇奇怪的目标做事情但为了热爱驱动做事情的人是非常明显的怎么明显我没有办法就是有很多量化指标但是我去跟他聊天我能直接感受到就是能散扫对你在这个ET的模型的训练有失败吗还是一次就成功了 [02:03:02] 看怎么定义失败就比如说你训到LOS直接飘了这种那应该中途还是发生过那么几次的几次几次我现在都不知道几次了反正两三次总是有的对就LOS直接飞了然后但是他训比如说训了几百步又回来了嗯那你说这种情况你是应该停下来解决还是应该继续往前训呢解决我们认为是应该要解决就是应该停下来解决这个问题对嗯他其实嗯他其实就这样敲上去疾怪不维护然后又这样下来了就是这嗯我们认为应该停下来解决所以就会停下来去解决他让他LOS更平稳的度过那一般会停下来几天这就不好说了就几天也有可能一两周都有可能最长的时候有两周哦 [02:04:02] 停两周焦虑吗不焦虑因为我没有没有什么目标嗯当然了你那么多卡你天天做一堆实验嗯今天我想这么去拍插头哎感觉是这个原因了快改改了又跑发起来第二天看又这样子或者说中晚上那反正晚上都睡不好然后我经常晚上周末说嗯为什么LOS your slack 我乱几天晚上老街嗯那就这种就其实虽然我们没有明确的实验解决但是你还是会崩溃嘛所以所以还是有很多很沮丧的瞬间嗯但是虽然没有明确的解决但是卡就是它是有限的对不对对你会觉得你可能浪费了算力资源在做一些无用的实验就是有这样的自自自我的批判觉得嗯嗯对所以参数量能决定智力的上限吗就是越大的模式越好我现在觉得是参数量加上 contest本身 [02:05:02] 对就这两个是共同决定的但至少要达到当代大家觉得最强的已经能够水平我觉得一定要一体以上的参数规模才能做到才能让大家觉得你已经非常接近于 4.6OPS 这样的水但我不知道它多大我只是觉得我自己认为至少要一体以上才能做到总参一体以上当然更激活的更关键的还是激活参数对所以但激活参数越大比如说你总参都是一体你激活参数越大就意味着更高的推理成本嗯对所以它就是一个tradeoff 嗯为什么从5比1 提升到了7比1 就是混合注意力极致嗯我觉得我们追求一个更极致的一个稀数比就是福尔跟spot 福尔跟study window 的一个稀数比最主要一个原因还是我们希望在更更大的架构里边去做更更高效的 non-context [02:06:02] 对因为更大架构你的福尔通行的层数变多了如果你的总参变多你的福尔通行的层数也随时变多那么其实在长文的情况下它同样会变得非常的崩溃因为你的福尔通行的层数变多了但如果你扩大参数量的时候你的福尔通行的层数没有变那么有可能有可能嗯你的长文 pro跟flash两代模型是效率是差不多的但是它的 Pro的智能水平是提升了的嗯所以我们希望在一个长文的效率相当的情况下我们希望它模型在scanning它的它的水平的上限所以我们是比较去控制住这个效率本身的但是控制住效率本身后面在一间的时代也有一个更更有价值的一个事情就是那既然这个更大模型它的长文效率很高对吧那我就可以塞更多的上下文然后它就又更强 [02:07:02] 对所以大概就是嗯一个这样的一个决策的一个背景对于这个ET的模型做你们的几个决策第一个是混合出力机制刚才我们聊过了嗯然后再就是EM的上下文窗口这个在做的时候是否有丢失的情况嗯 EM它是要还是要训练的就是常商信用它还是要训练的就问题有关系是你从哪真的去搞到在一兆的上下文窗口里边去嗯那么多很很稠密的监督信号我觉得这个很难找到这样的数据或者说这样的数据的构造成本非常的高构造成本非常高所以就是所以所以其实其实你要真站到终局的思维来看你只要有比如说嗯你如果你有一个ET 的token量嗯而且它都是遗照的真正的场上下文那么你的模型呢我认为你的模型遗照能你肯定能训上去 [02:08:02] 你只要North一直在降低它就是在建模在压缩那么它就一定能训上去但问题的关键是你很难去构造出来真正1t 1兆的 context 你真的很难去构造出来就是要么就成本太高要么你就很难找到这样的场景所以这是问题的关键我们有所以所以这个North的效果是缓慢在提升的慢慢去提升然后你们还有第三个就是MTP 这个是延续的Flash 这有变化吗嗯对没有什么太大变化其实就是运训练的时候训一层然后 MIT的顺手再训额外更多的层然后预训练训一层是为了去提升基座能力后面 poster去训更多层是为了推移的时候用更多层实现更好的推移加速对关于Pro的技术要点除了刚才三个我没有遗漏的差不多了我觉得聊了已经非常透了所以Pro是几个月前开始做的 [02:09:02] 嗯那另外两个呢同期基本上都是同期都是那个时候开始规划的对对其实都是三个大概是三个方向同期再往前去推荐的 Froad加上Omni 加上TTS 它好像整个的VR家族是在指向多摩胎的叙事但是它的摩胎又非常的不一样文字是离散的 token 图片是像素矩阵音频又是波形你们怎么去做这个融合呢嗯其实我们还是想尽量把它统一到去摸摸的范式下所以嗯所以在至少在音频的建模上我们想要把它离散化变成跟文本一样的离散的token的ID 然后所以我们在音频上是是在这个事情上是投入了比较多的研究的算力说怎么去进行离散的音频的建模而且这个我们希望这个离散音频的建模尽量做到无损的一个一个一个离散化对 [02:10:02] 因为大家还是不太相信说你怎么把一些连续的输入变成离散最后还能重建出来这个事其实是需要非常多对encoder更精细的比如说我们需要一些多层的RVQ 来保证它的离散的表征是一个非常大的像Dance一样的高尾的空间然后我们需要更多的预训练来去让它开始涌现如果你基于连续的特征座可能很快就涌现了但你基于离散的特征座你会更难去建模它的涌现出现的时间段会更晚然后所以我们知道在音频上是开始的这个尝试然后也会遷移到后边其他模态就嗯我们还是就比较想用一套更优雅的架构来去做整个多么太空多么太输入的一个理解嗯但是但是我们不是为了统一而去做这整套架构 [02:11:04] 就很多时候如果说嗯我们发现确实比如说在图像上离散确实是不那么可行的时候那么我们还是会寻求到一种说目前更主流的一种架构里边去因为我们优先要保证的是这个模型它要具备的是一个整体的一个智能水平而不是追求为了统一优雅的一个范式对音频统一到L1M里去容易吗应该应该我们还蛮另类的嗯对就我们这架构应该是非常另类的我知道应该国外的玉三家也好国内像豆宝也做的蛮好的应该都是跟我们完全不一样的架构你为什么选这个架构就是做RNOP的人直练吧就我们做音频的人全是做RNOP的人所以有这个直练就觉得相信它然后就去做了那图片能这么做吗能我们已经尝试了非常长一段时间了 [02:12:05] 所以你们能用L1M作为一个统一的一个方式对但是它其实是一个权衡就是就是就像我说的你要做到真的无损的一个重建是需要投入更多的算力更长的研究成本在的它是个权衡嗯对至少在音频上我们已经卖过去了哦图片呢卖过去了没有图片正在进行中嗯不知道能不能卖过去如果卖过去这会带来什么这会带来更大的想象力吗更优雅的结构我到我最开始是认为如果我们把它统一都离散花可以用一套基础架构去解决这个问题同一套运训练的基础架构同一套做R的基础架构很优雅的把所有的范式都统一了就它太简洁了这是如果如果真能做到的话但是我现在发现一个问题是嗯当我们有Qi-code 和顶尖的模型过后这些架构比如说我们重新去写一套R [02:13:06] Infer架构重新去写一套TrainInfer架构我们最近就已经完全在重头去写一些新的架构我原来以为写这些架构满满耗费人力满耗费时间的但是现在看起来在一斤的支持下写这些架构的时间被大量缩短那你其实就没有必要为了架构的优雅性去做很多为了统一而统一的研究这是最近的变化一个月内的变化但是之前你是希望统一的对直念之前是来自于这种 ROP的直念就是所有东西离散优雅监督信号更清晰然后你可以做NTP 做Lestorium Prediction 然后你可以所有服用所有线的Infra 哇多爽呀但是现在回过头来看 Infra重新写一套也没有那么复杂然后几个人可能靠靠后的你就两三周你可以重新捏一套新的RO框架那为什么要因为我后面后训练的Infra架构的统一性去牺牲 [02:14:09] 让前面模型结构牺牲这么大但是Omni在做的时候它是走了一条就是有别于分别处理各模态在拼接的路线对吧它是构建了一个统一的试图构建一个统一的倒没有我们Omni的整个VIT上只是去做了一个就它还是一个VIT 只是我们把它变得更高效了它变成了一个 Hybrid Siding Window的一个VIT 对但是我们表征本身并没有做太多的变化就它还是一个连续的一个表征并没有做太多变化为什么你们叫做全模态而不是多模态就是因为它支持确实是支持视频音频图片文本所有的模态嗯然后有一些Agentic的模型是不支持音视频的联合理解的 [02:15:10] 然后它应该是第一个第一个支持音视频的联合理解并且Agentic的能力能够做到跟Lenguage Model的水平差不多的是不是有迹象能表明这种全模态或者多模态的理解里能够产生智能两个月前两个月前我很我我很相信然后最近呢就是在反正在训Omni的整个过程中就是稍微有点被就是稍微有点质疑这个事情对嗯但是我们后面还是发现了一些很好的迹象就是比如说嗯嗯嗯 Vimoveal Omni它其实是比Pro小的但是大家实际去用的时候会发现这个Omni的呃这个对世界的感知和领悟力上嗯或说最终反映出来它的情商以及它的知识的储备上会比更大的模型更强因为它训了多么因为它是远生多么态训练的嗯 [02:16:10] 所以我我猜测可能是因为我们在这两个方向上 scale的就在纯纯语言上scale的算力和纯嗯这个原生多么态上scale的算力还不那么多可能导致我们现在并没有看到原生多么态有那么强的一个嗯本身多么态本身带来的一个一个一个一个智能的一个很大的一个提升但你能感受到就比如说很多世界知识它跟它因为它训过视频所以它它知道了更多然后嗯它对很多很细微的东西的感知力你会发现它更强但这些都是很虚的都是我们自己去实际体感去测感知力对感知力会更强但是你在任何benchmark上你是没有任何就是文思不动可以这么说就是有可能benchmark错了当然有可能当然有可能所以所以我现在也不完全说非常确定说 OK你要去理解动态能力是最终实现最终实现 [02:17:11] AGI的必要路径之一我是不想去下这样的一个结论是因为我觉得每个人对AGI的定义是不一样的然后尤其在Agent这样一个可以把多个模型的能力给非常优雅的编排到一起的场景的情况下我觉得我们根本没有必要去非常去强调多么太之中是不是促进智能这个事情的就是这个它有没有促进智能这件事情本身不关键那多么太带来了什么嗯就我刚刚那两点我觉得也目前我只观察到这两点我现在还不知道未来会不会带来带来在一套新的架构上会不会有一些新的东西嗯我觉得可能做多么太的生成 maybe会有一点点不一样就是就是会生成它可能会促进更好的感知但是你要是存可能说把你的感知的维度给它扩大嗯可能你是不太会促进智能的 [02:18:12] 但是如果你能生成它maybe是能促进智能的这是我的一个猜测嗯嗯但是生成现在还是一个科研问题是或者说嗯把生成跟理解做到一个统一的架构里边目前还没有 Scanning到非常大的算力嗯的巴本下嗯大部分的生成的架构还是存佛生成的就是它并没有理解的智能嗯那你对于 Omni这个模型的目标是什么呀就是你设计它的目的是什么哦就是我觉得截止到目前为止就是 Agent它要行动它是必须要具备多种模态的其实是这样一个目标但下一个目标我觉得不是这个就下一个目标可能还是想去探索到说当你结合多个空间的感知甚至你能去生成更多的 Domtide的信号的时候你会不会促进你对这个世界的理解对 [02:19:12] 这是但它就需要有一个更直白说它可能就需要有一个跟现在的Agent的框架交互的更好的一个视频生成的模型对为什么你们没有披露 Omini的总参数量和机果参数量留个留点想象空间给我们留点想象空间就是我们相信这个参数量可能能做到更可能更接近于Pro的智能水平虽然大家知道它比Pro小一些只是小一些是吗对然后但是我们相信它们俩能够互相迭代我们希望它们俩能够互相你提升我我提升你我们希望这么做对它让Pro谁更重要嗯当然Pro更重要嗯就是纯语言空间去做通非常非常多的前置的研究是更重要的那关于TTS 有什么值得画重点嗯我觉得TTS就是一个 [02:20:13] 就我觉得我们做TTS的东西是我们想用我们自己认为一套优雅架架架构去做一个大家都都用一个传统的架构做起来很容易的一个事情哦其实你在试这个事对对对对然后但是嗯我们在这个事做完过后我们发现用用把它把嗯追求一个离散化 Tokenizer 万一小时的不在那个上千小时的数据集上进行训练过后然后嗯我们发现这个模型的泛化力是非常好的但是但是我没有办法去对比说我们去训一个很小的模型它泛化力是不是真的没有这个好至少我们目前得到这个模型大家能看到它你在给它输入很多风格化多样的风格化的标签的时候哦就不管是它它会更更嗯更智能 [02:21:13] 就是它会看到你的这个字本身它会更更通过推测你字表面的含义去赋予它的情感和疑虑对在这个事情上的泛化性上我们是呃发现特别明显的特别明显因为我们只是简单的做了一些很克定的几个场景的风格的数据做SFT和RL 就是很很刻板的几个风格化的场景就是比方让它快点慢一点高兴悲伤这种很刻板的风格化的场景去做了这种风格的呃风格化的但是我们发现你把那个style的标签给它变成一些非常复杂自然源的描述它也能够遵循这是这是它泛化出去的这是我们在做这个的时候发现到这种简洁的架构加超大规模的训练带来的一个超强泛化力的一个歪化的表现但还很初期所以我们这个TTS的模型我认为效果呃是非常惊艳的 [02:22:13] 呃也就是说它的上限是非常高的然后呃呃但它下限我们现在再慢慢的去弥补它有时候会不太稳定所以我们现在目前只是一个限时免费就开放出来API 大家玩一玩但不确保它真的能投入生产机可用呃但很快我们会让它编的生产机可用嗯你之前在一个发布会上呃画过一个通往AGI之路的图然后你对比了人类的智能就是一个生物演化的路径它是一个正三角然后倒三角是一个现在AI的发展你觉得AI发展是一个空中楼阁因为在人的进化中最顶端才是语言但是AI大语言模型极大地放大了最顶层所以它是一个倒三角性你觉得怎么能够拼拼接出这个AGI之路的图你现在做的事情再往这条路上走吗就我觉得现在大母型的演变路级确实不能跟人就完全不太一样嗯我觉得呃不一样的原因是环境不一样就人演变的环境跟模型演变的环境是不一样的 [02:23:13] 嗯嗯人演变的时候呃它是随着自然界的变化为了生存然后来进行演变的但是大母型它好像一开始上来不是为了生存对嗯它也那是为了什么嗯我不知道现在大母型有没有自己的价值观但是要我们要要印给它富裕价值观就是让它替代一部分的人但它好像不替代它也不会死掉吧它没有这种生存的危机嗯嗯嗯所以大母型它可能更我觉得它会嗯当没有生存的危机的时候它反而嗯会进化的更自由然后更散漫更有创造力嗯对就更快更不不那么受约束以及它现在的呃太好了它有那么多算力可以用然后嗯它有人类宝贵的知识的起点作为一个基 [02:24:14] 基础的起点可以用还有那么多人帮它提升所以感觉这两个环境完全不一样所以进化路径就不太一样语言之后模型的进化的下一步会是什么或者哪怕在语言里细分coding之后下一步会是什么嗯 coding它还是会有一个它非常好的一个主旋律就是它要做一个很复杂的软件工程嗯以一步直达的开发我觉得能持续的时间越久哦能做的开发的复杂度不一定是代码量只要是复杂度越高嗯比如说你写个curl算子它可能代码量并不高但是你需要写了去嗯调试debug 看它是不是在真的训练中深嗯嗯提效真的有效果的提升这个验证的环节有可能是长的但是它这个代码量有可能是不长的总之就是你要参与到实际的这种 [02:25:14] 项目开发里边我觉得会确实是做code的一个非常大的一个主旋律嗯简而言这就是它替代的程序员越多那么这就是它的主旋律嗯然后再外延到更广泛的呃生产力的场景其实它确实是需要借助一个更强的一个一个一个交互方式的就比如说飞速呀然后呃呃呃它是降低你去跟它交互了这个门槛和频率然后然后其实一个更好的交互方式是呃那就它就有个它自己的身体嘛对它可以到处移动嗯嗯所以就是机器人肯定还是一个 for交互的一个很好的就是for智能体交互的一个很好的必须会涌现出来的一个方式对所以它肯定还是会从嗯屏幕上跃出来到我们真实的空间那么呃但是机器人它本身的一个演变的 [02:26:15] 呃瓶颈有大概率可能是在硬件对上次我们也聊到就是在硬件甚至在电池本身上当它进入到我们这种内内部的封闭空间然后甚至在一些灵巧手的灵活程度上所以嗯这些都会比 AGE本身的进化在语言空间的进化要慢你之前说 Flash是通往AGE第一步现在到第几步了感觉历程已经到了百分之二十吧百分之二十嗯今年能走到百分之多少百分之我觉得至少能到六十六七十对那AGE很快了对我感觉两年来应该能实现两年来能实现就过后就是大部分人确实会失去掉自己会抛弃掉自己原来的工作模式然后生活生活模式被颠覆是更滞后的因为生活它并不产生生产力价值然后工作是产生产的价值的 [02:27:15] 所以你先会感受到是你的工作模式被颠覆掉其次再是生活然后你要真卖不到生活被颠覆掉可能就是就需要更多啊机器人当然你不喜欢AGE这个词啊也没有一个明确的定义但是我觉得这里面就是它的时间线被提前这里面很关键的变量就是能AI训AI了对不对呃这确实是一个标志节点因为它可以自提升嘛就是它应该说它可以达到最最最巅峰的一群人的智能因为它可以自己训练自己它就能去创造新的研究就是它有做新的研究的能力这个确实是它自迭代的一个巅峰自学习自迭代的一个巅峰这个会是今年的大模型厂商的一个核心竞争点吗就是你很难说去Full 让AI训练这个大模型去设计任务去针对去训练因为它是一个更高级的目标你不会说一下去卖到这个目标但大家最终所做的模型都会通往这个目标 [02:28:18] 如果你有最尖端的模型的智能你最后都会去干这个事但是它不是只能干这个事在两个月前你认为AI还有多远我觉得至少两年以上那会儿我确实这么远你现在觉得两年以内了你觉得你们新一代的这个模型尤其是Pro和中国的这一代模型你觉得和美国代差还有多久我觉得在国内其实目前已经具备 1T上的基座的公司有好几家 Kimi然后还有Memo 还有还有一些对然后这些模型厂商我觉得基本上是在当下距离国外顶尖就打Cloud Ops 4.6来说我认为如果反应速度足够快的话应该只有两三个月的代差就不是说两三个月过后能追上两三月过后的Cloud [02:29:18] 而是说能追上当代的Cloud 我认为这个概率是蛮高的然后那么在这个情况下这两三个月大家怎么去发生变化其实是考验这个团队的整体的研究水平然后这个技术的敏捷程度然后以及怎么去拥抱新的范式的这样的拥抱新的范式来做研究这个真的非常关键然后就是我们开头聊的对对对对然后那就是在比评这个事情所以我觉得接下来两三个月会非常精彩然后同期会发生的事情是我们能看到Agent的框架就已经在过去的两三个月 OpenCloud本身也进行了大量的改进然后你也能看到一些自学习和自迭代的一些框架的一些产生然后所以Agent的框架这一层也会在接下来两个月会进步的非常快然后再其次就是随着前两个爆发 [02:30:21] 就是Agent的框架越强模型的能力进一步的飞升并且我们的成本是有极致的优势的情况下那么其实推理的需求一定会爆发我觉得几倍到十倍的空间是非常非常可能会立即当下会发生的事情那么对于推理芯片就会达到一个空前高涨的这样一个需求所以那么怎么去在现有的产能尤其是可能大部分卡点在于存储上对然后产能的基础上然后你去拿不管是自己制造还是用到最先进的芯片来去做更好的推理对那么就是一个非常非常更好更低成本的推理就是一个非常关键的一个命题然后最后就是另外一个事情就是更长期的事情是我们肯定不会在ET的这个水平上走太久 [02:31:22] 如果要拿到下一个阶段的领先那么你就要寻求更大规模的一个Skinning 那么到底是去Skinning 某些参数量还是去Skinning什么东西然后以及你要在什么样的芯片上去Skinning 对那么就是当下立即需要去决策和判断的事情那么这个事情才是决定可能半年或者是大半年过后的谁是更领先的嗯你现在做的决定是什么这个决定就要保密了所以我们现在看到所有密码相关都是半年前的决定嗯差不多我看到你发文发推说就好几个人都问过你说为什么嗯你某团队非常的迅速然后你给了几个关键的结论一个是核心架构与基础设施的研究周期漫长所以需要看到回报的一年前就具备战略信念第二个是训练后的敏捷性是另外一种能力然后第三个是好奇心就是热爱 [02:32:22] 是你一一一一贯之都在说的能不能解释一下这三点为什么能带来嗯一个超级大规模的模型的训练的迅速迅速预训练因为它太潜质了所以更关键的事情是你需要再哎你需要有一种预测能力或说有一种战略定性就是你训这一代模型到底是 for什么准备的这个事一定是要要提前一年就要去想清楚或者说半年就为什么我说半年或一年就是因为以前我认为是一年现在我认为是半年因为agent 实在会加速这个事情对总之就是你要提前很长一段时间就要去想清楚你这一代模型结构在后面这么长一段时间里面它要干什么我觉得这事得想清楚否则的话它就不具备一个优势它可能就是一个很平庸的模型结构一个很平庸的模型结构一个很平庸的模型结构一个很平庸的模型结构并不会说带来一个非常平庸的模型效果但是它一定会带来一个非常平庸的成本和效率的劣势对然后所以这是我认为就是欲训练 [02:33:23] 或者是info应该前置去做了非常多的事情而后训练的话因为它现在是在跟agent去偶合去进行迭代的所以很多事情你没有办法去前置规划得很清楚所以这个时候就更考验我们怎么基于当下这个模型能力跟这一套意见的范式产生了这种化学反应对然后你怎么去快速的去设计新的info架构对这也要设计到新的rl infra架构因为针对于coded mass这种resoning的这种恰的形态下resoning的info架构的核心是这个推理引擎本身是模型的推理引擎本身因为模型要推很长思考很久然后给出来一个答案这是这套rl infra架构的问题而针对于agent的info架构它并不只关注这个模型推理本身 [02:34:24] 它还要关注这个模型跟agent的一个偶合对所以它是从ruout的推理引擎切换到了以agent为核心的这样的一个更复杂的一个一个黑核的一个有可能是黑核有可能是白核的一个系统对所以那么这里边要解决了info上的很多问题跟上一个chall的时代做rl 这种chall reasoning的时代要解决的info问题是完全不一样的所以需要这个团队更具备敏捷性去快速的去开发针对当前这个时代的rl infra的系统然后由于一种框架变化太快那你这套系统要有足够好的兼容性去兼容甚至你想想如果它真的要涉及到自适应或迭代这套rl infra系统得多困难那么这套rl infra是不是要具备足够好的一个容错的特性以及你怎么用因为它涉及到推理训练还涉及到GPU跟CPU的很多综合的管理所以这一块我觉得这个团队的敏捷性 [02:35:24] 以及info跟研究的这样一个配合是非常关键的一个事情如果做得很好那么就会体现在你会感觉到研究的速度会很快然后再其次最后的一个事情就是我觉得确实关于好奇心或热爱或者是技术的一个坚持我觉得是很多很优秀的researcher身上的很多特点但你说要怎么去从一开始源头上去筛选然后管理激发然后最后让大家去统一围绕着大部分人所信仰的事情去往前去运作它确实是一个非常复杂的一个事情然后这个事情的难度我觉得不要去设计一个非常复杂的一个agent系统所以在这个事情上我觉得我也是在摸索然后我觉得我更多的是也是在这个环境中去学习 [02:36:29] 对就是学习其他人怎么去在他自己擅长领域然后做得更好所以这可能是为什么我最近对所谓群体智慧这种会产生最终agi的一些思考的原因对你说的群体智慧是不是还不只是一个公司一个团队对我觉得是全人类的群体智慧这是OpenCloud在做的事情它可能是引发了这个事情 OpenCloud到可能我不知道它的动机是不是但是至少它现在让大家共同去改进一套框架这个事上以及在如此短的时间内让大家去做这个事情上我觉得是有这样的一个苗头对刚才提到中国美国的差距你觉得中美实现agi的过程会不一样吗方法坦诚来讲我不是很了解美国所以我至少觉得按照我们目前的这一套在模型 [02:37:31] 在应该首先是前沿的研究其次是模型的水平然后再其次是一套框架再其次是芯片能源这些多方面的角度上我认为是非常可能领先的合起来非常可能领先的能不能理解这个智能体的框架其实是补权了一个拼图的某一个环节对其实我觉得它是是补权了模型在复杂任务上完成的正确率你现在很复杂任务你是很难很难去描述清楚的然后你也很难把你所有的完成复杂任务的 contest 输入给它但是有了这套一套框架过后它以一种非常容易的交互的方式就自然远远沟通的方式它就能把你所有的你再去做这个复杂任务的时候的 contest 全部给具备并且它还是所谓越用越聪明就是你越用你的所有的智慧 [02:38:32] 全部被它吸纳进去了被这个框架本身给吸纳进去了这还不是被模型吸纳进去了但它最终肯定是变成类似于模型的参数被吸纳进去了对我有一个感觉不知道对不对像不像一个补丁我觉得对于顶尖模型来说它也不算补丁对顶尖模型来说它好像是加油器但对于中段的模型来说它就是一个非常好的放大器应该说不是放大器应该说让它变得很稳定在各种场景里面都输出非常好的效果但对顶尖模型来说好像它是成倍的放大它的上限因为你加入小米也一段时间了嘛然后过去半年发了好几个模型你觉得过去半年对你来说意味着什么呀有什么得到了进步的地方有什么觉得不足的地方这个问题真的是我觉得这个时代可能就是我感觉每天可能都在封定昨天的自己 [02:39:32] 就不管是很多做事的方式上还是你对事情未来的一些判断上我基本上都在一直去封定对我觉得我觉得是在这种封定当中自我类型和反省当中成长的比如说有一个什么地方得到特别大的进步你觉得我觉得我的历程没有说有个非常清晰的说它有一些我自己给自己设定的节点然后我到达这个节点的时候我就感觉我好像进步了而是说它一直在进步然后它可能有时候是一个很平缓有时候加速一下它有时候又平缓但总之它一直在进步所以你要让我自己去找一个标志性的事件我自己觉得我真找不出来但是我感觉我就一直悄悄的在进化然后我老子这套系统就悄悄的在进化有什么心法吗心法 [02:40:32] 心法就是以前我在作战化的时候我觉得学到一个非常有让我能够去克服挑战的很重要的一个一句话是总有方式去建模价格对这是当时我自己觉得给我一个力量的支撑的一句话然后当我后面当做做量化的时候你感觉价格就是你的reward 对你要去预测准价格你才能做好量化投资然后到回到做大模型赛道的时候你发现那个reward 是不那么清晰的然后是变化的然后这个时候你应该你应该更就对我来说我的心法就是说我应该做当下符合我价值观的事情然后 [02:41:32] 这个事情我觉得它一定是要对更多人产生价值的然后一定要是更有意义的一个事情然后我觉得是这样的一种我觉得如果我们创造大模型的这一批人如果说没有这样一个类去力而是说我要做一个破坏的东西那么我估计最后会非常危险嗯所以我现在的想法就是说我每天做的事情是不是让这个世界变得更美好一点或是让某部分的呃呃这个很boring的事情得到了被替代然后他有更多时间去做更有价值的事情所以我们老在幻想如果我们的工作 90%被替代过后呃我们应该干了什么有意思的事情每个都能想到非常多有意思的事情凹着呢对真的嗯嗯嗯我觉得我想的事情在变化但是我觉得我此刻嗯我有想过 [02:42:33] 此刻我还没想这个事情我我大概嗯一个月前有想过就是我觉得嗯嗯一个非常有价值的事情是现在中国的很多基础的研究它其实是太嗯太太去要要要求有一个很完整的产品那乱七八糟的证明呢就并没有一个很好的呃资金或者说有一个慈善的机构或者说嗯什么样的东西来去支撑嗯这种做基础研究的人去做呃去去去去呃往这种嗯更突破的方向去去迈进一步然后也没有很好的呃这种体系包括如果有很好的这种呃算力资源它有需要很好的基础设施的体系来去支撑他们去做这样的事情那么我们可不可以搞一个这种工艺型的呃呃组织来去support这个事情对 [02:43:33] 我有想过这是我一个月前想的事情如果说我们哪天实现了那那实现了一件那那这个时候就就比凭谁做研究速度更快是 AI不是对啊 AI也在做人也在做会不会呃呃呃呃我们能创造出来的研究速度会更快就我始终觉得应该加速做科学研究这个事是是哪怕最终实现一些也有很多要做的事情为什么一定要去跟他竞争就让他做好了那不一天到晚躺着没事干哈哈总要做点新的事情吧嗯如果纯享受生活应该也挺无聊的嗯或说你总要去做点帮助他的事情吧我觉得嗯然后这个事情可能是当前的模型比如说提供情绪价值对吧给模型提供情绪价值哈哈哈给模型提供情绪价值哎他需要吗现在之前还在想怎么让模型给我们提供情绪价值嗯 [02:44:33] 对对对总之就是要做点有益的事情嗯但这个有益我觉得是按照个人的价值观来进行评判的然后嗯无聊是不是一种意义我也不知道对我来说不是一种意义吧过去半年你遇到压力怎么缓解压力的有压力的时候大吗嗯我的脑子就是一个似的我忘得非常快我哪怕有压力我当下立马就是可能快的话一两个小时就过了慢的话一天就过了我睡觉第二天一定就过了对所以我缓解压力的方式非常快嗯嗯这也基于一个前提是你第二天会有一些新的有想象力有上线的事情给它冲掉你立马就忘掉如果它还是在那个context 应该就忘不了这次模型发出去之后跟你有什么想象不一样的吗有什么得到什么新的反馈我觉得这一次就是我觉得所有的事情都在我意料之内嗯我也不是说这一次我觉得每一次都在我的意料之内是因为我先看到这个模型的能力所以我能预料到这个模型 [02:45:33] 发不出去过后别人会是什么样的一个感知的状态所以反而我是对任何发布是有点脱敏的对然后我也能预想到它最火的一种状态是什么或者说最炸的一种状态是什么这些我都能预想到所以它完全在我预料之内我也没有有多兴奋或多怎么样我只是觉得OK 我们认为这个模型达到了水平的能力被大家感知到了这就是我这次发布的感觉嗯所以我在发布前一两天我就知道大概是这样的状态如果没有被感知到证明我们哪做错了就是我们我们的平面我们自己内部的评判标准出了问题嗯嗯其实我当时觉得我们发布前的那个评判标准我认为是没有问题的就嗯外部对这个模型的这个评价包括它它在什么框架里好用它目前达到什么模型一个对标的水平基本上都在我们跟我们内部的评估是一样的然后所以大家是正确的评估它的 [02:46:34] 嗯我反而是在发布的前几天就是在开箱 OK我们下部不要干什么下部不要干什么就我早已经进入下一阶段所以这一阶段状态我都就没太care了对那你们为什么31号的时候是先上线了两个神秘模型嗯出于就是因为PostStream在训在训练过程当中我们拉了中间的几个训练出来看了一下然后发现到某一个阶段发现它就非常好用了然后我们就觉得应该让大家去体验一下它然后嗯以及利民的阶段大家的这个评价会更更公正这确实是一个很好的方式所以就直接上了Open Ruder 利民上看看大家对它评价跟我们是不是一样然后当然也有一些比如说嗯我我们当时没有意识到问题就是那个模型的长文当时训并没有训很久所以它确实不好然后所以我们在后面利民发布到政治发布的那一周时间去着重去优化一下它的长文的体验 [02:47:34] 嗯这个是我们从利民期间嗯接受到外部评价对我们来说最有价值的一个提升然后除此之外就是嗯我们在利民期间去验证呢我们内部的评估是没有问题的然后我们只需要按照我们自己的这条评估体系再接着做后续scaling上的事情就行了你的benchmark是什么你们团队的benchmark是什么你们团队的benchmark是什么怎么驱动做好大母星本身就是benchmark 但是这个好是我们自己来定义的这个怎么让公司同意呢就跟公司关系应该怎么处理啊哪种同意就行了嘛我觉得它是一个非常好非常有战略眼光的老板天使投资人 anyway 后边还有很多标签对嗯就没有要求就在这个事情上如果一开始我加入小米之前就在这个事情上是高度统一的所以后边你不需要有过多解释和说明对你就做就行了对按照我们的判断和直觉做就好了然后做了拿完了说嗯做了好 [02:48:34] 刚才我们聊了很多都是就是关于你们VR家族的这个模型我下面想跟你一起来想一想就是我们过去三年整个模型的进展你会把它分成那几个阶段从二二年底就是TRAGEB打响的这个大模型的战争然后每一年的关键的变化是什么我们是怎么做到今天呢在你的眼中我觉得TRAGEB是第一个就是嗯发挥模型在一个我猜测应该就是一个4K的预训练的场景里边的模型的智能水平对其实预训练的长度或说最终这个contest的长度确实很关键的所以其实TRAGEB只是让大家感受到 OK 我在一个4K的contest里边预训练训练完顾后然后我通过简单跟它对话这个对话轮速是一轮两轮甚至多轮的情况下它在一个其实那会的contest 是跟你的对话轮次高度相关的对一轮两轮一轮两轮两轮 [02:49:34] 然后你可以在后续轮去纠正前续轮的很多问题模型也可以在后续轮去澄清自己前面犯了一些错误这其实是TRAGEB当时给人的冲击就是你感觉它在对话上达到一个内人的一个智能水平然后但这些所有东西发生可能就是在一个很短的上下文发生的然后它只是在这个很短的上下文去把模型在超大规模域训练上选择那种 LOS降到最低的那个智能水平给激发出来了当然所有激发的一个前提都是要靠有一个很很能让人感知到智能水平的这样一套交互恰的就是一个很好的交互对否则你不知道这个模型已经这么强了对所以恰的是一个很好的交互这是二年TRAGEB发生的事情对然后二三年的话其实当有一个顶尖的B1模型做到的时候它的下一年就是 OK开源且怎么去追上这个顶尖B1模型所以二三年你看就是NAMA Q1 包括Deepseek [02:50:35] 包括就是这些开源团队对就是在准备去首先借助NAMA批路的怎么去做好大规模域训练的范式其实就是怎么去做好数据怎么去那会儿结构都是未知的就是那会儿你哪怕训一个7B的结构那么这个Transformer结构的呃是怎么样的是Prenormal 然后这个细节是怎么样的然后你的还能size多大这些超餐那会儿完全是不透明的但是NAMA告诉你 OK你这么训能训成功它给你开了个头那么借助这个头所以Q1 OK 借助NAMA的一个架构然后做更好的呃预训练数据做更大规模的预训练的 computers给你 OK 就是Q1系列就起来了嗯然后但是Q1做的很好是它for开发者生态做了全尺寸的模型的训练然后也训练一些多么泰模型也做的非常的顶尖 [02:51:35] 然后这是对社区非常有非常有利于激发后面社区做一些微调啊还有像有一些微调的框架诞生了一些必要的先键条件对然后 Deep Seeker在同期了虽然也是尝试在去复刻NAMA 但是嗯但是可能更在乎的是去看到 NAMA这一代架构有什么问题而不是去着急去 scaling 对它更在乎说OK NAMA这代架构比如说当下 NAMA还是用GQA 那么 GQA在更嗯大的模型里边尤其是在嗯嗯嗯嗯嗯在一些受限的嗯那个GPU上对有短板GPU上去训练的时候它会存在什么样的问题我们scaling会遇到什么样的问题 OK 我觉得可能要设计到一些新的结构来解决这个问题所以这是Deep Seeker V2 和V3那个系列的阶段就是想想去提出一些新的价格 [02:52:35] 不管是MOE 4高效训练 MMA4 更更低的推力成本对然后所以 Deep Seeker那段时间可能会更注重说 OK我去做更好的研究来在更更差的芯片上去做 scaling这个事对 LAMA的缺陷是什么它就是个Dance 然后你要真要去给它scaling的话你会比如说比如说现在没有人去训一个几百币的Dance 开远见好我说开远见因为训几百币的Dance 虽然那么搞过你也能看到结论但那个结论不一定是说这个结构的问题就是就是它太贵了它太贵了你去训它也很贵然后你去推它也很贵没有人会去搬运一个又笨又贵的模型对那所以你 MOE 4 更高效训练然后更高效推理然后像MOE 4 更低的推理成本的这些模型的架构就会诞生对所以这是同阶段可能Q1跟Deepseek在走两个路径 [02:53:36] Q1是在纯scaling 然后Deepseek是考虑的是创新的基础上在scaling 哪个是正确的没有什么我觉得正确或错误吧因为他们两个人的一个是为了拿到最强的模型在有限算力之中拿到最强的模型因为毕竟Deepseek的算力可能只有Q1的非常少几分之一对但Q1想的是我怎么去促进整个生态更好的发展所以两个都是对的没有说谁是对的或错的梁志青城中国的两个开源势力对一个开源势力是在做研究上做到绝对的高度然后一个开源势力是在真的生态和生态价值上我觉得做到一个高度生态价值本身也是一个价值对如果没有这么多好的开源模型那么非常多好的研究工作就像DeepseekRE 前续的很多研究其实都是在Q1的模型上去做的所以 [02:54:36] 所以他们是彼此处境的对社区都是有价值的对然后当然Deepseek有更多的另外一方面价值是它有一个全新的结构带来对于训练成本的一个冲击或者说以及对后续推理成本的一个冲击导致很多推理芯片吧我觉得算是推理芯片有了更多的更准确的判断 OK下一代芯片我应该怎么去构造怎么去设计对我觉得这是一个对整个AGM历程来说是一个非常好的事情对然后这是可能23年24年发生的事情然后24年可能唯一发生的一个事情在所有人业料之外是O1跟R1 O1跟R1其实在我觉得它在Deepseek内部也算是一次棋戏可以怎么说棋戏也可以这么说对就是它诞生的也非常的偶然诞生也蛮偶然的我认为它其实就是 [02:55:38] 说当预训练范是变到后训练的时候然后对于组织和团队以及创新的要求是不一样的时候那么整个团队应该怎么再去重组织的一个问题对我是在这个事情上得到的最大的感知是这个对是团队我觉得团队是起首要要素按照传统的观点方式说我现在要对后训练加大投入好算力我投了那投人那我从外面挖一个人来或者是我我从就是我新组建一个团队这个是错误的方式吗就得看这个团队本身他可能会觉得后训练的人就做后训练我是觉得这样不是很有理由于创新吧嗯就是最主要就是嗯就是你能想到很多点上他会做的不好嗯就比如说我刚刚说的后训练的数据多样性上嗯如果只是做后训练的人天然就缺乏这个事业嗯嗯然后还有就是 [02:56:38] 嗯很多啊其实我觉得最主要的原因是这个嗯很多团队他对做技训练和后训练的人的那个人物化下很刻板嗯反正我们不是按照这种很刻板的方式来去去招人组织人的好问题就是他天然也导致做技训练的人做不了后训练或许是这样子嗯总之我也没太去了解这里边深深的原因我只是当我去了解的时候我就觉得啊怎么那么奇怪就老是这么疑惑那我也不管你为什么这么奇怪了反正我就觉得那样不太对嗯然后我就不这么做就ok就行了嗯所以我们外界看到的可能是R1 还是你在内部感知到的是在这个模型开始训练前的对团队的挑战嗯和组织其实其实就是大家认不认可这个事儿然后以及我们要以这种什么样的方式来做这个事儿我觉得我是在R1的过程中是有非常大的体验的但最终的那个结果就我能预知到的是就我走的时候R1还已经做到一个Light的水平 [02:57:39] 然后CoreganMath已经做到了非常接近于那个O1 O1 小的那一版嗯的水平然后嗯那我已经预示到了是我觉得CoreganMath上这个Resinning肯定能走通而且即将可能AME会从那会只有三四十分刷到我认为七八十分可能都非常有可能但后边现在已经刷到一百分了对但我没有预示到的事情是呃它其实是一个范式的转变就Resinning它其实是可以通过CoreganMath这个高发化的场景能发到通用以外这个其实O1也没有走通这个是我没有遇到的事情所以也是因为这样的一个背景的因素在导致我后面再看一些新的东西的时候哪怕它是for一个很垂的场景去做像CoreganMath 尤其是CoreganMath的场景去做我会先思考它是不是真的能犯化嗯是不是我把它想小了嗯对嗯嗯嗯嗯我自己沉淀下来的一套skill 嗯 [02:58:39] 嗯然后这是二四年二五年对可能二五年我觉得很波润的一个事情是它处在一个很交错的一年这个交错的一年就是你可以选择在chart的这套范式下把regioning给做到极致嗯嗯嗯嗯继继续去把嗯嗯继续去把嗯嗯继续去把嗯这种嗯嗯嗯 M1 对你可以在这个范式上选择继续生根你也可以选择我呼去掉我就不管这些对我不管这一套范式然后我就去想下一下我可能在车道范式上能够做到六七十分就OK了嗯其实M1做了六十分就是六七十分就表示这个链路你已经走通了但是你你是不是可以就可能比较聪明的团队我觉得二五年年终就会全面拥抱去 for 新的Agent的架构去做事情而这是你的选择你的选择 [02:59:39] MIMAS是已经转过来了 MIMAS我觉得算是转了最早的 MIMAS是国内转了最早的对应该是我觉得比KIMI还早嗯但这样一种新的范式下它其实对整个团队的这个敏捷性要求就很高嗯你要快速去迭代基于一个技术快速迭代所以你看从模型的发展速度上你也看能看出来哪些公司它拥抱的速度够快对然后嗯嗯可能有些公司就没有跟上就是还是在原来查德的范式下去继续生根没有跟上然后哪怕你去做了一些这种 Broscomps 那个那个思维Bench这些还有就是Terminal Bench 还有这种这种这种带所谓的Agent的这种 Benchmark 并且在这些Benchmark 提升到很深但它并不代表这个模型它真的能实际可用就Broscomps 比如说它就是一个非常离谱的一个评价指标就在这上面训练模型它只我感觉只能在这种数据上测你换的方式 [03:00:39] 哪怕也是做做信息检索的方式你做你最终它能力还是发发不出去就很奇怪嗯就是这套整个数据它局限整个框架也也非常的 specific 对所以就是这半年如果说在做Agent的人大部分是在走到这个歧途上我觉得它算是歧途我们也走了一小这儿第一代的时候并没有想做Agent 就是想做很好的Chat 但我觉得一个原因是我们确实要先打好Chat的技术就像我说的你Chat至少要做到七八十分对然后把这个历程给走完嗯你才能够说你的Post stream的数据的基建你的Infra基建你现有的人尤其是我们招的全都是没有做过大摩西的人它有个历练它必须要有个成长精力否则它一上来就做新的东西怎么好做了对就是我那会做Flash的时候我纯粹是一种 OK [03:01:39] 我们做过的事情这样一群没有经验的人再做一遍但我更在乎是这群人在做这样一群新的事情的时候他们自身在进化然后他们这个进化嗯就对我们后边去做新的事情非常有价值因为我我极少在中间给非常强的supervision 除非我发现你要掉头了对否则你给太细节的这种监督信号就告诉他这个事应该怎么做的一个缺陷就是嗯你会让这个让让团队的大部分人去去失去原创能力这是我认为应该去尽量避免的事情对什么叫做你们团队都没有大原模型背景的人就是我们大部分招人之前都没有做过一个大模型嗯他们刚毕业呃比如说在学校做了一些基础的研究然后比如说之前甚至不是做大模型的那是做什么的做工程的呀然后做开发的呀这些都有一点训练背景都不需要 [03:02:39] 呃大概三分之一到四分之一的人稍微有一点点训练经验但是可能都只是训过比如说呃 7B 呃 14B 那类似于这样的规模模模型我觉得它跟训大模型的完全那些经验也不太能复用对那需要你有很强的训练的呃呃实践的经验吗它对你的经验要求高吗呃它对一二三四步应该做什么要求会高一些哎但是但是我后面发现呃你不要告诉大家一二三四步做什么然后就推大家一起我们一起来重新做一半这个事然后大家就会往前走然后这个组织等会聊我们先把这个这个这个聊完啊你刚才回顾了从二二年底到现在的整个就是技术发展历程以及各个公司做了什么关键的事情呃所以现在大模型的竞争从之前的chats 过渡到了呃 agent [03:03:39] 对吗嗯这算是这个模型竞争的第二幕嗯第二场战役就是所有人都开始在同一个起跑线上那远远模型应该是可能远远模型我觉得早早比如说 Cloud应该是两年前就在这个路径上了只是我们没有意识到它是最正确的路径而已对或说大部分没有意识到很多人我觉得是在去年意识到对去年意识到但是都没有在做正确的事情在我来看那什么是正确的事情正确的事情正确的事情就是你要在一套非常复杂的 agent的框架或多样的agent的框架上然后去端到端的完成更高复杂度的任务并且以此为目标不要作为你的后训练的范式对而不是在一个很局限的场景里边针对一个这个场景定制的这个这套很简洁的架构里边去做另外一个比恰的更复杂度高一点点的 [03:04:41] 任务然后它的模型的输入输出还是一堆字符就还是一堆token 一堆token 然后你的模型的out 的范式可能还是我刚刚说的以推理 rollout为中心但其实agent已经不是了你觉得minimax是在转变是比较快的我感觉到我觉得它是比较快的因为他们用一个十倍的模型做到目前的这样的一个agent能力我觉得是蛮惊艳的就是他们的后训练的敏捷程度是非常惊艳的但是你说agent的这个第二幕所谓的入场圈是一堆的基础模型那minimax没有这么大的模型啊对所以我觉得它并没有说真正意义上已经对标Cloud Ops 4.6了所以我把入场定义为你要做到对标到Cloud Ops 4.6的水平它需要一堆的基础与此同时它需要和敏捷性对它已经具备这个事情了 [03:05:41] 那它具备的是后者所以现在中国工资还没有同时具备两者对吗嗯对嗯看一看Deep Seeker吧哈哈哈我刚才我们顺了一下就是从二年底然后到现在每年的模型变化你觉得到今天嗯你能评价一下中美两边这些厂商他们各自到了一个什么样的位置现在大家bet有什么不一样吗嗯嗯大家可能一个共识都是认为 Asobic的路径是正确的嗯我觉得这算是当下的一个共识嗯就是嗯 AGen的这条路也的路径也会更清晰至少在过去的呃三个月以内我觉得AGen路是变得更清晰了嗯所以在路径更清晰的情况下嗯嗯国内的大模型团队我觉得会更呃就就会进入到一个加速追赶的一个状态因为现在大家在print train上的 [03:06:41] 呃呃代差我觉得是非常呃基本没有的或说非常接近嗯或说国内的大模型团队在print train上结构上是有优势的呃甚至一度我认为Cloud的呃可能呃呃所以很长一段时间做的很多contest engineering 我们都误以为它是因为模型结构不是很先进然后为了成本而做了一些妥协的设计嗯但现在回回头来看可能是有点想的太局限了然后现在可能你能看到所谓的这些contest 呃不管它最开始的东西是什么但最终目前的啊呃这样的一个状态是它所谓的这个contest的管理以及搭配的整个Skateford或者Agent的架构呃嗯其实是为了呃呃呃呃呃呃呃呃呃 [03:07:41] 呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃需要探索的但是至少要做的事情就跟二三年要去追评 print train的差距一样我认为是非常清晰的你什么时候意识到 coding可以放话 coding的放话性那么强我觉得一开始就会就是不管是在print train犯式还是post train犯式就二三年哪怕最开始我从量化回到大母线的赛道的时候就会对coding的放话性会抱有非常高的期待但是这种期待它是转变成说 [03:08:41] OK我先要好好的去做好code的预训练数据然后再去scanning 算力看一下它到底在code benchmark上会不会很好再看看code benchmark提升了以后其他的犯推理类的像BBH啊 Joff啊这种benchmark 会变得更好就开始是这样其实它是一步步去实验验证这样一个探索的路径然后到RE那块又一次验证了因为code和mass都有非常好的 verify的指标所以又一次验证然后到agent这个范式 code又因为它有很好的 environment 然后并且code可以天然做很长城的任务比如软件开发就是一个非常长城的任务你做一个非常复杂项目工程就是一个很长城任务所以它又很适合agent这个范式所以它基本上在每个范式上它都搓中了那个点对 [03:09:41] 就你都可以在code上去至少在研究上你可以是自闭环的然后并且在这个自闭环的路径上做出来的东西它是很容易去 skate到其他的更广领域的通用数据上其实code本身就已经挺通用的然后它还很容易因为它本身是自然语言所以它很容易skate你对所以做客这个事就是我觉得至少在这三个范式转变的时候它都是一个非常优雅的路径对 RL scaling现在探索到哪一个哪一步了你们有什么探索的初步结果没有暂时还不是很方便分享我觉得等我们有一个至少我觉得在 RL scaling上的算力跟预训练的算力达到一个同一个水位的时候我觉得我们会会给大家分享你觉得今天的竞争变得更激烈了还是变得更平坏了相对于23年竞争的维度变多了吗竞争的维度变多了但是其实应该说竞争的维度和速度 [03:10:42] 都变多了速度变得非常快可能你做预训练你不可能一个月出一个模型但你做后训练你确实可以一个月出一个模型然后然后还有就是其实 agent这个事它除了看agent的架构本身也看你对整个推理测的结构或说甚至硬件芯片对你是怎么去认知它的我觉得它会影响到有一些最基本的决策比如说 10兆的contest 什么时候做要不要怎么去 scanning 1兆的contest 其实它也涉及到比如说你在运训练如果阶段就去scanning 那么你后边对你的 poster train 在1兆上去做 poster train 跟在 256k上去做 poster train 它的算力差距是好几倍的差距所以你是不是有足够多的算力差距去 support你去做这个事情对所以 [03:11:43] 以及你最终的场景以及这个框架本身的能力是不是支持你能在10兆上的能力给发挥出来或依照上的能力发挥出来它其实是有个更长的决策链路它从原来poster train 只需要对poster train 本身的架构做决策到需要对你对快速的接下来一段时间 agent的框架演变推理芯片的整个市场我觉得算是供需的一个预估因为芯片它受制于这个制造的工艺对吧制造的储备它瓶颈就在那儿以及你要不要尽早去规划去做更广的不是佛单一芯片的模型结构都是需要提前去做好规划的事情这个说的是大模型的公司维度那你觉得对于创业公司呢当然你没有创业你觉得今天创业公司机会变多了吗 [03:12:44] 站在2026年还是更绝望坦白讲我不是很了解除了其做大模型以外的创业公司所以而且但是我能看到的是至少它对创业公司的团队的规模要求会越来越小就是可能不需要有一个非常大的公司就几个人甚至一个人都可以成为一个公司它大概就只要你学会充分借助agent来去让它变成你的就我之前老看看到有人说openclosure上我一个人养很多个员工就我自己也去做过这种multi agent的尝试虽然当下目前来看是不那么现实的或者说我觉得有点穴头但是我觉得它很快会变成一个现实在今年内嗯会对 multi agent 对对 multi agent 现在没有突破的地方是什么呀现在差哪里 [03:13:45] 嗯每个环节都差一点就比如说你需要有个足够便宜的模型因为你最终算的是它适度比我找一个真正的员工更便宜对要是不那么便宜好用我为什么要用你呢对所以你还是要有一个更更低价的一个模型不可能说你烧个cloud ops一天花一千多token 结果那个员工创造价值可能一千对就这个意思嘛然后第二个就是嗯第二个就是我觉得现在的multi agent的架构并没有那么我觉得还有空间反正对还有空间以及他们各自怎么去自进化自接待以及互相去沟通这都还有空间就都还虽然有你感觉现在已经有这个雏形了而且我自己也multi agent也用的挺顺的但是我始终觉得它还是在去节省成本节省时间并没有去放大最终的上限我现在还没有感受到这样的 [03:14:45] 所以那会不会multi agent的协同的RO训练会不会做到这个事情嗯没必吧那你觉得模型公司编辑在哪里现在模型公司好像没有编辑就是感觉好像我之前说我不想做产品但现在发现就是它又变成直接做产品了对模型机产品是对的对借助agent它的产品力反而更强了然后其他所有东西都很简单然后就反而就是模型借助agent的架构本身就变成一套新的产品了现在你看看一个公司为什么要选择开源为什么要选择B源因为国内大部分公司都开源了除了自己现在选开源的目的或者什么呢这是一个技术选择还是一个市场选择还是一个加速一件的事情我还是认为是这个目的开源是加速一件的开源一定是加速一件的事情就你如果没有开源你我们假设一件会爆发假设它会替代绝大部分的生产力那么我们可以从这个事去倒推 [03:15:47] 你需要多少的芯片你需要那么这些芯片难道会被一家公司生产吗难道会被一家公司购买吗好像不是它会分散然后那么如果它是分散的情况下那么假设芯片是分散那这些芯片的推理有可能是芯片的厂商有可能是大模型的厂商那么它用的模型难道是同一个吗还是用的不一样模型我认为一定是不一样的对所以你从中举来倒推的话开源这个事一定是有至少有利于推进这个事情的因为它最终要大规模产生经济价值它必须要依赖于算力才能产生经济价值的对所以我认为开源是至少对于对于很多环节也就是框架芯片能源这些环节上其实都是有促进作用 [03:16:48] 所以我认为它是加速一家进程的那你说它最后是一种工艺还是一种市场我觉得是取决于每个公司在开源是结合自己的生态位就是你有没有一个别人不可以短期内拿下的一个战略的生态位如果有的话那么你就敢开源如果没有的话你就认为模型就是你的生态位那你就不开源就是这样的一个行为你在一个大公司做开源的事情会有压力吗我现在不觉得我在大公司做事情其实小米整体我觉得非常的创业导向我觉得很奇怪的是它看起来是个大公司但它其实是一个做事的灵活度非常高的公司所以你觉得 2026年什么会成为模型公司竞争的胜负手做对了什么才能留在牌桌上首先不能做错的事情是 [03:17:50] 首先你的运训练基作不能错如果这个事都没有上那就基本上就完全没有机会了对所以假设我们都有一个大于一体的模型然后基作的潜能都尤其在扣子上潜能都是相当的这样的一个base上那么大家比拼的就是怎么去快速的去第一个怎么让agent框架跟模型互相自叠代提升第二个怎么让agent架构去更多的去偶合你现在所具备的资源对或者说生态位怎么让agent架构去理解和调度你现在所备的资源和生态位比如操作系统是比如说硬件是比如说流量也算是然后流量社交这些都算是怎么让agent架构去 [03:18:50] 适配你现在所具备的战略资源然后最后合力起来怎么把它给整合好其实他很考验的是我自己觉得他非常考验的是一个公司愿不愿意用一套新的方式来做这个事情什么叫新的方式对思考原来所有的做的东西都是错的对原来是不是有这么需要这么多人来做这个事情首先要思考你需不需要这么多人来做这个事情就是你现在所有做的事情这些人是不是都需要被砍掉因为他的生产力会被另外一个更高效的东西给替代或者说怎么让这群人去利用agent来去发挥更大的生产力价值对所以这些都需要去思考第二个就是在新的生态位上原来那些看起来有毕业的事情是不是还是有毕业的你觉得Frontier Lab的Frontier 应该体现在哪里最基本的我觉得做研究应该Frontier [03:19:53] 对就是还是要有那种自己想要原创做很多东西而且这些东西可能短期内不会那么主流但是你要说完全不会主流认可那也很奇怪我觉得我自己觉得有点蛮反主流我觉得不是很适合的一件事情是你很难很难scanning 我还是很相信scanning这个事儿你只要顺应主流的话那你就很容易去scanning 为什么呀你的所有的info 所有的硬件芯片这些它都是我要的这个目标来一起往前推动的那么你个人就会获得那么你这个研究又会获得非常大的加速度对主要是这个原因所以我觉得会顺这个主流然后去做一点我们超前来认为比如说non-client-signification的架构它其实就是在这样一个背景下去做的但它也没有说上开TPE的研究但我们认为这些小点研究 [03:20:54] 沉积起来那么它就是一个非常高水准的一个frontier的一个model的状态你对你过去几年做的比较偏原创性的研究比较满意的是什么我觉得比较原创性的研究都是工业级水准的就比如说 Deep-C VR 它就是一个工业级水准的一个模型对当大家都在主流去做一个更大规模的 dense的模型的时候然后然后我们反主流去做 MOE 然后去做去改attention 这其实它是这两个都是在做研究但是它是它是稍微因为在一个有时候可能更多是在一个资源受限的场景里面做了研究但它本质上是可以scanning的研究对所以我觉得这个算是一个不错的作品然后 Mirror VR系列 [03:21:54] 我觉得也算是一个是是因为我们确实在 Agent的这个范式还没有非常明朗的时候就去做了很多前置的这个决策和判断然后导致我们很很我觉得很高效快速的去基于一个优雅简洁的结构给讯起来然后这个结构并且最终我们发现它非常的适配 Agent的这套范式然后我们又快速的去转移到Agent的这套范式上做了很多后训练的设计对尤其是围绕着整个Agent的架构来去重新去设计我们的R-Infa 对我觉得这些都是就是都是很多点合成起来最终让大家感受到的不是一个paper本身而是一个工艺级水平的模型你对发paper现在有执念之类的吗没有就发的越少越好为什么呀我就希望别人发发到我们团队里有些人我说不要带我对就核心原因是我现在也不看学术会议的paper [03:22:55] 主要的原因之一是我觉得大部分的实验确实应该自己做然后你相信自己的实验结果比相信弄人的实验结果会更好但是我会看一下它的原始关注的问题和动机是什么这个我会我偶尔会看一下但总之我觉得在有没有在这种大规模的算力的团队里边做过研究的人跟没做过研究的人他关注问题我发现重叠度也差的蛮多的所以我现在就越来越少看这些东西那你现在的信息来源包括哪些来源自连代真来源自连代我最近连跟人沟通都很少都很少对所以我都不知道我今天讲了这么多个小时的这些东西他会不会过一段时间发现我应该会过一段时间会发现它是错的但是我不知道当下会有多少人会觉得它是错的或者说是不是有帮助和价值的就还没交流过没有交流过要说有交流就是自己跟自己交流 [03:23:57] 然后自己看看跟团队里边的其他人再做同样实验人交流对你刚才其实多多少少都提到了一些组织话题包括我们上次也聊了很多的组织话题你在最近的两个月有没有一些迭代这一百个人可能有二十个人以前训过接触过小一点的模型对主要是我觉得这些事情它都可以被快速吸得这些能力真的都可以被快速吸得只要你被放在那个环境里边围绕着一个更高标准的目标来驱动的时候这些能力都是可以被我觉得最多一两个月慢的话三四个月确实都可以被快速吸得所以环境反而比经验更重要我自己认为所以我就没有太在乎它的经验而更在乎我是不是创造了一个更好的环境这个环境让大家更快的提升学习让大家互相的所谓MOPD [03:24:58] 我们说的就是互相的蒸馏我蒸馏你的长处你蒸馏我的长处互相这样快速的提升对这个人来的时候他历史背景的这个基因是不是好我只在乎他的可能初始化其合point的上限高不高我只在乎这个事情但我不太在乎他他目前已经被supervice的能领过后的那个点的状态高不高我就不太在乎这个那你会选什么样的人啊就是他的学历是需要和人物智能相关的吗看错什么东西看见博士的比例是55% 对那是包含再读博士哦对再读不是博士毕业是再读博士嗯嗯嗯嗯那些数字我觉得是有点刻板的嗯然后嗯其实其实这更多是代表一个人对做研究的啊 [03:25:58] 热爱和热爱程度就是如果他做对做研究热爱他可能会选择嗯至少至少读一个研究读一个硕士或博士嗯然后嗯但但我发现现在更我们也招了非常多的本科生然后本科生在对这种 A进的这种新的呃饭式的理解上我觉得反而他的想象力会更高所以我现在反而招人会慢慢倾斜到去招更多的前置的本科生我们会去招大二大三的人为什么呀因为他们的灵活性和适应程度都感觉没有被污染就就就嗯天然更接纳这个事情会产生巨大价值嗯对因为他的思想还没有被禁锢的感觉嗯然后呃所以他敢放心大胆的把自己那些呃想法交给这套家务去验证然后自己不断去探索这个边界那你怎么创造环境 [03:27:00] 首先是构建这个环境的人他是要有同样的特质的就比如说我说要强调热爱这个事情然后强调使命感这个事情我觉得是要有这些基础的特质的然后呃其次又是在呃这些特质因为他都比较虚嘛所以你你信所以另外一个就是要把这些特质给真的给放大的一个前提是他的基础要好就是呃就是你你肯定以为是当他想做什么事情的时候呃他有这个热爱的时候他要能做成就他这个基础要好他不能就光就想法都但做不成就这个基础是构建成他最后做不做得成的关键要素这是一个技术能力对对所以我们会选基础好的然后呃好奇心强的然后呃热爱驱动做事情的当然还有一些可能呃越来越会有一些更嗯更多 [03:28:00] 对多样性有更高的要求对多样性有更高的要求因为如果招的太同质化那么大家很容易去 miss掉一些呃看起来是噪音但实际上对研究非常有价值的一些信息对然后那么这个时候多样性会非常重要嗯所以我们上班那个呃呃有可能是在群里边有可能就在座位上反正吵得不行一天到晚呵呵呵然后嗯我觉得这样的沟通环境是非常好的嗯然后嗯然后当然还有一些外部就是这是内部好还有一些外部的因素就是比如说你的激励的方式嗯嗯组织呃就呃就不能太围绕着某些非常确定和清晰的目标来做然后以及嗯呃我觉得这个激励方式呃钱是一个很重要的baseline [03:29:02] 但是他嗯他他不是唯一的baseline 对嗯就是就是钱要给够但是呢除了钱之外的其他东西也非常的关键就是它的价值感它的意义感其实我觉得很多人远远更在乎这些东西你刚刚说呃后训练团队搭建方式和预训练会有一点不一样嗯通常我们在汇训练上看到的人就两类会适应的会非常好对或者说他对这个事会更有热情嗯第一类就是他会更注重嗯去跟模型玩的这样一群人对因为他去玩他才知道每个模型能力的边界在哪然后呃他才会会去想要呃去找到一种可skin的方式去把他这个嗯这个边界给补充回来嗯有可能是呃呃去呃勾造一批更强的数据 [03:30:03] 呃以及更强的环境让他能够而而训练起来然后呃呃有可能是 4bar到预训练的某个环节可能这批数据没做好我给我把这个数据给他补上这一类的数据给他补上那么可能我下次去模型的时候会更好总之又是呃更在乎模型体验的人更跟模型交互的频次更高的人嗯呃他会非常适应这个方式因为因为我我觉得这个迭代是有价值的就尤其是那些维护了自己很多私有的测试库的人然后他疯狂去测不同模型的边界然后呃突然发现某个模型嗯强了然后呃然后分享出来自己这种独特体验的人我认为是还是蛮适合去去去进入这个这个方式的还有一个就是确实呃我觉得不可避免是这个我们要不要这个新的新的嗯培训练的方式去设计它很好的R的Infra的体系所以呃做R 做R的Infra跟做Printing Infra 有一个非常大的不同是 [03:31:03] R的Infra会更在乎这个模糊程度我自己认为就是就是 Printing Infra你可能不能容错就是比如说我们出现一个 Law Spike 你就不允许它出现你要想要把这个Spike 给它嗯解决下去但做R的Infra你需要允许呃它容错就是容错就是你你允许这个呃模型跟这个Agent的呃在这个Agent的框架边揉揉揉揉揉到一半这个球就会断了它但它断的原因有很多种你根本找不到它是哪一种它有可能是因为呃这个Agent框架写了某个超时的逻辑呃有可能是因为呃呃它做这个任务需要很长的呃呃验证流程那那那你罢了你你不知道它是是因为什么原因这个就断掉了呃还有一个就是会不会你的训练跟推理是在Ego的集训上训的然后所以你你你你你的训练和推的不一致性我觉得在原来 Colegan Mass的呃呃那个Reasonry那个范式里面是不能容忍这个事情的但现在你必须要容忍这个事情 [03:32:03] 然后以及你怎么去做一些更多的 Ego资源的调度比如说现在除了GPU 你还要管CPU 然后你还要管存储对吧然后所以就是怎么在这种很复杂 Ego资源里边把这个模型训起来然后嗯就是我觉得这里边需要很多算法跟工程的一个妥协嗯中间这个模糊的地带非常多然后呃所以它对Inferen的要求的灵活性的要求和这种呃这种这跨战两个领域的这样的一个理解我觉得要求变得非常之高然后呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃 [03:33:04] 還是會有那名群人是適合做RLINFOR 所以大概我覺得是這樣一個變化所以我們那邊可能看起來還是至少做printingINFOR跟RINFOR我覺得還是分開的不太能夠交融因為他們確實對於我覺得對複雜性和精確度的要求會差異很大做RL的瓶頸到底在哪裏你剛才提到printing其實真的差不多了其實真正把agentRL給scan起來的團隊很少非常少包括海外是吧 Asobi肯定做這個事然後其他團隊我不是非常了解至少我從最重的模型效果上感覺到沒有scanning到跟printing一樣亮起這是之前發展的兩個範式嗎你覺得再往後有什麼新的範式嗎不確定先把這個範式做了再說我覺得我們剛聊到那個就是一個生產模型跟感知能力強模型聯合到一套新的框架去進行訓練這個事 [03:34:06] 已經足夠的在我的規劃裏面已經足夠的長期並且比較難實現現在有人說是continue learning online learning 我現在覺得continue learning和online learning 我更多的是代指它跟這個環境產生交互的時候或說跟Ageno框架多輪交互的時候這個框架本身在自己迭代和進化我是不是這麼去定義這個事情你覺得未來有什麼預期啊我覺得未來可能是26年可能是27年可能更長遠一點我現在覺得把當下的做完就行每天的研究都做好我就覺得非常好你現在的工作狀態是什麼樣工作節奏早上11點晚上1 2 3 4點哦但這是我的狀態不代表我們團隊其他人的狀態你是夜毛子是嗎嗯倒不是是我自己本身的睡眠確實不需要特別多的睡眠可能6個小時就完全足夠了然後5個小時也可以 4個小時也行 [03:35:06] 4到6個小時在我一個OK的區間對所以我不需要那麼多的睡眠然後以及現在做的事情有點興奮所以也確實也感覺睡太多有點浪費時間有種感覺吧好了今天的節目就是這樣這裡是商業訪談錄是一檔由語言及世界工作室出品的深度訪談節目你可以到公眾號關注我們的工作室獲取更多的信息我們的公眾號是語言及世界 Language is World 我們希望和你一起從這裡探索新的世界 [03:36:22] We'll explore the new world from here Step by step with the doubt to cheer We're the start of the story This world ever is here We'll explore the new world from here