147. 和蚂蚁灵波沈宇军聊：机器人原生基础模型、大脑和本体的关系、预训练与数据scale up、老师汤晓鸥

[00:00:00] 请不吝点赞订阅转发打赏支持明镜与点点栏目谈了Physical Intelligence派的研究科学家克里一鸣这是一家在硅谷做机器人大脑的备受瞩目的实验室业内人士把他们比做机器人的OpenAI 那今天呢我邀请的是一位在本土探索原生巨生机座模型的公司是由蚂蚁集团孵化的子公司蚂蚁林波目前刚发布了第二代的巨生基础模型我与他的首席科学家沈宇军聊了聊如何从预训练开始训一个机器人的底座 [00:01:02] 瓶颈是什么机器人的GPT-1 moment到底在哪里大家也能从中感受一些中美思路的融合与差异那接下来就是我对沈宇军的访谈期待2026年我们和AI共同进步我还是很坚信巨生一定会有自己的模型就是这个观点如果不变的情况下那他的数据必须要支撑他可以做自己的模型如何把数据损好的scale up是一个至关重要的点不及预期的有吗不及预期数据我觉得从现在行业来看大脑可能是目前是落后于本体的如果机器人有性格的话你希望他是什么性格我希望他是个J人他好看活对我觉得他核心还是要实用哈喽雨军先给观众朋友们打个招呼 [00:02:05] 大家好我是沈宇军现在是在蚂蚁林波科技担任首席科学家之前在清华然后后来到了港中文对讲讲你在人物智能上的一系列探索也是阴差阳错吧然后当时我在清华读书的时候刚好赶上大三然后那个时候是商汤刚成立的时候 2014年底商汤成立嘛然后我们大三要求是必须要有一个这个熟悉的实习然后当时商汤就正好在清华的东门门口然后当时反正就去了跟AI相关的这个领域吧在那个商汤一直干到大学毕业然后就刚好去那个港中文汤老师里面去读了个书然后去的时候其实也比较迷茫因为当时AI虽然说比较火但是也不知道自己到底喜欢做什么然后就尝试了很多方向吧然后像其实本来那个港中文吧港中文比较擅长的其实像这种检测分割啊分类啊这个他们当时也是拿了比较多的冠军但其实我个人对这个就是打榜啊这个事情 [00:03:08] 最后就看一个number这个事情我坦白讲我自己不是非常感兴趣对然后呢那个时候刚好有一个技术火起来了当时叫对抗生成网络就是干对对对然后那个技术火起来之后呢其实就很多人在这方面做探索嘛然后那个时候我对这个事情就感觉比较有意思因为它是能真的能生成一张图然后让大家去看然后甚至于你可以去做一些简单的编辑什么然后那个时候我就从就是算是选择了说我可能接下来要再做这个可能是想要往这个生成模型这个方向去做对然后当时做的也是比较早从17年开始就就是做生成模型然后可能坐着坐着然后那个时候也是有一系列比较火的工作出现尤其是像style gun那个系列的时候然后坐着坐着因为我刚开始做生成然后做做生成那个时候比较火的可能就是一些图像编辑相关的东西就是你怎么把它按照你想要的方式去调整一下呀 [00:04:11] 比如说把你变得更漂亮一点之类的然后坐着坐着就会发现好像坐的太下游了然后就想把这个东西看看能不能再往前做一做就是从编辑再往前做呢就是现在可能大家会讲的更多就是叫预训练嘛对那个时候其实还没有这个概念说白了就是想训这个生成模型对然后但是再训一训就会发现好像这个东西完全有点不太不太能受自己的控制就是你除了因为那个时候还没有说什么堆参数量啊这些还没有这个相关的说法然后就是感觉坐着坐着也不知道怎么能让这个模型变得更好了然后就开始想说那我再往前一步就是从生成之前的就是做表征嘛然后可能就是这么一步一步的从最开始对数字不感兴趣然后对生成内容感兴趣然后再从编辑然后再做到底层的训练然后再从底层训练再往前做做到表征学习可能基本上一路就是这么过来的吧什么时候发现干不能scale [00:05:11] 这是一个挺有意思的故事啊就是我们甚至于在今年今年年初的时候还在尝试做最后一次尝试然后还没死心对就是哪怕是在defusion火了之后嘛然后后面有大家又开始用自回归也去做一些这个生成然后哪怕是这样的时候我还是就是我们团队还是坚持做了一段时间干的scale up 然后怎么说呢其实是取得了一定的效果吧就是我们前一阵子做的一个GAN的模型会release出来啊然后那个时候会发现跟defusion比确实是在某一些方面没那么好但是也比之前的前几年技术其实还是要进步不少的对就是说它还是有它的价值但是它最大的问题还是计算量的利用效率太少了就是因为defusion毕竟它可以不断的就是它可以迭代好多次然后生成一张图然后我们就觉得那对于生成特别复杂的内容尤其是你想要做这种视频的生成的时候 [00:06:13] 因为它就是里面的内容实在是太多了然后可能GAN确实不一定是一个最好的选择了然后所以可能我们会把我们在GAN上积累的一些技术我感觉沉淀下来然后release给公众之后可能就也算是画上了一个句号吧对不敢说圆满但是应该也算是画上了一个句号然后可能接下来也不太会在GAN的ScaleUp上再做过多的尝试了但是往回说一点就是说我觉得GAN本身是就对抗生生网络嘛它其实里面核心的一个技术还是在对抗上就是在如果你同时想要训两个模型然后让他们两个都在互相迭代然后彼此博弈的这个过程中其实在这方面我们还是积累了一定的东西然后这个技术本身我觉得在抛开GAN本身不讲的话之后应该还是会有用途的嗯对只是可能不是在现在这些场景上对对可能不一定是用在这个图像生成这个领域了对你当时从博士毕业的时候 [00:07:15] 就是在那个节点当时商汤处于什么状态多么太处于什么状态对于商汤当时发展到什么样我印象不是很深了然后可能像这种生成式的就是生成内容的这个东西当时还没有出现在商汤整个业务的大的范围里面其实我毕业的时候加入的是我先去了字节跳动当时字节跳动倒是跟我做的东西很匹配因为它是做抖音的抖音本来就做内容然后它当时需要做很多特效我记得当时就是用我读书期间做的一些工作当时还带火了一些比较有趣的应用因为我是做图像编辑的嘛然后就是看能不能通过一些AI的技术比如说让你男生变成女生啊然后变老啊变年轻啊就看看有一些就是当时应该会有一些玩法说比如说看看你20年后应该长什么样子你70岁了应该长什么样子就类似的这种东西对然后包括怎么能够把一个人跟另一个人中间做一个完美的就是比较连贯的那种转换对当时就是有一些这样的玩法是用起来了 [00:08:17] 在自己也可能待了当时大概一年多吧然后那个时候给我的感觉就是大家每天都在想各种各样的创意就是说比如说今天又有一个什么好玩的特效我们希望它变成一个爆款当时我就会感觉确实还有很多自己想做但是没做的东西嘛那个时候刚好是2022年的时候然后应该是蚂蚁的技术研究院在招人这一波还没有爆发XGPT 对应该是在我来了蚂蚁之后的年底才那个时候也是震撼了一波对那个时候应该处于像你们这种人工智能学生的一个迷茫期算了吗因为你加入大公司它其实主业不是干这个的它都是在既有的产品上去用人工智能技术赋能一下对总结的还是比较到位相当于是做这个计算机视觉这个领域嘛坦白讲计算机视觉过去十几年吧我感觉第一波可能是人脸识别这个确实是一个比较大的一个应用了然后第二波可能是特斯拉带火的自动驾驶 [00:09:19] 对吧然后就是它推出了一个纯视觉方案除此之外好像还没有看到哪一个就是说视觉应用然后被大规模的用起来然后有一个比较强的产业价值好像还没有碰到这么一个具体的场景对然后这也是为什么说我本来从视觉现在想转到就是当时24年 24年的时候我就开始想去做这个就是机器人这个事情对因为感觉视觉可能是在数字世界可能就是怎么说呢它不是一个主要的发挥作用的一个地方用武之地不够对我是这么感觉的对但是在物理世界离开视觉机器人肯定是没办法工作的我觉得这是一个对视觉的强依赖然后所以说当时就开始想 24年的时候在蚂蚁当时就在蚂蚁技术研究院然后本来是想在研究院说要不要做一个就是往距身方向开始做一些探索当时是有这么一个想法 [00:10:19] 对然后刚好因为就是整个蚂蚁的大的就是有一个比较大的一个规划就是其实蚂蚁本身是做这个生活服务的嘛就是它做了很多这个数字世界的服务就是大家比较比较就是听的比较多的可能是金融相关但其实蚂蚁做了很多像这种医疗啊对吧然后说这个出行啊等等这方面的服务就是蚂蚁做了非常多数字世界的这个生活服务相关的事情然后呢从整个集团的层面来讲说那数字世界的服务如果想再往进步延伸肯定是要往物理世界迁移嘛对然后刚好就是那个24年底的时候就是蚂蚁是正式宣布说要成立了一家子公司就是蚂蚁灵波科技然后那个时候我在研究院也刚好跟就是当时的院长propose说我也想要去做居身质量相关的事情然后就是不谋而合然后就是当时也就是被怎么说呢就是相当于调动到这个领波来 [00:11:22] 然后说一起去我们既然要做就不要说再当一个研究型的机构来做了而是说我们可能是更加的直面这个行业跟着行业一起成长对所以说可能就是这么一个契机吧然后就是来了铃波这里蚂蚁研究院当时是个多大的规模的组织啊有不同一方向的研究院的探索是吧对对对就是人工智能是它的一方面嘛然后像它的这个隐私计算因为就是安全是一个很重要的点嘛我更多的理解是这个东西像是一个一些探索性的东西其实都会放在研究院来做当时对为什么决定成立一个子公司专门做巨生智能我其实觉得这是一个集团应该是做的一个比较大的一个决心我觉得如果是还是把它当做研究机构的形式去做的话很有可能做一做就脱离了这个行业或者换句话说就是研究员认为的先进的技术跟行业需要的先进技术是会有gap的对所以我觉得这其实是一个比较明智的一个选择 [00:12:23] 就是说既然要干那我们就变成一个真实的业务来干而不是把它变成一个研究性质的就是试验试错的一个团队去做对所以说就成立了这么一个公司你看你经历了三个组织分别是自己蚂蚁的研究部门然后和现在的蚂蚁林波这三个部门分别是第一个是以前的一个产品公司然后你要用AI技术去赋能它第二个是一个研究驱动第三个是跟产业结合的一个对类似于创业公司是算创业公司吧对算是创业公司你的感受是什么样的在这三个组织中然后你觉得现在的AI 不管是产品也好模型也好它应该用一个什么样的组织方式去驱动它从最开始就是在字节那边我其实也是做业务然后来了蚂蚁技术研究院之后又刚好赶上从没见过大模型然后到大模型爆发然后也受了一波冲击然后那个时候就有点不知道 [00:13:24] 其实很迷茫就是研究到底是什么样的东西是好的研究就是你发了一篇论文或者说你能拿到比较多的引用量是不是就代表你很成功就是我们到底能给这个往小了说就是学术圈对吧往大了说就是这个行业到底是带来什么就是这个研究是不是有价值那个时候自己心里是不是很清楚的然后再到现在的蚂蚁灵波这边我这一次的感觉其实是比较深的我觉得它刚好是两者的一个结合就是说我们既想要去做一些不一样的事情然后这个不一样的事情又能够直面真实的需求对然后为什么说现在可能这是一个比较好的机会因为在这个也是在做业务的过程中但是现在机器人不是因为技术还没有收敛我觉得作为技术人可能是在这个时候能为这个行业去或者说哪怕是探索一条不正确的路也是一种贡献对吧 [00:14:24] 反正就是说在这里面技术不收敛的时候我觉得是有比较多可以做的事情所以在我看来就是如果现在既想要做一些比较大的事情然后又不想要说在一条完全没有创新的然后就是纯是那种怎么说一条确定的路上就是只是说把桩子打得更深我觉得从这个角度来讲我觉得巨神反而是一个比较好的机会就是大家在这里面既能有发挥的空间然后又能做一些对产业有价值的事情你们刚创立的时候刚过来是什么样的感受两个点吧第一个点是感觉自己还是太天真了天真的原因是因为24年的时候我不是当时在研究院就propose说想要做机器人吗然后后面就发现想做跟真的开始做完全不一样就是机器人这个赛道有太多我不了解的东西了就是可能当时对视觉对模型里面会懂一点但是真的说比如说把一个模型用到机器人上 [00:15:26] 怎么去部署怎么去调里面的通信什么我感觉有太多太多的技术战是超出了我本来的认知这是这是第一个感受第二个感受就是也很怎么说呢就是在这个过程中从最开始来了林波刚成立的时候然后整个团队可能不到10个人然后一点点的看着这个团队就是不断的壮大起来然后这个过程中可能感觉这个议员在学习然后一边又跟着行业一起变化感觉这种感觉还比较奇妙对可能这两点感悟可能会多一点吧创立之初你们当时想明白后面要怎么走了吗有些东西是很难判断的嘛但是我们创立之初其实就明确了一个事情就是我们希望能够做一个就是我们还是希望做机器人的大脑这一层这是我们当时就已经明确下来的一个点为什么不做本体是这样我们最后是希望希望先说我们的初衷啊 [00:16:27] 因为我们当时成立之初呃是沿着整个麻衣集团的这个就是普惠的这个想法然后再加上他这个生活服务的推广对我们最后还是希望说未来某一天每家都会有一个机器人对然后但是这个机器人是什么样子其实谁也不知道甚至于他是不是一定是同一个品牌也不一定对吧就像大家现在的手机也是五发八门的对但我们最后就是希望呃每家最后都能有一个机器人然后我们希望在这个机器人里面跑的最后都是凌波的这个模型或者说用的是凌波的大脑嗯这是我们当时做的一个比较大的决定我们也会做一些像这种末端执行器啊什么这些因为因为现在整个的呃模型还没有完全的收敛掉呃未来本体的贵发展成什么样可能我们也不清楚就像大家现在用手机手机也不是一个固定的就是品牌就是说大家比如说都用苹果或者说都用华为 [00:17:28] 也没有这样的一个说法所以说嗯在这个还没有这个这个地方还没有明确答案的时候我们明确的想法就像刚刚说的是我们要希望这个本体都跑了一个凌波的大脑这个事情嗯所以就是坚定的沿着这条路先把它就是汤出来先把它做的比较扎实对这是我们整体的想法你们团队现在是一个什么样的构成啊是一个更偏research驱动的一个团队吗你看美国就有physical intelligence这样的组织嗯呃其实它的好处就像我刚刚说因为行业技术还不收敛所以说它有一些一定是要有research的成分的嗯就换句话说我们要不断的去探索说智能的上限在哪里但这个这个探索的本身其实就是一种research 但同时呃我们既然说成立之初我们就以一个公司的形式去运作这个组织就是不想让这个research太天马行空嗯就是我们还是希望这个东西能够跟产业有非常强的结合 [00:18:29] 所以相当于我们现在是基本上是两手抓一手是想要去看智能的上限在哪里另一手就是抓落地就是说这个东西嗯一定要把它放到真实的场景应用里面去试然后会发现就是比如说哪里不行反过来用这个不行的点去重新反向去驱动说我们下一步的模型迭代应该往哪些方向走嗯因为模型还很早期它可能有十个八个这种需要迭代的方向甚至可能更多但是精力是有限的你不可能说我全面开花所以说有哪一个就是或者说哪一个特点会先去开发这个事情可能是反而是由行业或者说由落地来决定的对你们从24年底成立然后每一年都分别做了那些事情嗯对这个就是说24年底成立的时候其实那个时候第一步做的就是先把我们到底要做什么我们是谁然后要做什么这个事情先想清楚了这是一个很关键的点然后其实25年整个一年 [00:19:30] 我会觉得我们做了一个比较大胆的一个决定当时是从25年3月份的时候就开始会意识到说机器人可能不单纯是一个就是怎么说多么太理解的一个东西了因为它毕竟要动嘛对吧它跟环境有交互那个时候其实就开始意识到就是动态建模或者说对这个时序上的这种建模可能是对于机器人往后发展是一个至关重要的一个事情对那个时候其实还没有所谓的叫WAM这个技术路线就是这个世界动作模型嘛那个时候还没有这个概念出来但那个时候我们就比较坚定的觉得说呃机器人的往前走呃一定要从视频里学习就是而且从视频里学习就是从视频里学习不是说把视频抽针然后还是当成图像来看就是真的要让他学会失去的东西那个时候是25年初就做了这么一个比较大胆的决定 [00:20:33] 所以说呃经历了基本上9个月的时间然后在今年年26年初的时候其实我们呃也是当时比较早的应该是行业可能是基本上我感觉应该是最早啊发布了就是开玩了一个呃呃现在就大家叫世界动作模型我们叫视觉动作模型嗯对就是VA 对当时是我觉得这一这一波应该是25年做的一个比较大的一个决定嗯然后呃26年今年又过了半年嘛然后今年我觉得做的一个比较大的决定就是在25年整个探索的过程中我们发现了另外一个事情就是嗯很多时候我们因为最开始机器人我们也没有什么特别多的数据嘛然后所以很多的时候训练是依赖的数字世界的模型去做的然后就有点像把数字世界的模型在物理世界加结成了一个agent 嗯大概当时是这么做的加了一个动作啊对对对但是那个时候就意识到了一个比较重要的问题 [00:21:35] 就是很多时候呃数字世界的模型的开发的初衷跟物理世界的需求是不是很匹配的那但你这个时候你又没办法push他们去改因为数字世界有自己的一套逻辑他们也有自己的应用场景对比如说可能从就是士兵生成这个角度来说就是他就会希望这个生成的画质啊特别高对吧这是数字世界的需求但是其实物理世界你落实到机器人动作来看其实这个东西没有那么重要嗯对但是你不能反向去push它改模型因为他们是有自己的迭代节奏的所以26年这一年就是或者说这半年吧我们做了一个呃我觉得是一个比较大的决定就是那既然不能push他们去改我们就全部基于物理世界的需求重做一遍嗯对这个重做一遍哦对就是就是从头来训对从头来训一点都没有用大语言模型呃不语言模型是用的我说跟视觉相关的所有的东西我们就从头来了一遍 [00:22:35] 但是语言模型还要用是吧呃对llm是用的对对对对因为那个那个的训练成本太高而且那个我觉得数字世界跟物理世界好像也没有什么就语言什么层面上其实区别不大哦只是说物理世界可能更多的是靠语音交流然后数字世界就打字对这个可能我我个人感觉现在还没有到就是就是就是就是我们还没在这个地方看到明显的应直接应用大语言模型的一个短板就是感觉用起来还比较ok 对但是在视觉上不管是理解还是生成我们其实会感觉数字世界的开发的本来的就是motivation和物理世界的需求其实没有那么匹配的嗯对这是可能26年做的一个比较大的决定 25年可能还做了一件事情我觉得也是一个比较大的决定嗯可能就第一大决定是我们就是觉得要做视频上的建模吗其实我觉得另一方面还有一个比较大的决定就是我们那个时候是非常坚定的要从传感器出发就真实的传感器出发去解决物理世界的问题的 [00:23:40] 因为嗯这个事情是跟我24年底刚来林波的时候嗯我不是说那个时候就太天真了觉得这个事情往机器人上迁移很很简单吗然后那个时候其实我们尝试最开始来的时候就尝试着用很多数字世界的算法或者说之前开发过的计算机视觉领域的一些模型直接在机器人里用然后用的时候才发现落地跟之前的想象完全不一样因为在之前我做research做的比较多嘛然后其实学术界有一个不太好的一个也不能叫不太好吧或者说大家有一个心照不宣的一个点就是数据集都是比较干净的嗯相当于你很少能从数据集里面看到那种比较噪声比较大的一个东西但是在实际上应用起来的时候因为机器人毕竟要在现世界中跑嘛就会发现传感器的噪声其实是完全没有办法忽略的对这个东西跟你能拿到很干净的数据是天然就是相悖的对所以说基于这个考虑我们25年也是坚持要 [00:24:44] 就是说我们可能就要从这个传感器的这个维度开始做起对传感器的维度就包括视觉可能也包括触觉对可能是这是整个零波现在整个就是整个技术思路吧两个比较大的技术主张一个主张就是我们可能要从就是传感器开始做然后我们会更多的或者说大家现在更好理解就叫所谓的空间智能对然后另一个比较大的主张就是可能我们要坚持从视频里学而且要可能就是为这个数字世界就是为物理世界原生的这个方式冲头学对可能是这两个是我觉得比较大的主张你们在25年9月是不是外滩大会还有过一个炒菜的demo 这个demo跟你们当时的那条技术路线有关系吗那个其实炒菜是一个比较长城的任务了对然后当时是尝试着去做了一下 [00:25:44] 发现了很多软硬件上的问题然后这也就促生了我们更加坚定了说我们一定要把大脑这个事情做事因为如果没有一个比较好用的大脑的话其实比如说上一次是炒菜嘛对吧然后如果我们想再拓展一个场景复制成本实在是太高了对所以说可能有了那一次之后我们更加坚定的说我们要把大脑这个事情做好我觉得有两类公司有两类思路一个是我就要软硬一体化然后一起协同往前走一个是我就彻底不做硬件了我要把脑子做好你们选第二条为什么没有选第一条呢我们的初心就是做一个通用脑子所谓通用是因为我们有一个判断是说这个行业需要的机器人或者说他未来是可能进家庭但中间可能还有一些2B的这个阶段我们是觉得你很难说有一款机器人真的适合所有的任务 [00:26:44] 就是或者说你哪怕到了进家庭然后你可能每个家对这个机器人也有不同的需求对吧可能从任务角度出发它就不是一个就是可能一个通用的本体就所有的事情全都解决的一个一个场景我觉得这个这个事情本身可能短期内是不太会实现的对所以说在这个方面我们就还是说既然我们的主业是做大脑那我们就从大脑出发开始做刚好我们其实也有一直讲了一个技术主张就是我们的大脑从最开始定义就是希望它跨本体就是说希望它通用这也是为什么我们在训练过程中可能就加入了不同的本体的数据我们希望我们的大脑在预训练的过程中就经历过这些本体了解他们的特性那么在后面可能说真的在某一个场景落地的时候就可以快速的适应那个本体对这也是我们就是我们就是选择这条技术路线也是跟当时可能跟公司整体的一个最大的战略规划 [00:27:44] 就是说我们要做通用大脑这个事情是符合的吧通用就意味着是跨本体通用除了跨本体之外当然还可以就是它还有跨任务跨场景这些也是通用的一部分对但是有些时候我还是比较坚持说可能本体跟场景是没办法完全解偶的就是什么样的本体适合什么样的场景可能从这个本体从产品定义最开始就已经决定了有些事情适合它做有些事情不适合它做对大家现在可能讲的通用更多是会停留在任务和场景这个方面但我们就是把这个硬件这个东西也考虑进去我们觉得通用应该就是多一层就是你本体上也要通用你们26年因为之前已经开源过四个模型那是你们第一代大脑然后现在又要开源第二代的大脑这次应该有六个模型对这次是有六个模型在这两代探索上你们发生了什么样的变化第一代做了哪些事情第二代做了哪些事情 [00:28:44] 其实从我刚刚说的就是25年和26年两个比较大的决定是比较相关的 25年的时候我们当时两个决定一个是一定要从视频开始学一个就是要做这个空间智能就是说从传感器开始学然后这也是为什么就是从25年我们那个25年做的或者说就是今年1月份开源的那四个模型就是第一个就是深度深度其实就是从传感器开始就是希望这个机器人对这个空间有更好的认知就是对距离有更好的认知这是一个从这个视频开始学其实就催生了视频动作模型还有一个这个世界模型对就是说白了就是一个能让它当这个防震器然后另一个是能让它当执行器你可以大概这么去理解对然后这是三个模型然后再有一个就是VLA VLA就是这个行业最主流的然后能够真的说在场景里面去把活干好的这么一个一条技术路线对所以说去年今年年初开源的那四个模型就是这么个选择 [00:29:46] 这个模型训练多久不同模型开发周期不一样然后像我说的可能时间就是开发的最长的可能就是视频动作模型那个基本上是经历了大半年的时间才最终把所有的时间都摸清楚像深度这个因为我们之前就是在视觉上其实本来就有一定的积累所以说可能在那个方面就是大概三个月三个月三四个月的样子对就是每个模型其实周期不太一样这一代大脑能用到哪些场景本体还能做什么呀第一代大脑当时我们应该是支持了九种构型对然后那个时候应该是做一些简单的抓取任务对然后行业那个时候做的比较多的也都是这个方面的动作对然后一些抓取上可能解决的比较好我们在通过跟行业去交流去接触落地的过程中然后催生了这一代模型的一个比较根本的一个变化就是我们在真的想把VLA落地的这个过程中 [00:30:46] 我们会发现有一个点其实大家之前都没有太关注过就是之前大家做的很多demo也好还是基本上都是实验室环境对吧实验室环境也就是说可能所有的操作是在桌面上做的但是我们这次试着想把它在实际场景上落地的时候会发现机器人做很多动作其实不是在固定高度做的他可能需要比如说你去架子上拿个东西他需要抬手的抬手的时候这个时候就会明显的突出一个说实验室场景跟真实落地场景的一个gap 就是比如说头到底里面来看就是头到底要不要看到你手抬那个地方然后视角会不一样而且甚至于有可能头即使抬了也看不到对吧然后抬起手来就是这里面就是说就是你的模型到底能不能控制抬头以及说在头部相机失效的时候你能不能只用万部相机或者说用其他的一些传感器 [00:31:46] 就把这个事情做了这个事情在机模就是说最开始的第一版的模型预训练的时候我们只支持了手臂的自由度然后只支持了夹爪然后就是没有头没有其他的所有的东西对然后九种构型就是做一些简单的桌面上的一些操作人物所以你要做抓取你不能只考虑手你还要考虑其他的部位对甚至于有些时候假如说因为你看最开始的很多BLA的这个demo 是机器人是站在那不动的甚至有一些大家做的展示出来的东西可能都不一定是个人型就是它可能只有两条手臂就是实验室环境基本上大家都是这么打的就是把这个东西都可以setup好但实际上落地的时候就是我们不可能让机器人就是那个点位点的那么准就是你如果要假如说你需要够的时候手够不到那你是不是要移动一下嗯对然后就是刚刚说头是不是要抬一下然后有些时候包括你视线到底在哪 [00:32:46] 对然后你说抬就是你抓东西那够东西是要抬手吗对吧那我如果想要从下面拿东西呢你要弯腰对这些自由度是我们之前第一版模型完全没有考虑到然后在这一版模型就是说这一次就是相当于2.0这个发布中就会发现我们在这个机器人这个数据上其实做了就是比较大的一个升级嗯从九种构型首先是升级到了20来的 20多嗯对然后自由度是从原来的只有双臂现在支持到带头带腰带地盘甚至带领教授对就是这个东西怎么说呢这就是我觉得我们刚才说抓两头嘛一面是就是上线的牵引一面是抓落地我觉得这个就是落地的过程中告诉我们到底应该就是模型迭代有那么多方向到底应该什么是最重要的对对你迅模型来说你最重要的要做的事情是要找到这样的数据放到预训练里对你们这是一个多大的预训练规模呀这个我们这个应该是一个3B [00:33:47] 基于当时应该是基于3点几B的一个模型去做的对然后数据量大概是搞到了6万个小时 6万个小时对第一代是2万个小时嘛然后这一代是升级到6万小时但其实这一代升级到6万小时跟那个第一代的2万小时还不一样因为我们整个数据管线因为之前就是最开始做的时候感觉很多什么样的数据是好的没有完全的探索明白然后经过了第一版模型的发布之后把很多这方面的数据也重新清洗了一下所以相当于第一次发布那个2万小时数据落到这一次的可能就剩1万多了对然后我们是在这样的一个更严格的管线上把这个数据就是又做了一个量的一个累积对然后差不多4倍应该是有的对应该是上一版的4倍差不多吧数据来源包括哪些啊怎么收数据收数据其实 [00:34:47] 你们是真机数据牌是吧对我们是以真机和可能还有一些EGO的数据 EGO就是人带着头上带个相机去做的那种你们仿真数据要吗仿真我们可能会更多的把它留在评测上就是可能不太会用仿真的数据去做模型的训练仿真数据量是可以做的很大但是数据除了说数量之外其实数据有一个很关键的点就是分布分布就包括了说比如说构型可能是一种分布对吧任务维度也是一个分布我觉得仿真数据它可能在它擅长的方面它可以就是瞬间就可以生成很大量的数据这个事情是毋庸置疑的但是从另一个角度说怎么说呢它可能分布会相对同质化会严重一点就是它可能做的是差不多类似的任务就是它的那种比如说尤其是一些这种柔性的仿真或者说就是比如说你撕开一个塑料袋这种其实对仿真来说我感觉物理引擎的还需要点时间 [00:35:49] 再去做一些迭代升级可能那个时候仿真的数据用处会更大一点但是对于仿真现在比较好做的一些任务来说比如说就是也是一些抓取啊挪啊这种这种这种任务来说其实从现在整个行业的发展来看增积数据的成本也在逐步的下降降了多少过去两年吧我觉得至少得降了三倍不止对我感觉是这样因为从整个管理的就是人员管理的逐渐成熟然后机器也逐渐成熟对吧然后可能数据的需求也逐渐变多就相当于数据也在量产量产一定会降本的嘛对所以说从各个方面的一个成熟我感觉是让增积数据的获取的渠道以及这个渠道会变多然后成本会变低所以说可能这个我觉得也代表了整个行业的一个就是繁荣发展的一个趋势吧 [00:36:52] 对有哪些类别的数据啊准备数据上有什么 know how 核心的是就是你到底要下发什么样的任务这是一个比较难的点就是你怎么能让你的任务尽可能的覆盖我们刚刚说的所有的自由度它有一定的通用性对就你不能说我这个这个数据里面90%其实都没有用到头只有10%用到了头不是非常准确我觉得可能举个更好的例子就是说头部出现的就头部这个自由度出现的比例跟可能腰部出现的比例差距特别多那可能会导致我们的模型就更倾向于学头然后不太会动腰对大概是这么就是直观上讲可能是这么理解会好理解一点对然后另外一个know how 可能就是数据真的拿到之后怎么样把它清洗好这个链路是是怎么样的这个这个坑其实我们也躺了比较比较久因为这里面有一个天然的困难点 [00:37:53] 就是我们是做的是这种垮本体的模型每家本体的特性都是不一样的所以很多数据处理的方式可能是要跟本体有比较强的关系的就是不是说真的说每家本体都可以用一种数据链路就搬出一种数据链路就完全处理掉对你可以理解成就是比如说它的那个相机摆放的位置可能就不一样对吧它的自由度的这个关节的比如说几个自由度的连接方式也不一样就是所谓的这种configuration嘛就是这种机器配置的不同其实对这个数据的处理上带来了很大的难度对所以说可能我觉得核心的knowhow应该就是这两个吧一个是怎么下发任务以及数据真的拿到了之后怎么把它处理得更干净有观察到什么通用性好的任务吗通用性好的其实还是说操作越简单的它就通用性越好就是因为这个事情可能取决于操作员的能力了因为你越复杂的任务可能能够把这个任务完整 [00:38:55] 或者说丝滑做下来的素材源就比较少对因为如果它的动作就是素材的过程中这个动作假如说不丝滑很有可能就导致因为你是没办法把它修丝滑的就一条数据嘛对因为那个成本就巨高了对如果你不能把它修的丝滑的话可能会导致你学出来的模型他就他以为这是一种正确的操作方式对就可能最后模型在控机器人的时候那个机器人也非常卡对就这个都是怎么说呢就可能素材园这个行业也在随着也在成长对这是你们自己的素材园还是外包的公司都有对我们有因为我们是整个是一个比较就是我们有那么多种构型嘛对我们可能有一些合作伙伴生态上的合作伙伴尤其是数据册的本体册的都有然后我们可能会拜托他们帮我们就是一起去把这个数据体系建立起来然后同时有一些比较难的任务 [00:39:55] 所以就是我们还保留了一定的自己的就是采集数据的这个能力让就至少我们先把这个SOP先弄清楚就是我们的人先把这个东西做一遍然后把它就是再去沟通给别人然后说这个事情能不能帮我补一些什么样的数据对所以很多素材方面的坑其实也是我们自己在也是自己一点点的在烫对我听过一个说法就是有一些错误数据错误了再纠正的数据也是好数据对那个可能跟真金强化可能会有点关系吧但是那种素材其实也一样就是你人要在旁边就是相对于看着他然后你要知道他犯错了然后你要在合适的时间打断他然后并给他一个正确的示范这个是这样的就是我们现在因为为了落地嘛为了提高成功率其实我们也内部也就是在落地这个环节其实也加入了真金强化的这一部分就是说怎么能够让这个机器人从 [00:40:55] 可能本来模型没有做的特别好然后去纠正他然后把这个模型变得更好这个是有的但是这个东西可能就更偏落地一点可能我们没有在这个开源的这个技术报告里面去体现对你们这次六个模型他们之间的关系是什么样的这个其实是我觉得这是一个这一次我们做的一个比较好的地方就是我先大概讲一下关系吧然后我再说一下为什么我觉得是做的比较好的地方对首先第一天我们会搞了两个模型一个是这个维忍就是林报维忍然后另外就是一个林报Depth的升级对这两个模型是因为我们上一版就是在1.0那个版本的时候做的Depth 其实是基于Deno去做的对当时我们是用的Deno V2当我们的pre-train model 然后Deno V2其实也算是一种数字世界的模型吧然后他可能更多的他比较擅长的任务就是那种鱼翼的理解对但是其实我们发现鱼翼的理解的这种预训练可能 [00:41:58] 因为在数字世界就是你理解鱼翼其实就够了很多时候对吧比如说知道这是一盆花然后知道这是一只狗这可能就够了对对但是我们在发现这个事情就是这种语意级别的理解跟真的说想要去理解空间或者说理解距离好像并不是天然那么吻合所以说我们自己重新做了一遍预训练这次预训练就不再是跟Deno不一样的事我们是完全从几何的角度出发去做的预训练建模几何角度怎么理解呢我觉得你可以粗浅的理解成点线面吧就是说给你一张图然后你先看有哪些就是或者说就是边缘对就是我们是从边缘出发去让这个模型更好的去理解几何这个概念然后因为几何其实距离也是就是它跟距离是比较相关的嘛对然后所以基于这样的一个variant 就是我们这次更新了底下的基模 [00:42:59] 然后发现就比之前用Deno V2去做的这个Deps要好有一个比较大的一个提升然后同时经过了半年的积累其实我们的数据量又翻了几倍然后所以说从我们又把这个Deps基于我们自己的新的基模然后以及更多的数据又迭代了一半对所以说有了一个更好的Deps 然后这次Deps我觉得有几个比较有意思的例子第一个是我当时看到的比较正经就是一个厨房里那种比较透明的那种水龙头不是透明是反光的水龙头然后把水打开了然后可以看到我们是可以清晰的看到水流的清晰看到水流对就是因为这个事情对于一个机器人真的想执行一个任务来说是很关键的就是你必须要能看到水假如说就去接水你必须要先能看到水你说的机器人看到水对就是你要看到水的位置不是说看到水打没打开 [00:44:00] 你要知道水流在哪里哦他之前看不到吗之前应该是之前他知道那个水流是开的但是距离肯定是不准的基于我们的Variant训出来的这个Depth 这是一个我觉得比较有意思的点然后第二个点我觉得更形象了那个我其实比较喜欢拿这个例子去做一个解释就是我来就是可以解释一下为什么语意理解跟就是数字世界的语意理解跟这个物理世界的这个距离是不一样的这是一个很有意思的例子就是一个假如说阳台然后有一个玻璃门然后外面有一只猫你会看到我们这次的Depth模型是完全看不到那只猫的因为它前面挡了一道玻璃就是相当于是如果我们人在往前行走的时候你会先撞到玻璃然后才有猫所以说我们会试着把那个玻璃门拉开拉开的过程中你就会看到那个Depth出来的那个猫就逐渐的从那个门后面出现了 [00:45:00] 因为玻璃被拉开了然后就可以看到猫了但是从语意的理解的角度其实那个猫一直在就数字世界它只需要知道那有个猫就好了对但是物理世界就是你还需要知道前面有一个门对它对位置的感知在数字世界里是很弱的对因为它不至于说我走一走会撞到它没有这样的问题对其实就是这我觉得这是一个非常好的例子就是你能看到但你摸不到能看到是语意理解摸不到是空间感知对所以说这是我们第一天发布的两个模型就是Variant和Depth 对然后它们两个关系就是 Variant是Depth的预训练就是我们Depth之前用的预训练是Deno 现在我们没用Deno了然后我们是自己搞了一套新的预训练然后新的预训练就是你可以列成它是对视觉本身的一个很好的理解这是预训练做的事情然后Depth是它的下游就是你从视觉感知怎么变到空间感知 [00:46:00] 对就是相当于把从图像变成三维大概是这么一个关系那LLM跟它们有关系吗没有这个也不需要基于LLM对吧对这个是完全从视觉出发去做的训练就是一直比较戏谑的讲我们关注的这三个事就是看得更清楚想得更明白干得更利索就是机器人我们是觉得就这么三个事第一个是看得更清楚对所以说我们先解决的看得更清楚的问题然后看得更清楚这个事情本身是不需要语言的就是纯视觉原生的一个预训练对然后这是第一天要做的然后第二天我们其实发布了这个VLA 然后VLA做了个升级然后我刚刚说VLA这次的升级可能主要是从落地的角度我们发现了一些问题怎么把这个数据变得质量更高然后怎么让构型变得更多然后支持的任务可能变得更复杂因为我们能支持头腰这些东西之后他可能能做的事情就变多了对吧然后VLA这个事情 [00:47:01] 我觉得可能对整个林波来说它最大最大的价值就是把数据要弄明白而且把数据弄明白的是从产业的视角把产业需要的数据或者说把落地需要的数据弄明白对这是整个VLA这次的升级然后刚才VLA讲的也比较多所以像比如说有一些模型公司就是以research为主导的公司它的数据可能会倾向于真机和仿人数据混合来用在你看来是不是它离真实的场景是有距离的这个可能是不同公司选择的策略不一样因为如果他做的比如说他选择的场景是仿真可以做的比较好的那我觉得从仿真上拿数据没有任何问题对但是我们还是说我们想要做通用的大脑然后也是跨本体跨任务所以我们希望他的能支持的任务其实是越多越复杂越好对所以说可能现在对于这种通用任务来说 [00:48:04] 仿真可能的覆盖率没有那么高所以可能我们没有选择仿真这条路然后更多的可能还是希望从真机出发去做对反正就是说比如说第一天的模型我们解决了看得更清楚的问题然后第二天的模型其实VRA我们是解决了数据的问题然后其实接下来的刚才说了三个模型还有三个模型这三个模型其实我更想放在一起说就是一个是Video 一个是Word 然后还有一个就是我们一直讲的VA 或者说现在外面会讲WM 对但我还是会以VA来说因为我们的命名是VA 我们这三个东西放在一起说然后这个地方我记得call back一下我们刚才说的一个点就是我们在上一版1.0的时候发现很多数字世界的模型的开发的动机跟物理世界的需求是不匹配的对然后其实有几个明显能感受到不匹配的点 [00:49:05] 第一个数字世界的尤其是视频生成这一块或者说大家现在比较喜欢讲这个世界模型第一个点数字世界在做这个视频生成之前会做一个视频生成之前会做一个视觉的压缩因为他要求最后生成的图像的质量要很高对吧然后那他没办法做的话他一定要先做一次压缩但他这个压缩其实就是或者说大家现在比较常用的开源能拿到的压缩他就是只做了一个单纯的压缩这个压缩过程没有就是这个压缩过程本身对后面的学习没有任何帮助或者说没有任何联系他就是单纯把一个假如说就是把一个假如说是100兆大小的东西然后我先把它变成30兆让它更好学可以大概这么理解吧然后我们这一次呢是为了让机器人在后面的学习就是理解就是学习的过程中能够更好的去理解语意和动作本身 [00:50:08] 所以说我们在训练这个压缩的这个就是视觉压缩的这个模型的时候我们就加入了语意和动作的对齐就是说换句话说这个压缩这个压缩的或者我们叫编码器也好他在编码的过程中就可以感知到一些语意信息和动作信息有了这样的一个编码器之后他在后面基于这个编码器编出来的那些个东西再去学生成的时候他就更好的能够把语意跟动作这个东西理解就是理解的更好这是一个点然后第二个点也是就是数字世界跟物理世界不太一样的地方就是其实数字世界不是很关心效率因为就是举个例子就是大家说现在比较常见的就是文生视频我给他一段话然后他会给我一段视频然后其实中间可能比如说你生成一个30秒的视频用户可以等30秒就是或者说等10秒等20秒 [00:51:09] 那还是希望他能越来越快的你肯定是希望快但是我的意思他肯定是有可以等然后等你整个视频一起生成完但是机器人在执行的过程中是没办法等的他是及时的对他一定要实时一定是实时的对然后所以说基于这个他就会诞生两个点第一个你的模型效率是不是能做的更快嗯这个其实从这个点上对就是因为现在大家可能用万象会用的比较多然后万象其实是一个dance的模型嗯就是他没有用没有用MOE这种形式就是比如说他是一个14B的模型他在推理的时候激活就是14B 对然后但是这个事情我觉得对于后面的加速你哪怕是后面的加速工作做的再好你在模型本身激活上其实没有一个如果如果就是说从框架上不做加速的话可能对后面的就你能加速的比例其实是固定的你没办法真的做到非常非常快嗯这是这是一个点然后另外一个点是就就因为刚刚说的是实时的所以他必须要就是他必须要所谓的叫单向建模 [00:52:13] 你的历史是看不到未来的未来可以看到历史但是历史看不到未来时间是单向流逝嗯对但是呃因为数字世界你说生成模型的时候其实他可以是双向的对吧因为我就是你是给他一段话然后你等一会儿你等的过程中其实就相当于是你那段话的开始跟结局其实你都知道了然后他给你一段完整的视频就好了他不用说在这个过程中只能往前走嗯这两个点是物理世界对提出的一个比较新的一个需求但同时呢呃也不是说提了新需求之后他就这个东西会变得更难但物理世界也有一些可以被呃做一些取舍的东西就是可以被舍弃一些东西最核心的就是画质因为数字世界肯定大家会要求高清嘛然后要求对吧人力要高然后这个东西看起来欣赏起来才好内容生成主要是这样对其实不同生物之间的那个视觉能看到多清晰是不一样的但是他也可以在地球上生活 [00:53:14] 对所以嘛就是物理世界其实就是就是换句话说你可以生成的东西有点马赛克没有关系的 OK 或者说就是画质不高没关系的然后因为什么因为我们还有摄像头啊就是你生成的不高但是你能看到所以这个这个没关系的对然后就是就是基于刚才我说的他有提出两个新的需求但是又可以舍弃掉画质本身所以说我们在这方面又做了两个工作一个就是我们说的video 是我们也是把它开源出来啊就是Limbau Video 本身就是一个 MOE架构原生MOE架构的一个模型它有一个呃其实MOE这个事情啊就是大家可能呃听的会比较多好像说就是那那就把一个Dance的变成一个不用每次都激活我就是比如说呃三个参数激活一个就类似这种不就好了吗嗯但其实真的想把MOE训明白还是有难度的因为在训练过程中你要控制每一次的生成激活的比例是它要均衡 [00:54:14] 就比如说你一共有一共有30个参数然后你每次都激活那10个这就有20个参数就基本上不被激活到这个事情是不可以接受的因为如果是这样的话其实跟10B的Dance 就或者说10个参数的Dance模型就没有区别了我们既然是想让它就是想让它就是稀疏化那你要让它稀疏的均匀嗯如何能让一个模型就是MOE的训练就是均匀的把每个每个参数都就是就是怎么说呢怎么说呢以同样的概率被激活然后把它训好这个东西是其实是一个技术问题对它不是一个异元度问题不是说我想让它少激活点就激活点少激活点对所以说我们在video上就是因为我们自己从头训嘛把这个MOE这个东西我觉得应该算是先是唐通了吧这个中间失败过没有失败了很多次应该是把就是整个训 [00:55:16] 因为我们也想说训一个能有训练激模的能力嘛然后其实把整个激模训起来整个infor打起来数据弄起来其实这些都是一些基本上可以理解成是确定性球技就是都知道可能是没那么多经验但你反正就是做就好了其中花的最大的一个部分就是MOE MOE应该至少光训MOE想训明白可能就花了两个月的时间两个月对然后就是不然的话就是你一直发现它虽然叫MOE 但跟你最后期待的MOE 是不一样的MOE 对所以我说就是MOE 把MOE训好是一个能力问题它不是一个态度问题对所以说后来提升了哪些能力你训练失败了几次中间失败因为两个月我估计失败个几十次应该是有的几十次对但失败它不是说你训到后面才失败你训一训就会发现跟你想要的不一样就是有些参数激活的不均匀不平衡对然后 [00:56:16] MOE这个事情我觉得其实最后最最大的核心就是怎么能够让你的这些个所谓的专家被等概率的激活然后这个里面可能就涉及到从你这个训练的时候这个loss function的一些选择呀然后从你这个sampling的一些策略对吧或者说给他加一些政责呀之类的就是加了各种各样的东西然后现在是我们可以保证 MOE这个东西基本上这个技术本身可以稳定的训练吧就哪怕说换一个框架这个技术因为MOE本身是个技术西数化嘛这个应该是在这方面应该是嗯算是有了一个比较大的一个提升嗯对然后这是说一个一个技术点然后另外一个技术点就是说时间不能倒流这个事情时间不能倒流就是我们要求这个整个的attention 其实都是单向的因为attention就是或者说数字世界大家常用的模型基本上都是双向的因为他要求画质嘛 [00:57:16] 你双向肯定是就是他你中间的连接越多其实你的计算就越大计算越大肯定效果就越好这是一定的但是我们想把它变成单向的在这个地方应该是从1.0的时候就希望想把它变成单向的然后又花了可能在这个事情上应该也是花了三四个月的时间能够做到从头开始就单向训练嗯就是他还有另一种选择其实可以说我先有一个双向的然后把这个双向的变成单向的这个过程中我们会发现会有一个很大的问题就是很多模型预训练模型里面学到的一些知识比如说就是对文字的一些理解它其实是隐含在它的双向的attention里面的就是一些knowledge 是隐含在这里面的对然后你强行把它变成单向的时候单向这个事情是跑通了但是那些knowledge 有些就遗忘了就相当于预训练作废了他作废的一个直观表现就是 [00:58:17] 你之前可以跟他说100句话每一句话他都给给你转移成一个比较好的视频但是现在你可能再跟他说100句话可能只有百分之二三十的能转移成好的视频他已经不理解说的是什么因为那个知识被破坏了对所以说在把双向变单向这个事情上我们也算是做了一个比较大的决定果断的舍弃了双向变单向这个路线从最开始设计的时候就是单向的 video这个工作解决了moe的问题就是从头训练moe 然后我们就是我们具备了这种训练moe的能力然后word的那个工作其实证明了我们也可以把单向的attention 这个训练这个事情也搞定了然后把这些技术最终我们全部应用到了巨身模型上也就是诞生了我们最后最后一天发布的那个模型就是va2.0 这个模型是最关键的对吧对它是整个所有的技术拼到一起的一个模型对一个集合它是 [00:59:17] 对因为就相当于那个video是我们证明了moe这个事情就是我们先把这个路统通了然后word是把causal pretrain这个事情统通了然后我们把这两个技术融合在一起再加上我刚才说我们压缩的过程中也做了一些改进把这三个技术点放到一起有了一个面向机器人纯面向机器人控制的一个原生的集模这个集模从每一个参数都是完全随机化开始去的然后再包括这个机器人本身采到一些数据我刚才说vra 不是我们搞了很多真机的数据啊我们把这些数据都放到了这里面然后去从头训练了一个为了巨身设计的一个积模这个是我觉得可能是这次发布里面我们一直讲巨身原生巨身原生一个概念可能这就是我觉得这个东西就是我们想说的巨身原生本身 [01:00:18] 我不知道在这六个模型里面哪一部分会用到llm 有一种说法是说 llm如果是大脑的话其实机器人好多都在训练小脑那你觉得你们这个巨身原生的模型它到底是大脑还是小脑的部分外面每个人对这个大小脑定义是不一样的在一些简单指令的执行上林波解决的更多是这个层面比如说就你给他说一句话然后他帮你把这个事做了这种这个层面应该是林波在做的但是还有其实在这个之上还有一个更加智能的一个部分那一部分现在林波还没有解那一部分就是真的把跟人的交互放在里面了就是那个东西是需要很多思考比如说假如说就是机器人今天就是一起床然后机器人帮你拉开窗帘他就知道帮你拉开窗帘然后看到外面下雨了他就要知道给你拿把伞让你出门对这个层面的东西我觉得应该在更高的智能阶段是需要做的 [01:01:21] 而那个阶段可能是跟语言模型跟动物态模型要解决的就是其实我觉得跟数字世界可能就更相关了对但是如果单纯的你跟他说帮我拿一把伞这种动作我觉得林波现在解决的是这一层面的问题就是他不解决意图的来源问题他只是解决意图的实现他做一个动作对但是他的动作是简单的他可以是一段连续的动作但是他为什么要做这个动作他不知道对就是他只管意图的实现就是你有个想法他帮你做了但是他不会产生自己的想法他不会主动帮你去想你要做什么对那一层面的交互我觉得可能是更高级的智能林波现在还没有做这一层面的事情因为你刚刚说第一代能抓取对第二代能做哪些动作他有方法性吗对第二代其实就是因为我们有了这个刚刚说的我觉得为了就是相当于我们没有再重新用数字设计的模型基于数字的模型迭代然后我们可能是为了巨身 [01:02:21] 单纯设计了这么一个模型就是因为有了这个我觉得有几个比较大的我觉得挺有意思的提升第一个是现在他能处理随机性处理随机问题的能力要强很多这个大概怎么理解呢比如说我们其实有一个demo是跟人去就是打那种撞球就是在那个例子里面你会发现他这个demo跟一般的就是大家做的demo 就不太一样然后因为他里面会有很强的随机性你永远也不知道就是对面人打过来那个东西会在哪对就是他就相当于不是说我把位置都定好对我不是说把位置都打好就是摆好就可以了对他一定要是看到你打过来了我们才能打然后而且有一个很关键的点是我们在整个过程中其实是只依赖了机器人自己的相机就没有在那个场地周围再放一圈相机然后让那个相机去追踪那个东西的位置就是不是靠这种方式实现的 [01:03:21] 完全是就是跟人一样就是我就一双眼睛然后我就看到那个东西然后去做对这个东西是处理随机性然后另外一个是那个回合非常快就是因为人打嘛就是他对实时性的要求就很高他不是一个说你如果机器人动得很慢或者说你动一下卡一下动一下卡一下其实你是打不回去的这是挺好玩的一个场景对所以我觉得这是一个点然后另外一个再举个例子比如说就是我们还是说整理桌面这个东西就是大家看到的假如说就是一般都会说假如说收纳玩具或者什么基本上都是摆好了嘛对吧然后我们现在是可以支持假如说你就是说把这个桌面上的东西都拿掉都收拾起来然后我们现在是可以支持你先拿一个框随便撒上去撒上去以后然后不就那个其实就就这本身就已经带了随机性对不对你中间还可以把一些东西再拿出来他不是说就把现在有的这些就是收拾完就好了你会发现你可以把它捡进去 [01:04:22] 那个东西再拿出来随便摆一个地方他还是会把它收进去甚至于你可以跟他一起收拾就是有一些东西可能他还没收到然后你先帮他收了那对他来说他就不收了我觉得这一点也是一个比较大的一个进步对这个东西就是我们现在能够处理的随机性应该比1.0版本那个模型要在这方面要强很多对这是因为加了更多的数据不是这个东西就是因为整个的模型的预训练不一样你看到了模型具有泛化性的这种迹象了吗对就是我觉得在这个刚刚说的这种例子里面就是任务的泛化这不是说任务吧就是位置上的泛化这一点我觉得现在应该是有比较大的突破嗯他能够接受这种随机性对这意味着他不是只是通过一个RL来做的反馈对他不是一个固定的任务了嗯他是一个中间可能会有很多突发情况的一个任务 [01:05:22] 嗯对这是一个我觉得这是一个在这个方面就是随机性就是泛化性分很多很多维度嘛对我觉得在位置泛化上应该现在可以说是解的会好一些了然后但是我觉得现在我们这一版模型可能对于这种任务上的泛化任务上泛化怎么怎么说呢我觉得就是就你能不能够直接就是什么也不做就直接给你个新的任务从来没见过你就能做了嗯我觉得这个是一个比较难的一个事情然后这个我觉得这个维度可能现在还没太做好嗯因为他我觉得一个比较大的原因是因为机器人的数据还是不够多就你见过的任务还是不够多你没办法通过你见过的任务排列组合变成一个你没见过的任务对我觉得这个可能还是一个即将要就接下来可能要去重点突破的一个点那你需要他建这个任务看几次他能学会呢就是他的学习成本有降低吗呃这一版应该是比上一版有也就是我们的2.0会比1.0有 [01:06:27] 我觉得是在这方面也是有提升的嗯然后体现在两个方面第一个方面是呃我们1.0的时候当时其实是做了这种评测嘛当时的评测是每一个任务要单独训一个模型就相当于假设有100个任务你就要训100个模型出来嗯就每一个每个任务都要单独训一个后训练然后再去测但这一把我们是可以把假设是10个任务我把这10个任务训练一起一起测嗯相当于这10个任务只用一个模型解决这是一个方面的提升然后另一个是其实从这个数据量上来讲嗯后训练需要的数据量变少了我们上一版应该基本上都在100条左右然后现在应该是20条左右就可以了嗯对然后当然你还是没办法做到说一条甚至更少对我觉得那个可能要随着你积模的能力再进一步提升可能我们再试图把这个事情再再做下去对但整体来说这一点上应该是比1.0也是有一个比较大的提升 [01:07:29] 嗯对去身智能今天到什么阶段了你之前说还没有到GPT1的时刻呃今天呢对今天我还是觉得也没有到这个阶段就是巨神智能本身对因为呃为什么这么说因为现在还没有看到一个比较好的能够做数据scale up的方式嗯就哪怕是我们这次说的呃比如说我们用了6万小时嘛对吧现在有6万小时数据但其实呃坦白讲跟上一次比还没有数量级的提升嗯而且这些数据应该是远远不够的呃我相信随着呃现在这个行业数彩的方式的这种就是大家在做各种Ego相关的数据嘛我觉得应该是等数彩方式真的确定下来然后可以大规模铺开的时候嗯可能那个时候会看到GPT1的时刻所以瓶颜还在数据对我觉得现在就是因为跟GPT相比的话我觉得应该还是在数据的我们这次虽然也在讲 [01:08:30] 就是我们是我们是模型的设计上是巨神原生嘛就我们的模型设计都是特性是为了巨神设计的没错但是呃为了做预训练就是巨神原生的预训练其实我们还是用了大量的互联网数据在做的嗯然后互联网数据的量级应该跟就是就是机器人的比就是远大于大于多少几倍于机器人真机采集数据应该差两个数量级吧 OK 大约模型能够skill up 是因为互联网数据已经ready了啊对嗯所以说在这里面虽然说我们架构上已经做到巨神原生了但我觉得数据上还没有嗯所以可能当巨神的数据本身可以做skill up的时候或者说能至少跟互联网达到相同量级的时候可能是我心目中的 GPT1的时刻吧你估计还有多久啊呃具体的时间可能就不好预估了那个但是现在比之前的好处是呃因为基建上来了模型的开发周期跟跟GPT之前的那个时候不一样了 [01:09:31] 那个时候大家能有个万卡集群就觉得很了不起了嗯就是至少从语言模型那一块但现在美国的很多公司在做语言模型的时候基本上都是十万卡甚至可能到更多对所以我说我觉得整个的这个呃基建上来了之后呃模型的开发效率也会比之前要快所以说可能不一定说呃原来的GPT1到GPT3.5 或者说要拆GPT可能用了一段时间然后可能现在从机器人的GPT1出来到GP 机器人的拆GPT1出来可能用不一定需要那么长时间了对因为是配套的工具在成熟你们的infra水平也跟着提升了是吗呃对因为因为我们开始要做预训练了就是既然我们想去动到原生基模这个东西它需要的资源肯定比之前说我只把它当做数字世界的一个数字世界的一个下游去做需要的资源要多的多嗯对你们要做原生俱生的模型这个bats是什么时候下的当时纠结吗 [01:10:31] 呃其实不纠结呃因为在发完1.0的时候我们当时就意识到这个问题了就是很多特性我们当时是强行在数字世界数字的模型上魔改哦强行魔改然后发现很多东西就是不work 就是你你你你改的再再fancy 它有一些缺点还是会暴露出来所以在1.0发布完之后我们当时就做了决定就是我们必须要具备做底层更底层模型训练的能力算不算是一次bet 肯定算是一次bet 因为嗯我们也不确定这个东西是不是能成功嗯是不是能训练因为没有之前也没有人有过这样的经历但我觉得值得值得一睹因为这个在我们看来如果数字世界的那条路就是走不了特别长远的话那这是一条必经的路如果走不通就是或者说如果不是我们走通也会有人走通的因为我觉得这可能是正确的路嗯嗯 [01:11:32] 有什么之前怎么做都做不成的任务到这一次让你觉得有一点惊讶的吗你有什么啊哈moment吗嗯其实我对于刚刚说的那种跟人一起打球这个事情就比较惊讶因为它真的是综合体现了好多能力就是你的执行也要快然后你的这个随机性或者说你的预判要好对然后再加上其实那个东西我们可能一共也就采了20条数据我就说为了执行这个任务在预训练之后为了做这个任务可能就采了20条数据哦对对对对对对对对对这个比较出乎你的意料嗯以前需要采多少数据以前可能采多少数据都不一定能做成对因为就是真的是不是能够让模型把这个随机性就是cover的比较好我感觉之前我是没看到过有类似的东西出来嗯在做原生机器人脑子这件事情上有什么其他人的工作可以借鉴吗 [01:12:32] 比如说硅谷的一些frontier lab 他的工作有可借鉴性吗呃我记得应该是generalist 他们就是说因为他们的数据量比我们要大得多嗯他们官方就是能就或者说能查到的消息呃公开消息然后可能应该就是几十万小时而现在可能都不知道是不是可能可能有百万了我不清楚然后他们的数据管线什么的这方面应该还是比我们要成熟的他们更早的去动到了pretrain这个这个这个这个方面吧嗯对但是呃跟他们不一样的或者说可能只是出发说要用巨神数据做pretrain这个事情是一样的但是你要说技术本身的借鉴其实并没有因为我们相信一定要从呃视频生成这个这个这个路线里面去去学到一些知识嘛对所以说能够把视频生成这个做到原生的目前还没有看到你怎么看generalist和 physical intelligence 他们的路线的区别呃我觉得他们两个更多的是 [01:13:32] 呃可能有一些最后的理念的一些不一样因为generalist更多他是能接受有后训练的他强调的是高效后训练嗯然后但是派好像更多强调的是zero shot 他更希望不要后训练嗯就是我什么都会对所以从这个角度来讲我觉得可能天然选择的路可能就就不一样听起来generalist更实用一些呃从我的感觉上可能是可以但是但其实速途同归啊因为我觉得是这样这两个能力都必须具备就如果我们设想未来有一天机器人真的能够进家庭你肯定希望他有两个点第一个点是他进到一个家庭之后百分之八九十的活他自己就能干了百分之十到百分之二十他干不了的可能是你教他一下他就会了这两个我觉得都都是都是需要的能力嗯对其实就是in context learning 对然后感觉这两个其实不那么冲突 [01:14:34] 对但是这是一个点然后另外一个可能呃他们两个技术理念我个人会感觉有点不一样的是呃 generalist可能还是在他对yumi 那条那个数据可能会比较他理解的比较深入玩的也比较好哦然后那个physical intelligence 可能还是在真机腰操上他们应该是在这方面做的比较扎实哦对从这个再往后看啊就是因为现在大家开始去讲那个ego centric了嘛嗯就是而且再往后可能说呃我觉得灵巧手这个东西可能也会逐步的被提上日程就是大家可能会越来越关注说需要的更复杂的一些操作任务那个时候可能甲爪就不能满足需求可能一定要用灵巧手了对可能在ego的兴起再加上灵巧手的不断的发展很有可能嗯真机腰操和呃五米两个两条数据的路线可能都会发生一些变化哦对 [01:15:34] 就是可能他们也要去迭代升级但有可能最后再往后发展发展可能就合久必分分久必合可能他们也会慢慢走向同一条路这个谁知道呢所以现在不同的路线的核心是我怎么使用数据或者我怎么获取数据这是一个很关键的点对这肯定是一个很关键的点对我现在是比较坚信的一点尤其是我们这次我觉得算是做了一个比较好的一个开始我还是很坚信巨生一定会有自己的模型嗯就是他为巨生设计的模型但是就是在这个这个观点如果不变的情况下那他的数据必须要支撑他可以做自己的模型嗯所以数据是如何把数据很好的scale up是一个至关重要的点嗯我去年去上海外滩大会他们为一个事情真的不可开交就是说到底巨生智能是一个独立于语言模型之外的一个独立的学科呢一个独立的发展方向呢还是它是基于大语言模型的一个方向嗯 [01:16:34] 有两派观点一派认为我们是基于LLM训练的所以我们是成长在LLM这个上面的一个支线然后另一派就觉得我们一定是独立的你是哪一派我不能完全说是哪一派如果硬要选一个我可能会选择后者巨生智能要解决的问题跟语言模型它其实是不冲突的就是语言模型更多的是让人听懂这个指令到底是什么让基神听懂指令是什么但我觉得巨生智能更多需要解决的是怎么把这个一件事情做好做好本身是不需要再理解语言的嗯但是它的前一步就是怎么把语言转译成就是它的后面的一系列动作就是第一步可能是需要依赖语言模型我会认为巨生会继续拿大语言模型当一个比较好的入口然后它会成长出自己的模型它们两个中间可能只是一个就是交互的层面 [01:17:38] 更好的当然是说我们把语言系统也内嵌到这个巨生里面但我感觉短期内巨生要聚焦解决的问题不是那个它还是要先解决怎么把一个事情干明白这个点但干明白这个事情我个人会觉得对语言的依赖没有那么高语言是第一个招呼工具对嗯换句话说如果不是语言你假如说一共就一万个任务然后你把这一万个任务就把编成固定的编码给它可能也行只是它没有办法在任务维度再犯化了但语言模型本身可以在那个维度再犯化嘛它解决的是需求犯化的问题我感觉对但是这个明显不是现在这个阶段巨生智能的核心脚点嗯你觉得从24年底就是你们开始做支架公司然后到现在为止整个行业的突破是在哪些方面它的进步快吗嗯其实我觉得进步是比我想象的要快得多 [01:18:41] 嗯因为首先从硬件上然后现在至少像语速啊智源啊就是已经把这个量产啊已经跑通了应该是已经可以进入到量产阶段了然后就相当于供应链也随着这个行业发展也在成熟这是一个点然后呃从去年开始大家是假爪到今年开始林小手公司已经层出不去嗯然后已经有非常多的林小手公司出来然后林小手的发展也是就是我觉得可能也用不了太久可能会变成渐渐变成标配渐渐啊只能说就是可能再给它一段时间因为硬件毕竟有自己的发展周期只是说大家已经不满于不满足于假爪了嗯然后再加上就是传感器层面现在有越来越多的触觉相关的传感器然后这些其实都是为了就是林小手啊触觉其实就是为了让机器人做更复杂更精细的任务嘛嗯对吧这是这是从就本身硬件或者说对这个行业里面 [01:19:43] 硬件的发展来讲我觉得是一个比较让我惊叹的一个速度他们是不是也都是一种数据获取方式呃对他们一定会考虑说跟数据的关系嗯它更多的还是为了模型的升级嘛我觉得还是或者说你能够提供更多的执行更多的任务其实也是为了让模型能学到更多的知识对然后这是这是硬件硬件这个层面然后另外还有一个层面就是从这个落地的这个层面因为现在已经可以看到很多家都在去展示说模型可以比如说可以进工厂干活像像飞格还去展示了这个物流分解啊对吧然后呃已经有越来越多的开始去提机器人的落地而且现在的落地已经不再是通过比如说一些传统的控制方式落地然后大家都在尝试用模型去落地我觉得这个也是一个比我想象的要更快的一个一个一个一个节奏 [01:20:44] 因为去年的时候呃去年WSE的时候呃7月份的时候我感觉更多的还是在收demo 那个时候我记得我记得之前我有一个说法说什么也是二四年在倒咖啡二五年在叠衣服反正一年有一个新的动作然后大家在展示那今年是啥呀但我感觉今年反而是大家demo提的少了哦都在提进场景了对我觉得就是短短一年的时间然后模型的就是说软件侧的发展也是突飞猛进所以从这两个角度来讲我是觉得这个行业确实是在加速的嗯嗯对不急预期的有吗不急预期数据我我会这么理解啊在大家尝试着真的开始步入巨神原生之前对数据的虽然大家都在喊学数据需要数据但是数据真实的情况是如果你真的不需要做一个基础模型可能不需要那么多数据量 [01:21:44] 你到底需要多大的数据量嗯我觉得理想状态我觉得应该是百万小时起步吧嗯就是能开始说我这个整个模型里面呃巨神的数据跟互联网数据可能说大家相对平衡一点然后我让他既能学到一些通用的知识又能学到一些呃操作相关的知识对这是我我觉得一个比较理想的状态应该是在百万小时起步对但是呃在百万小时之前我觉得应该会先有一个十万小时的规模而这十万个小时呃是可以就是就怎么说呢他是完全拿来做预训练的嗯预训练不是说基于数字模型的训练是巨神原生的预训练对所以我觉得不及预期的就是嗯在没有可能就是过去一年呃没有看到巨神原生的东西真的出来然后就是因为没有这个东西出来所以大家对数据量需求其实没有想象中那么迫切 [01:22:46] 就是大家会讲说嗯我们都大家都知道行业的公认就是说可能数据是一个很关键的东西而且需要很大量但是没有一个具体的呃比如说你不逊计模式没有一个推动力说让你马上一定要拿到这么这么些数据的嗯所以我感觉呃数据的这个发展其实还有一点我觉得不及预期啊对这是我自己的看法今年好像有一个现象去年之前的这一波机器人公司很多都是嗯本体和模型一起做的对但是今年大家明显更看重大脑了而且很多公司开始只做大脑不做本体你觉得为什么会发生这样的一个变化感觉是两代机器人公司这种感觉嗯嗯其实我感觉我感觉一个比较关键的点就是呃就是一个本体很难目前来讲一个本体很难通用嗯然后呃但如果你不通用的话你要一定要选准场景这样做本体才有意义就是呃 [01:23:47] 你这个本体相当于是是为了那个场景专门设计的因为专门设计它又就是它可以有一些东西做强化有一些东西做减配因为最后落地的话要讲的是成本嗯我们不可能拿一个就是各方面就是六边形战士然后去做某一个具体的任务这样的话它可能很多很多东西是超配的成本一定是上升的对所以我觉得可能大家不讲本体的一个原因是第一本体其实也有自己的门槛你到底能不能有量产的能力嗯这肯定是一个点第二个就是呃本体的这个呃就是你如果场景选不准本体设计的一定是有问题的对但是场景现在呃现在我看来比较难就是大家也不太敢说哪个场景一定会跑得非常好大家都在做尝试嗯但是可能确实比较难决定说哪个场景最后就是先跑最好的嗯 [01:24:47] 所以我感觉可能有这方面的一个原因嗯然后再加上另一个点是嗯这是刚才我觉得对这个从这个硬件的需求的角度出发但另外一个点是我觉得呃从现在行业来看呃大脑可能是目前是落后于本体的嗯大脑的开发是落后于本体的嗯很多时候呃呃呃呃换句话说现在就今年的主要矛盾应该是怎么让他先变得能把活干好然后然后去年王欣健还说干活是一片荒漠啊对所以所以我觉得应该是还不能把活干好所以说会有更多的人想要去试图解决这个问题然后然后但我觉得这个行业在就尤其大脑跟虽然说大脑跟本体现在还是不能完全截偶啊但是我觉得就从这个发展来看他们两个一定是交替上升的就可能现在大脑是落后于本体的但是因为随着做进来做大脑的人越来越多可能这个 [01:25:47] 这条路就是或者说呃智能层它会跑得会更快一点嗯然后可能某一天它就超过了本体那那个时候可能会对本体提出新的需求嗯可能在那个时候会有一批新的由就是智能重新定义的本体公司就是可能再往那个方向去发展就是它可能呃可能不再从我们大家之前理解的一些参数再去看这个本体了嗯可能很多东西就是为了呃就是更好了方便模型控制去设计的嗯对我觉得可能那个时候本体又会再发展一段时间然后可能那个时候就是本体又更强之后又会催生说智能又不足了我觉得一定是这么一个过程嗯所以上一代硬件不一定能够迭代适应下一代的模型嗯是至少我我的判断应该是这样的然后呃硬件本身可能还好嗯但我觉得传感器应该是 [01:26:48] 现在的传感器应该是还要再做进一步的升级嗯尤其是触觉相关的就是其实我举个例子啊就是呃比如说触觉或者说之前大家对传感器传感器是有指标的嘛就是我必须要做呃比如说我的精度达到多少然后我的这个频率达到多少它有很多指标但是会发现呃很多时候做传感器如果只做传感器本身啊他肯定会希望这些指标就是都好嗯但是有些时候又不能决定就是可能又就是你没办法真的满足说所有的东西都很好他一定要有取舍那取什么舍什么其实是什么我觉得这也是个是个问题但是之前的取舍可能大家会凭着呃使用的这个过程中比如说利益必须要准那既然是你是触觉相关器你利益就要准可能会先取这个对吧就是这可能是大家的一个呃或者说不能叫共识吧但反正就是下意识的会这么想但是有可能呃这个东西在AI这个时代 [01:27:48] 模型可能最需要的不一定是你利益要准有可能是需要你反应够快嗯就是我可能对实时性要求可能比那个更高这都是这都是有可能的所以说可能如果说这个传感器再迭代升级可能要从模型的需求出发看我们要强化哪些指标弱化哪些指标就是还没有到说模型可以定义它的时候他们肯定会按照传感器的发展肯定会按照就是传统的理解说我们去怎么去尽可能的优化嘛对我觉得这肯定是一个未来的趋势有的是从硬件出发有的是从软件出发但是大家都想进入家庭这个最好的场景里可能现在其他的一些场景还不够那么性感呃对呃是这样就是可能可能还是2C 2C更性感一点吧对所以他现在需要做一个选择那我从软件出发还是从硬件出发对有的人从硬件出发有你们是从软件出发对我们是从软件出发嗯沿着脑子往后做 [01:28:48] 你觉得接下来几代会怎么迭代我觉得是这样就是刚才我说的呃我们这一把是做了呃就是怎么说呢从这个物理特性上做了一些原生的设计然后接下来我觉得最大的就是怎么能够从架构原生再再往前再走一步做做到数据原生呃数据原生解决了刚刚我们说的泛化性有很多很多种嘛嗯比如说那个本体构型的泛化性然后我们现在能够做到位置的泛化性然后但是接下来我们还是要做任务的泛化性任务的泛化性就严重的吃数据了嗯对然后那一个更更优雅的数采方式能拿到更多的好的数据然后以及把这个数据真的比较好的送给模型我觉得可能是下一版本我们最重要的一个核心就因为你们要自己去做数据采数据嗯可能会投入更多的资源来做这个事情对或者说把数据的数采这个整个的标准需要再做的更扎实一点 [01:29:53] 就是到底怎么样采什么样的数据嗯怎么采然后这个东西到底是不是可以规模化复制可能这个是我们接下来要关注的一个比较大的现在有什么可能性规模化复制吗嗯其实就是大家现在讲的比较多就是Ego 然后其实Ego的数据呃我个人的看法是它提出了一个比较好 sig up的一个方式嗯这一点是毋庸置疑的但是现在的问题是只从Ego 假如说就只有头部的相机拍下来的嗯这个数据到底能不能用它对于之后假如说零销手真的发展起来然后我们想要做手部的一些精细化动作有没有帮助这些东西还是未知的我觉得Ego应该是提出了一个采集理念但这个采集理念是要被打磨成一个具体的一个产品才能够就是开始说部署下去然后开始做起来素材这个事情对我觉得这个理念和从理念诞生到一个理念的真正的实施 [01:30:54] 可能还是要点时间嗯所以说聚生智能现在接下来要解决的最重要的一件事情还得是数据对应该是数据的就是可规模化的然后可以被模型使用的数据嗯就是这个可以被模型使用我觉得可以被模型使用和可规模化这两点本身就是一个平衡因为模型肯定希望数据越好越好就是质量越高越好含有的模态越多越好这是模型的需求但是规模化就是你的需求越高我越不能规模化就变成定值了就是我很难真的上量那在质量和数量之间怎么取一个平衡就是说我模型哪些东西是可以舍弃的这个东西可能现在还没有太定义清楚嗯这个事情一旦定义清楚我觉得后面的事情就会加速嗯你这是第一次创业你对创业有什么新的感受吗对我来说两个第一次吧第一次创业 [01:31:55] 对第一次创业含了两个部分然后第一个部分是我觉得第一次面向落地这是第一次嗯然后第二次就是创业就是换句话说呃第一个第一个第一次是业第二个第一次是创对我觉得从落地的角度来讲可能确实嗯能让我感悟比较深的就是以前会更关注技术的领先性嗯技术的哪一方面的领先性就是技术还是要领先就是技术还是要领先嗯但是是不是有价值的领先还是说只是技术人就是拍脑的觉得大家就是有很多东西都可以领先你现在需要哪里领先你现在需要哪里领先我现在肯定希望能支持的任务越多越好哦对就是我会优先选择场景的就是就或者说场景在任何任务的这个泛滑性这一方面哦对然后这是这是第一个啊第一个第一次就是业的部分然后再说一下创的部分然后再说一下创的部分我觉得可能这个第一次交和我的更多的就是 [01:32:57] 就是人要学会就是或者说创业要学会堵创业一定是堵出来的嗯就怎么说呢嗯没有人知道哪一个路一定是成功的然后资源又一定是有限的所以在有限的资源下路径不确定的情况下就是要堵对我觉得敢做决定敢堵这是我觉得很关键很关键的一点因为如果说一条就是大家如果都知道哪条路是成功的那那为什么是你成功就是就是如果那条路一定成功大厂一定成功对这是这是百分之百的嘛就是有资源更有资源更有人的地方一定会成功对然后但是在路径未知的时候如果犹豫不决很有可能最后就什么都做不出来这里面你们的大堵有哪些不做本体是一个大堵吗对我觉得做第一个是传感器是一个大堵对然后第二个就是原生是一个大堵因为原生这个事情很有可能做到最后就发现 [01:33:58] 没做出来就是你训了半天训了一年花了好多资源然后结果这模型就是不收敛这是这是其实我觉得这是一场豪赌就是做他也没做出来有很多种可能比如说就是思路错了嗯比如说可能是技术还不成熟可能再过个两年三年重新再做这个事可能就成了就是说你太早的进入也不行然后就是可能资源不够也是一方面就是说你本来只只能做100块钱的事但你非要做一个200块钱的事你没有那么多资源这些都是堵的一个怎么说呢风险点所在吧然后但是我觉得一旦是做成了那种时候的成就感还是比较高的吧蚂蚁对你们的期待要求是什么呀呃因为现在蚂蚁集团整个也是AI first 就是从这个大的战略上讲其实我们也是想要突破智能的上限对然后只不过是AI first 它就包含两部分物理世界的AI和巨神智能 [01:35:00] 就是数字世界的AI 我们可能就是承载了集团在物理世界人工智能上限的这个人工智能上限的这个使命这是这是以脉相承的然后另外一个我觉得还是说蚂蚁集团还是一个以这个生活服务数字世界的生活服务为就是怎么为核心的一个一个一个公司然后我觉得这一点我们也是在整个集团的延长线上我们就是想弥补或者说也不能叫弥补吧应该说是呃补齐从数字世界往物理世界迁移这条中间的这个这一部分嗯就是怎么把一个服务真的执行起来对可能是这两点是我们跟集团最大的怎么说呢我觉得是理念上的契合吧对蚂蚁对你们的管理是什么样的嗯嗯其实呃整体来讲还是比较还是比较按照那个创业创业公司的方式让我们去管的对只是说我们的管理体制上可能会呃更独立一点 [01:36:01] 就是可能跟一般就是集团下边的一些BG相比我们的就是因为业务会相对独立一些嘛对所以说管理起来可能也会独立一些但整体的基建什么的都是功效的对于你们的这几次好赌他们是什么反馈嗯我觉得还是比较支持的吧集团这几从上一次发布和这一次发布集团都还比较支持嗯对他们有说为什么我们不做本体呀有说这种吗呃呃其实也会就是大家会有一些debate 嗯对但是呃我觉得集团这一点是对林波有充分的信任和尊重因为我们可能更贴近行业本身对所以说呃这方面我们做的一些呃决定就是集团肯定会就是从他的视角他肯定会给出他的一些建议但最后可能双方还是会在经过几轮交流之后应该还是会达成一致嗯对 [01:37:01] 呃这次创业的最好的预期和最坏的预期是什么呃最好的预期就是我真的看到机器人进家庭了然后进家庭的机器人跑的是领波的模型这是我最好的预期然后最坏的预期就是没做出来呗我觉得也没有什么更坏的预期了嗯对就是可能就是就是可能某一次某一次赌的过程中可能赌错了你是个赌心强的人吗我还可以还可以还可以嗯这里面有哪个角色是你力排中益必须要这么做的嗯我觉得巨神原生这个事情可能是我做了其实是比较坚持要做我觉得这一点我还是从上一次发布的过程中感受到嗯就是我们数字世界的条路就是沿着数字世界往后走就是行不通 [01:38:04] 不想在他们的延长线上对所以我就非常坚持说一定一定我们要做一个用物理世界的东西就是从物理世界土生土长出来的模型对这是我觉得可能也是我这次觉得比较有成就感的一件事情嗯对好在就是呃我不敢说它是一定被百分之百验证啊嗯但我觉得至少我们迈出了一步嗯这次模型的进展是符合你预期低于预期还是高于预期啊呃其实是其实是有点高于预期因为你想嘛我们讲原生这件事情我们从就是两大块一个是视觉就是刚才说看得更清楚那块我觉得我们已经就这一部分就是由原生推动它往前走了一步嗯然后想的更明白就是也是有我刚刚说的我们也是由原生往前又退了一步就是架构的原生刚才说的不管是时间的流逝也好还是说推理效率也好等等然后接下来还有个干的更利索嘛 [01:39:06] 我觉得干的更利索可能就是下一个原生就是数据原生对因为我觉得数据做的数据的呃能够更好的规模化之后肯定是在任务的方向性上有更好的突破嗯对所以我觉得就是从呃我们看的更清楚想的更明白干的更利索这个这一点上我们正好在经过了半年的时间之后把前两点都由原生这个概念往前推了一步嗯我觉得这个是我没想到会来的这么快然后希望希望数据原生的部分也能比我预期的来的要早那我我我可能也会更开心这样的话我觉得真的就是完全是物理世界有自己的一套从模型到架构到数据嗯闭环的一套原生体系嗯现在各个不同领域的玩家都很想抢夺嗯机器人大脑这个事情嗯有你们然后也有之前的那些机器人公司他们也会着重的来做AI [01:40:07] 嗯然后又包括大厂或者说说模型公司如果他们有精力的话他们也会来做机器人的模型你觉得呃你们的优势是什么呀嗯你觉得这个产业竞争到最后的格局会是什么呀呃格局可能我觉得可能跟大原模型的格局差不多可能会有大厂做的比较好然后也会有两三家创业公司做的比较好你们属于大厂还是创业公司我觉得我们现在可能跟创业公司会更近一点嗯对然后那我们确实位置比较比较特殊我们可以属于一家背靠大厂的创业公司嗯对然后呃这是一个就是我觉得从智能层应该大概就是这么一个格局应该会有大厂会有那么一两个玩家然后创业公司会有两三个玩家嗯然后可能大家各自跑出各自的生态这个生态这个生态就包括了数据的生态本体的生态场景的生态就可能每家的模型因为你有了生态之后 [01:41:07] 你场景加本体可能就会给你那个那个生态里面的数据可能你的模型就会慢慢分化的更更适合那个生态嗯但是可能最后大家都会走到一个通用的生态就是进家庭但是在那个之前可能每家模型会有不一样的特性比如说可能有一些有一些模型就适合做精巧的任务有一些模型可能就适合做就是长城的任务这个这个就不好说了嗯对但我觉得应该是会是一个各有特色的就是几家鼎立的这种这种一个格局你对人型机器人这个构型有执念吗你觉得未来进家庭的机器人会一定是人型机器人吗我还是觉得就是毕竟是从一个创业公司的角度来讲我觉得我们一个阶段解决一个最核心的问题就就好了现在当下最核心的问题就是智能不够对我觉得还没有到就是就是就是或者说现在到底是轮式还是足式或者说它构型应该长什么样还不是现在的核心卡点 [01:42:07] 哦现在核心卡点是智能不够然后智能不够的核心卡点是数据不够对对嗯所以怎么让数据能够scale up是重点对然后当你智能有了以后你才开始能做落地的尝试你只有做落地的尝试之后就是产品才会迭代产品迭代应该才会迭代嗯就现在就大家在争就比如说到底是足式还是轮式它不管是足式还是轮式它进家庭我都不会让它进家庭的就是那这个时候就你都没办法做这种user study ok 我感觉是这样你现在工作状态是什么样的这两天好一点就是前一阵子就在模型都都处于要出来没出来那个阶段的时候其实是比较紧张的就是但是现在呃尤其是最近在那个发布完了之后然后嗯整个人状态会相对我觉得会轻松一些然后接下来我应该会呃怎么说呢可能再想一想下一步要就是到底应该怎么去去做吧就是在在复盘一下然后想一想呃 [01:43:17] 比如说数据到底怎么去跟跟模型更好的结合这可能是这这些方面会考虑的多一点受到的市场反馈怎么样呃目前看应该还可以对然后尤其是呃技术社区里面应该对我们做的这一套还是比较白印的嗯对我感觉是这样然后呃如果是那个行业的话我觉得需要再给行业一点时间因为毕竟是刚发布嘛对我觉得行业要试用过之后可能才会拿到更多的反馈嗯你们现在驱动的核心指标是什么呀是一些落地上的数据还是呃呃模型智能上的一些数据哦我就是刚刚其实有提到我们还是两头抓就是我们一边一般一边要探索上线嗯然后一边要抓落地这两个点可能我们都会关注一些我们一开始聊到了你的那个学习经历啊因为你是汤晓欧老师的学生嘛你对汤老师有什么印象吗汤老师是个比较幽默的人 [01:44:17] 这是我对他最大的一个印象因为那个他讲话因为他跟我一样他也是东北人然后我觉得反正听他听他讲话比较亲切吧这是这是一个点然后另外一个点就是我觉得比较能快速的从一个比较一个乱序的一个混沌当中快速的抓到一个主要矛盾嗯有例子吗这个就是毕业答辩的时候因为他要他要参与嘛因为答辩很多时候大家会问比如说你怎么做的呀之类但是他当时他问了我一个可能跟跟行业或者说你这个东西到底应该怎么用相关的问题这就是谁啊就是我当时做的那套那个做做图像编辑视频编辑那套东西而且上一代AI最大的痛点就是他不好落地就没有一个很好的场景对我问你们这个模型怎么用吗肯定啊嗯其实我觉得现在虚神智能它不像大元模型或者多么太模型那么好那么好传播 [01:45:17] 因为离大家生活实在是太远了就是我必须要有个机械臂我才能知道你这东西好不好用就是他现在更多的还是土开发者的我是这么理解的对离兽中最近的都是娱乐场景对这是最快可以感知的对嘛所以我说它不是那么好传播然后如果是开发者呢他肯定会希望你告诉他这个东西怎么用好因为毕竟我们这次我们在发布所有的东西基本上都是预训练就是预训练要落地还是要经过后训练的后训练本身是一个很难的事情就是或者换句话说他不是说就把数据采完然后扔进去简单调整一下参数就结束了就是那如果效果不好到底是没训好还是数据没采好还是模型就不好怎么诊断问题有了诊断之后怎么解它是一个我觉得是一个很难很难的事情 [01:46:18] 换句话说我刚刚说它离这个大众比较远也是其实是一样的点就是因为它离大众比较远所以或者换句话说就是因为它不是一个直接能用的模型怎么把它让别人感知到你这个模型真的好是需要能力体现的所以大家都会问这个东西比如说怎么复现然后我想让它做一个什么事应该做哪些步骤之类的还是会有很多这样的问题我觉得你们玩桌式足球如果能够在现实场景里面能够做一个给大家互动的机器人的话应该会挺多人愿意玩的对就是说换句话说你做的越能直接被应用它肯定是就是大家的问题会越少然后互动性会越强你对于机器人的未来发展还有什么其他的展望没有其实我就是希望它能够离大众更近一点就是我希望它也能够变成一个 [01:47:19] 像那个语言一样就是它出一个APP 然后每个人都能体验那如果说之后真的说就是机器人更普及了家里都有能够或者说一个比较简单的渠道就能搞到一个机器人去玩起来的话我觉得那个时候可能成就感会更多因为现在就是比如说我跟我爸妈去讲说我做了一个什么东西他们也听不懂然后也没有体感然后那如果有一天能带一个东西直接给他然后告诉他这是我做的我觉得那个时候可能成就感会跟现在完全不是一个量级我还有最后几个快问快答一个全球范围内你喜欢的食物日料一个全球范围内你喜欢的地点家我们的嘉宾都会给我们的观众朋友推荐一本人生之书你会推荐哪一本人生之书笑傲江湖我特别喜欢武侠我从小就比较迷金庸的小说然后我特别喜欢但是每次因为金庸小说 [01:48:19] 我其实每一部都看过很多遍然后但我每次推荐都会推荐笑傲江湖因为我觉得我特别喜欢令狐虫里面那种比较豁达的样子对就什么都不太在乎那种心理状态我非常非常喜欢你是这样的人吗我希望成为这样的人如果机器人有性格的话你希望他是什么性格我希望他是个J人他好看活对我觉得他核心还是要实用对我希望他是个J人就换句话说如果在提供情绪价值和干活之间我会果断地选择干活哦为啥不是提供情绪价值呃我可能觉得情绪价值应该由人来提供哦你心目中影响机器人进程的几篇论文其实可能也不一定算是论文吧我觉得我觉得像那个Generes 他们现在已经不写论文他们写blog 我觉得这种可能也算嗯 [01:49:19] 对我觉得那个Generes的那个正一应该对我们是一个比较大的一个影响嗯就是他的数据的规模化确实做得非常好然后像嗯嗯派的工作应该也是非常好嗯再就是像那个呃 Google DeepMind 他们那边的一些工作我觉得做得也是比较好嗯如果我们在中国没有应用到中国的本土的这个硬件优势的话会比较可惜呃对我觉得会比较可惜的呃但是硬件优势可能在呃呃这一次的机器人的发展中我觉得是会有不可磨灭的作用的机器人还是说你不管是怎么样的素材方式一定依赖硬件嗯然后一定依赖传感器哦我觉得从数据质量上我之前一直讲说是我觉得是互联网红利的一个变现或者说这个数据是从互联网那个时代有积累下来的但是巨升相比互联网来说 [01:50:20] 我觉得它可能是一个尤其是巨升的数据可能是一个空窗期嗯现在大家都是一样的嗯嗯那我觉得可能所以在收数据上可能这个中有优势对我觉得这个是一个非常非常大的优势当然迅模型的能力啊基建那些肯定也是优势但至少在数据这方面我觉得中国一定是与美国跑的快那你们是应该利用这种优势呢呃是的是的所以说我们其实也有比较多的这个我们有自己的一个所谓的叫数据联盟的一个就是我们我们会有一些呃比较好的数据的合作伙伴哦对然后可能也会跟他们一起说看看怎么一起去把这个数据做的更好因为数据你所有的规模化东西一定要有标准对嗯所以说这个方面我们是在积极的试图利用这个行业的优势去去做的基于你当下的认知一个关键的重要的 bats是什么呀我觉得就是巨神巨神原神吧 [01:51:22] 嗯我觉得就是这个就我非常非常相信巨神要有自己的模型好了今天的节目就是这样这里是商业访谈录是一档有语言及世界工作室出品的深度访谈节目你可以到公众号关注我们的工作室获取更多的信息我们的公众号是语言及世界Language is World 也欢迎你在小宇宙的评论区与我们有更多的互动也欢迎你在小宇宙的评论区与我们有更多的互动如果我们在小宇宙的工作室获取更多的信息我们的公众号是语言及世界Language is World 我们希望和你一起从这里探索新的世界也欢迎你在小宇宙的评论区与我们有更多的互动 [01:52:33] 字幕志愿者李宗盛