Kay Ke: Inside Physical Intelligence's Open-Source Robot Models and the Robotics Landscape

[00:00:00] 哈喽大家好 我是小珺 今天我们的嘉宾 是硅谷机器人公司PI（Physical Intelligence）的研究员 柯丽一鸣 PI是一家在硅谷做机器人大脑方面 很有名的创业公司 我们一起来聊一聊 整个美国的机器人叙事与进展 那柯丽一鸣 除了是一个机器人研究员之外呢 她业余还是一个网文写手 这让今天的聊天变得更有趣了 那接下来就是我对柯丽一鸣的访谈 确实我们不做人形 因为他们要说做人形 我就不来了 你知道吧 我其实一直很想做的 就是机器人可以造自己 我觉得这个是机器人发展的一个 可能会是一个里程碑吧 因为它就像一个种族 是有延续性的 是可以通过自我的一种繁殖 我觉得机器人能够组装造自己 就是一种繁殖的体现 第一篇是π₀ 它的关键词应该就是能力 第二篇是π₀.₅ 它的关键词是泛化 嗯 然后最近的这篇是π₀.₆ 它的关键词是表现 [00:01:01] 你们公司其他人 会很关注中国机器人的发展吗 我觉得都很关注 这是一个不可忽视的一个部分 我们今天的嘉宾是 硅谷机器人公司 Physical Intelligence PI的研究员 Kay 柯丽一鸣 Physical Intelligence 是一家 在硅谷机器人大脑的探索上 非常有名的一家公司 不过前两天我跟Kay聊天 发现她除了是一个researcher之外呢 她业余也是一个网文写手 那Kay你要不先来自己介绍一下自己 嗯 大家好 我是柯丽一鸣 平时朋友都叫我Kay 我每天平时的工作 是教机器人 能够更快更好地去完成任务 业余的时间 我是非常喜欢人文啊 艺术啊 这些东西 写小说 也是一种可能表达这种情绪的方法 很高兴今天能有这样一个机会 梳理一下自己在研究中的想法 和大家分享 你觉得做机器人和写小说 有什么共通之处啊 [00:02:02] 我觉得 都是有一些创造力的需求的 比如说这个机器人 它现在完成很多任务还不够好 你需要想一些新的方法 而写小说呢 可能你真正想写的故事 还没有被写出来 你也是需要把它创造出来 很多时候 需要一些比较天马行空啊 这样的想法 另外呢 也是有一种执行力吧 像我在做研究过程中 其实经常是有了一个想法以后 哎 慢慢的把这个想法落地 中间需要一些工程这样的 写代码啊这样的事情 而写小说 有的时候是有了一个命题 就为了让读者感受到这个命题 开始一个字一个字的在那里码 诶 我很好奇啊 你平时写什么小说 你在小说里 有藏着一个 跟硅谷机器人公司内部的叙事 不一样的 一个世界观吗 平时写的比较多的是科幻小说 这个也是我最爱读的小说分类之一 科幻小说的话 [00:03:02] 我觉得 肯定是和 我们现在生活的硅谷 现在所处时代有一些关系 因为我在科幻小说中 比较痴迷的一些类型 都会涉及到两个命题吧 第一个是生产力变化以后 人们的生活是怎么改变的 第二个命题是 在和我们的社 会风貌很不一样的未来啊 科幻的社会里面 人与人之间的关系是怎么样的 因为我觉得在第一个命题上面 嗯 可能和我的工作会更相关一些吧 工作时候就经常会考虑到 我们做这些人工智能的研究 做这个机器人是一种自动化 如果你能够把很多现在人做的事情 给自动化的 提升一下效率以后 人去做什么样的事情 是一个其实每天都会想的一个命题 第二种呢 可能是我 因为我觉得 人与人之间的关系 是一个自古永恒不变的话题 在写小说过程中 [00:04:03] 你可能也会去读别人的小说啊 也会和几千年前的 这些生活在不同世界的人 他们的一些思想产生共鸣 我觉得 应该是有一些人性之类的东西 即使是在生产力大幅度变化的未来 科技社会 也会流传下去 所以在AI这个时代 在机器人马上就要 进入我们的生活的这个时代 你觉得人会发生什么变化 人和人 之间的关系会发生什么变化 而且现在不是人和人之间关系 还有人和机器人之间的关系 会发生什么变化 嗯 我觉得这是一个正在梳理中 还没有一个很确切的结论的话题 因为一谈到人和人的关系 就是 我是一个相对而言比较内向的人 你可以 从每一个人不同的研究风格中 稍微感受到一些 我觉得我的研究风格的话 很多时候 是我先想 把自己埋在一个洞穴里面 先埋头苦思一会 但是 为了不要变成一个闭门造车的人 你肯定还是要把头 从这个土里拿出来 去到这样的场合和别人去交流 [00:05:03] 去碰撞一下思想 接下来真的定下来一个命题 以后去执行 这个执行 我一直觉得 以前的话 我在PhD期间 读博期间 是一个比较独狼的一个玩家 你有一个想法 你想要去实现 就说干就干呗 中间遇到了什么问题 我们可以自己去上网 去探索啊 去学习啊 我们可以通过提升自己的技能 组织一个比较小的队伍 去解决这个问题 而从读博毕业以后呢 加入到了这么一家初创公司 做机器人的具身 智能的大脑 一个比较深切 的感受就是 有一些事情 是得在一个团队的协作中才能完成 之前读博的一种项目呢 可能它的规模是比较小的 要解决的问题也是比较具体的 而现在为了要做成这个通用的大脑 你是需要团队中每个人 都在自己比较擅长的事情上 发挥作用 所 以是一种 为了完成一个任务 要大家齐心协力 [00:06:03] 这中间的很多 人与人之间的关系 联系 会比我之前的那种可能要紧密一些 嗯 同时呢 我在想 如果生产力变化以后 因为最近 硅谷不是有很多Claude Code 可以自动帮你编程的小工具 人与人之间的关系 好像又可以不用那么紧密了 因为有的时候我与其是去问 诶 我现在需要做的项目 需要用到某一个模块 这个模块的负责人 我去直接跟他说一下 我们是怎么回事 问一下他可不可行 我干嘛不直接问这个Claude Code呢 我可以通过 和AI的一个智能体的交流 把以前我需要和人交流的方面 给他拿掉了 就是减少了我对这个的依赖 甚至 包括我们现在很多自己的工作流程 也是一个人掌控着三四个Agent 让Agent去干很多活 这个有一些改变了团队协作的中间 人与人之间的关系 所以 [00:07:04] 你在跟人沟通之前 会先去找Claude Code 没错 然后Claude Code成了人和人中间的 那个环节 没错 我觉得这个关系就是有 我在构思一些小说的时候 是会受到这个关系的启发 比如说 一个是想法 是说 现在在一个比较信息爆炸的时代 我觉得现在可能已经有人是这样的 信息爆炸的时代以后 以前你的很多讯息 都是我一个人去浏览 一个浩如烟海的互联网信息 但是有没有可能就是我 有一个小bot 它 可以把互联网上所有的信息 看得比我快 看得比我多 又了解我的喜好以后 全部揉碎了给我 再喂给我 同时呢 如果以后 真的大家都变成了默认的模式 就是由你的bot去爬这个信息 去 分解这个信息的话 可能以后没有这个bot 你就很难 在浩如烟海的互联网里面生存了 因为你这个人能够看到的信息 就变得非常的有限 然后另外一种可能是 我觉得生产力的进步吧 [00:08:04] 我这个人因为之前是独狼玩家嘛 所以会畅想一些 非常适合独狼玩家的 一些生存方式 比如说像 田园牧歌啊 就一个人的乡村生活啊 大家会在YouTube上也会看一看 这样的类似的博主 我会畅想一下说 哎呀 我这个 将来就到一个远离人烟的地方 去生活 这种生活 现在的话 叫我我肯定不敢去 我会觉得要干好多事情哦 要脱离这个现代社会的基建 的支持去干这么多事情 我 一个人 我能做到这些事情吗 我这个烧水啊 弄饭啊 这些 可能现在还有一些基建 但是在家里这些家务啊 还有各种各样我不想干的事情 我怎么能够在远离人间的方式下 把它干出来 嗯 会想到就是我们现在正在做的机器人 比较近期一些的应用 可能就是说 能够把我不想做的事情给它 做掉 但是以后更多的畅想是说 如果真的有一天 机器人的技术能够飞速发 展的话 可能你现在需要拜托很多人 [00:09:05] 比如说修水管 这是一个美国社会永恒的难题 修水管 你现在是需要依赖人的 但将来也可能是机器人来解决 甚至包括你现在做的很多项目 随着这个智能体的发展 以前可能是需要你拉一个人的团队 以后可不可能是拉一个人工智能 或者机器人的团队 甚至像现在的 我们去看很多1000年前的原始社会 可能会觉得他们生产力 制造力没有那么发达 如果我们在1000年后再看的话 说不定他们看我们也是原始社会 他们那个时候 每一个人能够拥有的生产力 都相当于现在 每一个国家能够拥有的生产力 我觉得这个可能 独狼玩家会挺快乐的 哦 那人和人的关系会变得更加的松散 我觉得是 可以让人和人的之间的关系 变得更加松散 可能在原始社会 一个人在广袤的大自然里 面 独自去狩猎 生存的话 是比较难 而现在的话 找一个地方埋起来好像 把自己头埋起来 好像没有那么大的问题 但将来也许可能在宇宙中 [00:10:06] 你可以探索 你说不定可以 发现了一个小星球 哎 你就直接在这个星球上面定居 你就可以搞很多机器人来帮你 在这个荒无人烟的星球上面 搞好基建 你可以建很多你想建的 你想建高楼大厦啊 你想造这个那个啊 都可以成功 我觉得还蛮有意思的 所以脱离一切的 外部的条件限制 你自己是希望能够回到洞穴里去的 是吗 为什么呢 我觉得 并不是完全是说 彻底的活在洞穴之中 但是人对于自己的空间吧 是会有一些追求的 作为一个内向的人 我觉得我的回复能量的方式其实是 一个人静静 嗯 然后 在一个硅谷这么一个非常喧嚣 非常 无时无刻都有新的讯息涌入 的一个环境里面 能够找一个空间去自己静静 其实比我以前的这种生活 是有一些难度的 所以可能对这个 唉 找一个洞穴啊 稍微待一阵子 产生了一些向往 [00:11:07] 但我也认为 人还是社会性动物吧 在洞穴里待久了 可能像我这样的人 也会想要走出来 再看一看 说到这个还挺有意思 我记得有一个老师 他说他对于他下一代的小孩 不跟人谈恋爱了 只跟机器人谈恋爱 一点惊讶都没有 现在你能接受这个事情吗 我觉得我还挺能接受的 因为我是老二次元了 就 我的生活中是有不少这样的朋友 他们的生活方式 可能和老一辈的那种 观念是很不一样 但是因为和他们一起熟了 熟悉了很久的朋友 我甚至能够理解 就是他们做的这些 就是啊 不想和人类谈恋爱的选择呀 或者 他们自己在社交方面的一些偏好 啊 以及包括大家对纸片人 二次元的造物的喜爱 包括我自己 也是有参与一些 二次元的同好活动的 哪些文学作品 影视作品或者各种各样的文艺作品 [00:12:07] 有对你 的机器人的思考有过帮助和影响吗 我觉得一时半会 很难指出哪一个具体的作品 但我们也许在谈话过程中会触 及一些别的 我都可以分享 但是我觉得现在有一些 或者说 之前看到的一小类的文学作品中 描绘的人工智能的毁灭世界的 这个命题 让我觉得有一些 从现在的角度 以我有限的视角来看 会觉得不太可能吧 啊 真的会走到这一步吗 所以会有一些反思 我们真的会 开发出一个智能体 然后不知道怎么的 它的可能诞生的使命是帮助人类 但最后它的存在的客观意义上 却变成了 与人类变成了一个对立的关系 我觉得现在的我是很难想的 但是因为一直没有想通 为什么这个逻辑是成立的 所以一直都在想 为什么这个逻辑不成立呢 我觉得以现在的 [00:13:07] 2026 年 我们弄一个快照 看看现在的状况的话 我会觉得 哎 现在智能体干的最坏的事情 是什么 哦 我知道 好像前几天有一个什么人 把很多的权限给了一个智能体 让它帮自己清邮箱 结果这个智能体 得到了这个权限以后 就把他的邮箱全都删了 删得快差不多了 它的命题 给这个智能体的任务 是得到了执行 但智能体的执行 并没有和他真正想要的任务 重合 我觉得这个问题是确实存在 但现在智能体得到的权限 承担的责任 以及它能做的事都比较有限 就得到权限的话 很多时候大家都是会prompt 就是 哎 你现在不清楚的话 你先别慌着动 先跟人确认一下 它承担的责任 比如说我之前其实有攀岩去受伤 受伤的过程中我就是到处求医问药 但美国这个社会的医疗 是有一些难的 这个时候 我就会把我的一些医疗的资讯 [00:14:08] 发给这个智能体 去让他给我解答 但是其实在这个解答过程中 我也不会真的就彻底的相信 说 我也不可能说这个AI跟我说什么 我就信什么 对吧 我肯定还是要 把它带到一个人类专家的面前 去跟他确认 因为我不觉得 就是如果我真的基于他的这个推荐 做了一个什么事的话 他是能够承担责任的 承担责任这个方面 我觉得 现在他承担的责任还非 常有限 在这种人类社会里面 就是谁能够承担责任 才会建立一个信任 我觉得这种信任 还是在演化的过程中 还没有到我们就完全相信 一个智能体 给他那么多权限 最后是他现在能做的事情 我觉得也比较有限 比如说我们机器人 我们有的时候行业内部笑话 这个笑话 可能已经有一点过时了 这是大概三四年前 和一个快要毕业的同学在聊天 我们就在吐槽说 我们这都就每天都在做什么呢 就是让这个机器人 把一个红色的方块 放到一个蓝色的方块上 这不是三岁小孩都会做的事情吗 我们天天就在这花了 5 年时间 读了一个博士 [00:15:08] 然后教机器人做 的 可能也许或者还没有三岁小孩好 还不如生个娃 哈哈哈 人类的学习 速度是非常快 对 所以我觉得这三点因素导致了 在我看现在的智能体 我是不太相信 它能够在现在这种节点上 做到跟人类的对立面这种 嗯 因为写小说和写网文 其实都要从现实世界 有很多的取材 很多是取材于生活 我没有看过你的小说 因为你不告诉我你的网名 但是我很好奇 你会把你在PI的 工作经历的哪一个部分 作为素材提取出来 放到虚构的作品里去 哇 我其实是一个工作和生活 分得相当开的人 我觉得在PI的工作经历 肯定是影响了我的思考 比如说你对技术发展到哪一步了 以及技术发展中的一些 就是quirky（‌古怪的 离奇的） 比如说比较特殊的一些东西 会有更多的一些思考 [00:16:08] 比较具体的思考 而我的网文很多时候就天马行空 哎呀 在网上保护好自己的身份 以后想写啥想写啥 不是挺好的吗 所以能不能告诉我们你的网名是什么 不行 救命啊 马甲 马甲保护好 嗯 那我们接下来聊聊你的成长吧 好 因为 我发现很多硅谷的人 都是从小受益于竞赛的一群人 是的 我感觉这个还挺多见的 能不能讲讲你的成长经历 你是通过竞赛改变命运的人吗 你能算这个类别吗 我觉得是 而且 当我在成长的过程中 有一些感触 但甚至都没 有现在的感触那么的深 我觉得 我人生中是有一些关键的节点 或多或少 都受到了我搞信息学竞赛这个影响 其实我小时候出生在安徽 省 上学呢 是在安徽省的芜湖市 这是一个可能 [00:17:08] 互联网上大家了解它 都是因为芜湖起飞 这么一个网络用语 但它其实是一个城市 这个城市呢 它就客观来说的话 它的教育资源什么的 可能和大城市啊 比如说上海啊 这样地方还是有一些差距 但是非常凑巧的是 我们这个城市 有一个很优秀的 信息学的一个竞赛老师 他当时是在我们城市那边 做学生的时候 因为一些事故受了伤 失去了双手 所以这一个遭遇呢 让他最后在就业的时候 可能影响到了他 让他选择就是回到家乡 去当了一个计算机老师 但是 因为他这个人非常的聪明和优秀 所以 他在投身计算机教育的过程中 他出力 他是江涛老师 我甚至跟他都没有真正的 面对面的交流过 但是我觉得 我是有从他的很多 贡献中受益的 [00:18:08] 就是他在我们那个城市 开设了比较系统的 竞赛的梯次培养 什么意思呢 就是像我们小时候 会上那种奥数班嘛 在我们那个城市 其实是非常正规的 有信息学奥赛班 它就是个兴趣班 你家小宝宝几岁了 哎 我是8岁去学的这个东西 当时我们小孩子也没有想太多 只是觉得可以玩电脑了 太高兴了 只 要不要我去学一些正儿八经的东西 让我去玩一些 不那么正儿八经的东西 我都是非常高兴的 所以在这个过程中 就无意之中打下了一些 后来就编程的基础 并且一步一步地去 走上了竞赛的道路 在成长过程中呢 我也是探索过其他的职业发展的 比如说我大学其实学的是心理学 最后又转成了经济学 你大学本科是心理学 我是心理学开始的 对 我的大一 因为美国大学它是可以换专业的嘛 我的大一的选择的专业 其实是心理学 在学过了一些心理学以后 [00:19:09] 感觉到了第一 学的东西非常有趣 第二 我实在是不太适合 为什么 做心理学 为什么 我觉得有时候 人是有一些打破砂锅问到底的 性格 在我身上 如果在学心理学的过程中呢 就会有一种 这个玩意 他说的非常的有道理 但是如果我想打破砂锅问到底的话 我也许可以做 但是要很多年以后啊 或者说做一些别的事情 不够直接 可能我们对于解决问题 解决一个非常具体的问题 是有一种痴迷的 所以当时又去学了经济学 就是想要了解一下 自己生活的世界 但是最后转回了计算机 还是那个原因 就是觉得 这个能够帮助我了解这个世界 但不能帮助我了解 我在这个世界中想做些什么事情 所以最后还是转回了一个相对而言 更理工科的 计算机的道路 所以你整个大学经历了两次换专业 对 在这个成长的过程中 能够探索其他的行业 [00:20:09] 再回到计算机 我觉得真的是 因为非常地感激 小时候有这些竞赛的辅助 嗯 竞赛对你性格影响大吗 其实不是很大 因为我搞竞赛的时候 还是那种比较悠闲的 因为小时候对我来说 只是一个兴趣班而已 我们就是觉得这个东西好好玩哦 因为刚开始学的时候是学LOGO语言 它不是像现在这样都是打文字 它是一个图形的一个界面 作为一个小学生 看到这么一个计算机 它可以画画 你就让它画各种各样 好好玩的画 当时就觉得非常的高兴 所以在竞赛的过程中 我对于计算机编程的体感 一直是非常快乐的 当时还有一本教材 是中学生学C语言 其实这可能是我这辈子 唯一就认真读完的 编程教材 后来的话都是网上现学现卖 因为在读这个教材过程中 作为一个小孩子 他接触编程 我觉得真的是有一种 思维会不太一样吧 他会用讲故事的方法 教你很多编程的原理 [00:21:10] 比如说递归啊 跟灯神去许愿 然后许了一个以后 让他再给你三个愿望 我说这些东西都非常地自然而然地 就能够融入到我的生活之中 把它有一些内化了 所以在这个层面上 就搞竞赛 或者说很早地去学习编 程这件事情 对我的思维有一些影响 但可能是比较润物细无声的 我并没有感觉到 它对我的性格造成了一些 非常明显 非常突然的那种变化 你小时候成绩好吗 是一个很乖的小孩 还是一个叛逆的小孩 是一个看起来很乖 但实际上很叛逆的小孩 有多叛逆啊 我就记得我 小时候上小学的时候 第一天我爸妈不知道怎么想的 给我剪了一个板寸头 当时你知道小学生的话 你去一个小女生 留着一个板寸头 大家就会笑话你 我就记得上小学的第一天 我是哭着上学的 因为被大家嘲笑而内心无法忍受 就是不知道该怎么处理这种事情 就哭了 可能是我小学哭的最惨的一次 当我小学毕业的时候 已经变成了学校里的大姐大 有什么想法 [00:22:10] 我们可以坐下来聊聊 坐不坐着聊聊 不行的话就把你打服 这当然 使用暴力 不是一个很好的事情 只是在小学那个环境下 我感觉我 能明显看到我的一些性格上 有一些那么一个不太服的方面 你是怎么在小学环境里面 从一个第一天哭鼻子小女孩 变成一个大姐大的 我知道别人都叫你柯姐 对吧 哦 对 这是我朋友对我的称呼 从小学一直到高中都是这样 我觉得可能 学会了动手 我觉得性格上 有一些路见不平 一声吼的因素在里面吧 会有一些对公平啊 正义啊这种事情的一种追求 也会去在小学时候 也会去想办法完成这种事情 比如说小学的时候 会看到有一些人在欺负别的人 我就会说 你在干嘛 你不行我们就来打一打 你这样不行 会去达到一种 心中的一种正义的状态 [00:23:11] 在你心中有什么是别人觉 得可以接受 你觉得 是触发了你对这个世界不公平 不正义的感知 你要反抗的 我觉得生活中 确实没有那么多事情是绝对的公平 甚至公平的定义都很模糊吧 可能不同的人有不同的想法 我只是一个尽量在自己的力所 能及的范围内维持 一种公平 有的时候 我觉得每个人也没有什么权利 去要求另外一个人 一定要按照他的想法去做 但是在这一层之上 有什么东西 是我觉得他还是比较有普世价值的 可以这么去想的 我觉得 一方面是 一方面可能是 我觉得有些心痛吧 教育资源这个方面 当我出了国以后 会有一些感慨 我在国内受教育的这段过程中 [00:24:13] 其实是曾经觉得 我想上一下清华北大这样的学校 会想去考 但是因为我在安徽省 其实安徽省的话 是每1万个人里面 可能有3个人 4个人 能够上到清华北大 我觉得我当时上的是竞赛班嘛 在高中 也是从传统的升学道路里面 一步一步学出来的 我也不是一个特别优秀的那种 就优秀到骨子里 就是真的非常热爱学习 花很多时间去学习的 我就是一个竞赛班里面就是中等 我喜欢的事情就多学 不喜欢的事情就少学的那种学生 所以我知道我可能 就除非我转了性 然后特别用功 才有可能拼一拼 这个1万个人里面的3 4个人 而当我出来以后 会发现其他一些的省份 可能确实有一些教育资源上的优势 吧 比如说在大城市的话 可能会有这个1万个人里面 有80个人都能上清华北大 这种数字在安徽是想都不敢想的 会觉得 是有一些资源分配上的事情 但是可能 在现在这个时间点上 [00:25:13] 更多的能够 想的是 如何通过创造更新的生产力 来在某个层面上抹平这些不公平吧 嗯 所以你觉得你不是 这种激烈教育的优胜者 我对我的同班 尤其是初中 高中的这些同班同学 终于报以崇高的敬意 我实在是没有办法像他们这样的卷 因为我们是竞赛班嘛 竞赛班上的大家 我觉得都非常的努力 都非常的知道自己想要什么 不像我这种就从小就有点 虽然看着很乖 我是不会做一些特别坏的事情 但是我也没有那么的那么的乖 学习这个东西 我就学我自己想学的就好了嘛 所以在这种环境下 我觉得抱着这样心态 确实是没有办法和这种特别优秀 和专注的同学们相比 你小时候 做最叛逆的一件事情是什么 最叛逆的事情 我觉得因为做了叛逆事情太多了 你是很难评出一个最叛逆的事情 [00:26:13] 前三吧 前三名 前三名 哦 其实我到高中的时候 又把我的头发剪成了板寸 因为当时就非常想去东南亚去旅行 看一看 然后觉得自己一个人在东南亚 可能不太安全 就把头发剪成了板寸 然后整个人打扮的 就是一个非常男孩子的样子 这样走在大街上可能大家也会 该怎么说呢 去 可以 这么总结吧 就是 可能是在东南亚背包的这段经历 相对而言是比较叛逆的 因为它是一个没有明显的目的 也没有明显的目标 也不知道它对我的人生有什么影响 但是就是非常的想做 但其实还比较幸运的是 就家里人也没有那么的强烈的反对 他们只是觉得好奇怪啊 怎么做这个事情 你 保护好自己的安全 然后每天就是不停的骚扰我 说就赶紧劝回来吧 劝回来 不要再搞这些奇怪的事情 你那是高几去的东南亚 对 大概就是高二底 当时 其实已经想着要不要出国了 因为之前是在走升学的高中 [00:27:14] 所以没有知道自己是要出国的 差不多是一个很快的 一个思想上的转变 目标上的转变 稍微去执行了半年 突然就发现 自己还是有一点闲的时间 当时就想说要做点什么 就去了东南亚背包 因为之前非常的喜欢 有几本印度的神话相关的小说 开始迷上了印度的宗教的建筑 就想跑过去看一看 去了多久 去了大概两个星期 一个人去的吗 对 我一开始 但是我后面我爸爸妈妈也来找我了 他们可能还是有点不太放心 所以你是为了去东南亚 所以把头发剪成板寸 为了自己的安全 我觉得这个是 但是其实头发剪成板寸非常的方便 因为我之前在 我成长的初中 高中的过程中 我的朋友们其实都知道 我是一个非常不修边幅的人 什么头发打理啊 梳 头发 这个衣服的扣子呀 就是我到班上 上学 到班上以后 就是班上有一些 跟我关系比较好的女同学 就会来帮我稍微打理一下仪表 因为实在是看不下去了 我在想 你去东南亚把头发剪成板寸 [00:28:15] 是不是 潜在内心是有一种不安全感的 很难描述 但是因为会不自觉的认为 如果可以像一个 就是像一个外表像男生的话 大家可能就没有那么多的 不好的想法 就可以提前保护自己 这样的想法 你觉得这种不安全感 它可能来自于哪里呢 我觉得社会中的认知 新闻啊 或者说很多听到的事情 会让大家作为一个女生 觉得自己处境会有一点点处在被 就是 更可能受到侵害的位置上 嗯 所以就会想要花更多的心思去思考 怎么保护自己 我觉得你的选择很有意思 因为有的人会觉得不安全 那我就不去就好了 那我就是安全的 我就在家里 还是要去的 自己想干的事情 得找个方法把它实现 [00:29:15] 你的方法是 我把我自己掩饰成男生 我就安全了 我觉得这是方法中的一种 可能是当时的我觉得最轻松 方便又好用的方法 你是怎么突然决定要出国留学的呀 你刚才也说 你之前其实也是想着要考大学 突然转变了轨道 对 我觉得这个就是人生中的 冥冥之中的一个很小的决定 因为当时在高中看来是有三条路嘛 第一条路就是升学 但是刚才也说了 就是在我的同班 同学面前 我觉得自己就是一个渣渣 就是一种不上不下 哎呀 叫我再花一点心思 去提升自己的成绩 对不起 我真的做不到 就是 我没有办法做我不相信 不认同的事情 而学校的很多事情里面 有一部分我是真的 我不知道我为什么要干这个事情 所以我提不起劲 提不起劲我就学不好 比如说当时我就学了一些 就可能我比较喜欢像数学呀 物理啊这样的学科 [00:30:15] 我就觉得 哎 我还是能够享受这个学习的过程 剩下来有一些像生物和化学 我相对而言就弱一点 要背 哎 对 哈哈哈 然后当时就是 成绩就怎么都上不去嘛 学校的老师或者同学 或者家长也会劝你说 好好加油 把这个短板 给补了 你还可 以冲一冲 我就想说 我为什么要加油 为什么要补这个短板 为什么要冲一冲 我不干了还不行 我不认同这个事情 所以当时有这个思考在的话 我就很难 通过升学这个路 去上到像清华北大这样好的学校 还有一个契机是 当时 因为非常喜欢打游戏 非常叛逆嘛 人家在升学高中好好学习 我在升学高中天天就是看小说 打游戏 偶尔接触到了一个叫《雨血》的游戏 当时打的时候 哎 每个人都有中二的年纪 当时打的时候惊为天人 觉得哇 我超喜欢古龙的小说 这个游戏非常完美地诠释了 古龙小说的一种互动式 应该是怎么样的 [00:31:15] 所以当时就非常崇拜这个《雨血》 的创始人Soulframe 当时因为崇拜他 所以又去了解了一下他的生平 发现 诶 他好像是清华大学的 我说 诶 这是第一次 我在一个比较叛逆的道路上 走着走着 发现 人家是正规科班出身的一个大神 我就 嘶 那看来 上清华北大还是非常的有吸引力的 但是因为自己的水平 可能不太能够上上去 当时又想到走竞赛保送这条路 因为竞赛保送 当时保送的话 是去中科大这样的地方 中科大在我爸妈看来是非常好 一个好大学 并且离家特别近 在我看来是非常不好 因为它是一个好大学 但离家非常近 所以就不能离家近 不能离家近 所以就想着说 想要去一些更远的地方 刚好当时了解到 是《雨血》创始人 他去了耶鲁去留学 我就想说我也可以去留学吧 就跟家里人商量 就这么很偶然的 就突然一下 在高二的中间点转变成了 要不咱们去留学吧 因为我是一个古龙的粉丝嘛 [00:32:16] 所以 它就是一种想象中的 社会的剪影 而且因为这个剪影非常的纯粹 它有很多人的爱恨情仇 都定格在最浓的那一瞬间 所以在游玩这个故事场景的时候 会得到一种非常大的心理满足 我并不觉得它是特别黑 这种游戏的受众会是男孩 这是我的偏见 是吗 吗 我不知道该不该叫它偏见 我觉得也许是 也许你把这个统计学揉碎了来看 说不定它的 更多的玩家确实是男玩家 但可能在我心里并没有这种天生的 就是这个游戏 就该是什么性别的人去玩 这种想法 嗯 它击中你的是什么呀 这个游戏 我觉得它糅合了 几个我非常感兴趣的元素 第一个是它 的美术风格 我觉得人是生来体验的 我觉得这是我对人文的这些着迷的 一个很重要的点 就是你是来体验很多不同的东西 它能够通过场景的设置 [00:33:18] 以色调和这些非常阴郁的 和你现在生活 完全不一样的一个世界 快速的把你拉到一个 完全不同的一种可能性中 我觉得这个是非常吸引人的 人可能寻求 很多人会寻求不同的体验嘛 有些人喜欢做这个事 做那个事 我觉得游戏是其中的一种 非常快捷方便的把你拉到平行世界 你可以在游戏里面当一个 小卖铺卖家 这不是之前那个什么分手厨房啊 你还可以在游戏里经营餐馆 你可以体验很多不同的人生 所以我觉得这个是capture了一种 如果我去成为一个武侠 是什么感觉 另外的话是他的哎呀 谁不中二呢 都当时这种台词 就觉得哇 好酷啊 这个台词就是 你还记得吗 不太记得清了 但我记 有也许有一些东西太羞耻了 就 已经忘记了 但是对对 嗯 非常纯粹的情绪的碰撞 令我非常着迷 嗯 就是有一种 哎呦 你背负着血海深仇 你说我们在现代社会 你怎么会背负一个 就大部分人嘛 [00:34:18] 怎么会背负一个血海深仇 这个就可以在游戏里体验 嗯 对 就当时因为喜欢这个游戏 不自觉地去靠近吧 就是可能潜意识里也有想过 将来有一 天如果我能够创作一个自己的内容 会非常的开心 那看看别人 这些 已经创作出我非常喜欢的内容的人 之前的路径是怎么走的 我们也可以向他靠近一点 所以你没有想过 一个科学家的成长路径是怎么发展 你也没有想过 一个企业家的成长路径 是怎么发展的 你在构思的是 哦 原来 这个游戏制作人的成长路径 是怎么发展的 那你为什么没有去做游戏呢 我觉得写小说 是我创造的一种宣泄的方式 而做现在这一行 人工智能 做研发 可能是对我这个人 追求效率的一种体现吧 就是我骨子里 你看在大学中换的这些专业 其实我觉得这些专业 都非常的有助于写小说内容 只是最后自己发现自己真正想做的 这种工作的成就感 有很大一部分来源于 就是我把一个别人做不到的事情 做到了 或者说别人做这个事情 [00:35:20] 我做的更好 这种思维 不好说是不是 因为在国内这种教育体系下 有一种还是有点竞争的 这种思维在里面 但确实是 能从这种想把事情做得更好 这件事里面得到回报 你到了美国以后 有发生什么变化 你有经历过文化冲击没有 我觉得有 非常大的文化冲击 你的性格有发生怎么样的塑造 我觉得有两点吧 第一是在之前生活的环境来看 比较的稳定 所以对周边的社会的 人与人之间的关系是 太稳定了 以后 你其实感觉不到它的存在 你是出了国以后 开始接收到了一个完全不同的 社会关系 需要找 你这个人在这个社会中的定位 开始重新思索 诶 就是哎 我以前好像不用做这个事情 我现在要做 我不太清楚这个人说话的时候 他 有什么含义吗 因为以前 你已经在那个社会里生活了很久 你就非常的自然而然 而现在到了一个完全全新的环境 不自觉地去调整 并且 也使得你能够稍微客观一些地 [00:36:21] 审视之前所处的社会环境 和你这个性格 我觉得我对我性格的自我的认知 很多时候是到了不同的环境冲击下 才得以显现的 另外一部分是 因为美国社会 还是一个比较注重presentation吧 就是你如何去表达自己 我觉得核心一点可能是说 他们最终是想把这些孩子 培养成一个有领导力的一些人 他可以通过阐述他的梦想 来号召很多人去和他一起完成梦想 这和创业者 企业家精神 是有一些不谋而合的 在我上的大学里面 是有很多这样相关的活动啊 还有包括课程里面的设置 都是在鼓励这件事情发生 我当时作为一个非常内向的人 乍一到了这个环境以后 就有一种 唉 没办法了 只能只能多说点话了 要不然的话 真的不知道自己在干什么 嗯就是不 就是经过了这样的一个环境 所设置的关卡 的走动 开始 真的变成比较能跟别人说话的类型 如果你和高中的我说话 可能会发现我这个人就不爱说话 [00:37:21] 但是你和现在的我交流 我觉得我是在交流这方面 有了很大的提升 嗯 你有觉得两个社会的文化的基础 有什么不一样吗 你刚才觉得在 之前的成长环境里 你能感受到很多的不公平 那你到了美国之后呢 不公平依然存在 只不过 我觉得 中国社会之前经过非常高速的发展 哎 因为我后来还去英国留学了 所以把中国 美国 美国 英国放在一个轴上面来看的话 会得到一个非常有意思的一个感觉 就是中国社会 咱们父母那辈的人 可能会有很多的动荡和机会 和一些变革吧 就是大家有时候会开玩笑说 就是你往上数三代 谁不是田里种地的人呢 是吧 美国社会呢 相对中国社会而言 我觉得是有一些些阶级固化的 [00:38:21] 一些 因为 毕竟是一个运行了200年的资本社会 很多时候 这种资本的得利 是比作为一个人来得利要快一些 他们是有这种积累 而英国社会又是一个非常极端的 就我在英国社会的时候 就 感觉到了这种社会 相对更加固化以后 造成的人们之间的关系 和你所处的社会阶层 和你的喜好 品味的一个非常大的影响 我觉得中国在这个轴上 可能是相对而言 在当时 是最百花齐放的 那美国和英国呢 我觉得英国可能在这条轴上 相对而言是最保守的 而美国是有一些保守 但是都到硅谷来了 大家好像又抛弃了 之前的那些旧的东西 在这里又开始开创新的东西 你看你成功从家里逃离出来了 你成功的离家万里之远 你得到你想要的了吗 我觉得在内心世界上 在离开的时候并没有很大的目的性 说自己一定要拿到一个什么东西 [00:39:22] 是在路上 才慢慢发现自己要做的事情 并且我还是非常喜欢 现在自己投身的这个行业 和这份工作 就是对技术是有信仰的吧 可以这么说 你为什么后来从经济学 回到了计算机 回到了人工智能 这个转变是怎么发生的 我觉得也是有很多巧合的因素 命运是一条冥冥之中的线 我只能得到这个点 在当时大学的时候 在经济系读 就是觉得做的事情 虽然是学的知识非常有意思 但是做的事情 好像就是把一些数字糅合在一起 跑一跑报表 这种分析 可能没有满足我 所以当时是开始探索 在大学能够做些什么别的事情 很巧合的是 大一的时候 去了一个实验室做研究 坦白来说 当时的我完全 大一 对 在大一的时候 去实验室做研究 坦白了 大一就去实验室了 这很少见啊 对 因为当时在美国 [00:40:22] 在我们那个学校非常流行 就是职业发展 就有一种美国人的卷 就是你大一的时候就会灵魂之问 你 大学毕业后想干什么 赶紧想好 你 每天都要为这个东西做努力 所以当时大一 就开始参加一些什么职业的交流 啊 开始搞搞自己的简历 就从大一就开始弄简历 我记得我大一好像是入学第二个月 就开始在网上到处去投简历 大一写啥呀 大一就是之前因为就是搞竞赛 所以有竞赛同学 其实有一个竞赛同学挺有想法的 在我们高中过程中 他就做了一个小软件 还去卖钱 我当时也参与了 就帮助了他的这些开发 然后我们也拿了一些 就是小孩子小打小闹的 一些 就是钱 让自己觉得 能从自己的技能中获得一 些回报 所以这些东西都可以写在简历里 因为你是 就是想办法向别人证明 就是你是一个信得过的人 可以做很多事情 我觉得即使是现在的孩子们 其实我 也完全是有可能 就是比如说 之前OpenAI是有高中生去发paper的 这个先例 我觉得 现在孩子们是完全是可能做到这点 所以当时的大一我就去找到了 在我们学校的一个计算机的组 [00:41:22] 的实习 当时非常幸运的遇到了 成为我学术路上第一个导师 的学姐 她叫李博 她后来毕业以后去芝加哥大学 当教授 现在也在硅谷 其实做创 业公司 当时呢 她选中我的原因我不太清楚具体的 但我猜想 可能是因为我是一个学经济学的 我挺喜欢博弈论这个东西 当时她这个课题 是一个叫做Adversary Machine Learning 敌对的机器学习 它是需要有一些对抗的 博弈论的思想在里面 所以就通过我学的 比较嘈杂的东西 就跳到了 经过点的连接 跳到了一个稍微不同的方向 然后当时在学姐指导下 就是比较幸运的 写出了一篇paper 也得到了发表 所以我其实大二大三的时候 就因为有了这么一篇 第一作者的论文发表 后面在博士申请的过程中 就得到了一些助力 嗯 博弈论吸引你的是什么 你为什么对博弈论非常感兴趣 又通过博弈论去做人工智能 这个很有意思 [00:42:22] 这个连接点感觉非常的微弱 但是它好像又存在 我觉得粗暴一些的归类的话 博弈论中间可能经常会说 哎 如果是两个人在玩游戏 他们是对抗的关系 他们都两个人 要做到自己范围内的最好 但是在互相对抗的过程中 他们可能达到了一个平衡 你可能可以通过一些事情 来引导他们 使得他们在对抗过程中达到平衡 是最优的 我觉得这个点 其实是很多经济 现在这种市场竞争关系的一个诠释 嘛 你需要在市场中 让大家都去卷 然后卷到最后就 会卷到一个其实对整个社会发展有益的 一个平衡点 把这个思想 其实放到机器学习里面 它也是有应用的 当时差不多二零 应该是2016年左右 是对抗神经网络出现了 其实对抗神经网络也是有非常多的 博弈论的元素在里面 它是需要有一个生成的 和一个评判的 他们俩就是互相在玩这个游戏 生成的人就打一个不恰当的比方 就在做假钞 然后评判的人就需要分辨 [00:43:22] 就是你做这个钞票 它究竟是真钞还是假钞 在这个过程中 就最后可能会引导这个生成的人 不断地去生成 一个越来越像真钞的假钞 而对抗的人最后 当他们真的完全无法分辨的时候 他就没办法 他就只能靠猜 所以大家通过这个思想 在当时创造了一批 图像生成的技术 都是靠这个生成器 去生成一些 看上去像真实世界的假钞 这种假照片 但是逐步对抗的过程中 这个照片就和真的照片没有差别 所以使得这个生成的照片 看上去更加的真实 所以这个博弈论 我觉得应用 其实在机器学习中是非常的广 一直到今天 我觉得在机器学习的安全 和怎么样帮助机器的 不管是思考方式 还是生成方式更像人类 都是有挺广的应用的 你真正开始做人工智能的研究 除了本科做过一篇论文以外 是在博士了 对吧 [00:44:22] 是的 你博士之后的学术路线 是怎么展开的 你的主线是什么 我在博士期间也换了一些方向 因为当时第一篇论 文发表的是一个偏博弈论的 这么一篇文章 所以在刚入学的时候 我以为我做的是 偏理论的机器学习 但是当时做着做着之后 就发现自己其实更喜欢做应用 所以 后面就去做了机器人这么一个应用 在机器人过程中呢 我自己的研究路线 其实是从模仿学习开始 最后做到了强化学习 这个模仿学习我感觉要形容的话 其实 人家已经知道了怎么做一个事情 所以他给你提供了一个样例 你就想办法去超出这个样例来 这是模仿学习 但是 随着模仿学习的研究的 不断的深入 我就有些觉得不满足了 我觉得 如果你永远只是在照抄别人的话 你其实不能够 就现在也很经常讲的 不能够有创新啊 不能够有突破啊 所以就转入了强化学习 [00:45:23] 强化学习更强调的是 怎么样通过你自己的探索 去突破原来的表现 去把上限推得更高 我觉得这个 其实也和性格是有一点相贴切的 所以现在的我更多的是做强化学习 嗯 在你开始研究机器人的时候 当时的主流是什么样的呀 就 你这个研究方向是一个主流的 还是一个边缘的 我觉得在2017年 它是一个新兴 但不是很大众的一个方向 就是把机器学习 哦 是机器学习到机器人上面 包括我自己去 找到的实验室和他的老师 他们都是更加偏向传统这一派系的 因为机器人其实发展到现在 发展了几十年了 也有很多很成功的应用 比如说大家会笑话说 哎 我们都让火箭上天了 都可以在这个火星上开展探索了 这些都有用到很多机器人的技术 传统派系 在2017年左右吧 [00:46:24] 传统派系 更多讲究的是一个路径规划 和控制问题 就其实这个 我觉得 是非常符合我们人的一些直觉的 就是你做要做一个事情 你 就先规划一下 我要做第一步 第二步 第三步分别是什么 把它们连在一起 形成一个完整的计划 计划了以后 再由这个控制去慢慢地给它执行 保证你在每一步上都不出错 都能够贴切地完成 而在2017年呢 因为我是从机器学习开始起家的 所以我当时就在想说 其他有很多领域 都可以从数据中去学习 我能不能把机器人的这种聪明才智 也不是在靠我去给它制定什么规矩 而是从数据中直接获得 这个想法呢 和我所处的 偏传统方法的一些实验室 就是比较比较小众的 在我们实验室 就是 只有我一个人做这种类似的方向 就你导师不是做这个的 我导师不是做这个的 我导师 他是传统派系的一个 做路径规划 有很多工作 做控制 [00:47:25] 控制就是他 他是一个 怎么说呢全 栈系的人物 就传统的机器人实验室 他是从卡耐基梅隆那个派系出来的 他们就很强调 说你每个人都要做全栈 就是你要会造机器人 你要会知道怎么把机器人搭在一起 这个机器人的一些什么动力学分析 你也会做 你还会做路径规划 还会做控制 还会让他做一些事情 最后你在这条整个链条上面 你可以选一些你比较喜欢的点 去深入 他是很强调一个人 在一个最极端的情况下 是可以一个人 完成几乎所有的任务的 所以他在培养学生的时候 也是照这个路子走 我其实很感激 他对我的这种培养 让我觉得 我对机器人的上下游的一些事情 是有一些了解 就不说多深入吧 但至少就是差不多凑合是能用的 在他的实验室里做机器学习 我觉得他的态度也是非常有意思的 因为当时机器学习刚刚开始 大家做的事情还非常的 就怎么说 乃业务 就是比起传统机器人都能够上天啦 你这个机器学习刚刚起步 做的什么任务 看上去也其实也比较的幼稚吧 [00:48:27] 但是当时 导师在交流的过程中 既会给我指出 很多现在做的这些任务 其实以前都有人有更好的方法解决 是这么解决的 你要去学习一下 你要在机器学习的 做的过程中 同时也就是知道 以前的人是怎么做这个方法的 就他给了我很好的台阶 让我去在他基础上去学习 同时他也会 让我有一个比较开放的一个想法 就是 我会把很多机器学习的想法带给他 然后告诉他 我觉得 就不停地在这种一问一答中 对抗的 就搞明白了 就是我 为什么这么相信机器学习在机器人 因为传统方法中的这些 我觉得是太依赖expert专家 的东西 我们机器学习 我觉得一个很大的使命 就是让专家从这个机器学习的 这个嗯 中间消失 就是机器可以自己学习 就这是一个使命 你的导师是那个Sidd Srinivasa对吧 对 你如果是一个机器学习的信仰者 你为什么会进他的组呢 以及你是怎么开始 [00:49:27] 对机器学习非常感兴趣 就这 种 对这种数据驱动的机器学习 因为懒 因为这个事情其实有点有意思 我觉得知其然不知其所以然 是一个非常微妙的一种状态 可能大家有些人会 在有些 在有一些问题上 大家也会想要打破砂锅问到底 但是在优化问题里面 就 大家都很想优化 我觉得性格上是有一个想要更好 更强的一个部分的 在优化过程中 有一类优化问题就是黑盒优化问题 就你也别管 你也别问 它到底怎么样 就给了一个非常好的解 反正你只要知道 你如何设计一套系统 让它能提供一个比较好的解 你不需要知道 这个系统最后是怎么运行的 其实这也是我觉得2016 2017年左右 就是自然语言系的一个很大的争论 嘛 就是传统的自然语言会使用 这个语义啊 结构啊 就这种更贴近 人是怎么理解 就是语言是怎么运作的 就把语义分成很多不同的部分 是需要很多专家去了解 学会 然后再想办法把它自动化喂给机器 而后来的数据驱动的话 就是完全 [00:50:27] 也不能说 就是没有受到之前工作的影响 但确实它的运作方式彻底的改变 变成了从数据中直接学 中间的这些步骤都可以略掉 就是变成了端到端 我觉得 机器人可能也是要走一下这样的路 嗯 那你为什么会进一个传统的组 没有选择呀 因为当时 机器人不是一个特别流行的 一个选择 在2016 17年 其实机器人的发展历史的话 大概也就是50年 而且机器人是一个非常 非常烧钱的一个领域 当时我们的一个内部笑话 就是看隔壁一个非常的 自然语言的老师的组 他是Yejin Choi 他其实做了很多 就是common sense 就NLP的贡献 当时他们那个组 2017年就开始做了很多数据集 就大家说 从来没有人烧这么多钱在数据集上 我就说数据集烧了多少钱 20万美金 哎呀 20万美金 我的天呐 你在这边买一个机器人要多少钱 你知道吗 你这机器人坏了以后修了要多少钱 你知道吗 所以多少 [00:51:28] 当时2017年 哦 隔壁组有一个shadow hand（灵巧手） 50万美金还是100万美金来着 修了以后 大家自己在 大家现在让这些博士生宝宝 现在这个屋子里面 先想办法把它修好吧 不要把它返厂 一返厂就是十几万没了 没了 就当时还有barrett hand（欠驱动灵巧机械手）也是 就是一个 多关节的 一个三个指的 一个省区的一个手 当时是十几万美金一个 一个 它坏了也是修起来够呛 要半天 就当时的这种硬件的成本 和需要一些专家的知识 的支持 使得当时我觉得 机器人不是一个特别流行 人数 也比较少 非常昂贵 对 当时都买什么硬件啊 当时逐渐开始有人买Franka 这个硬件 因为当时Franka就是 我们是相对而言最便宜的 你现在这个时间点看Franka 你也觉得好贵哦 怎么这个 我忘了当时拿的价格是多少 但是反正就是几万美金 它就号称是最便宜的 嗯嗯 [00:52:30] 现在还是有人用Franka 因为我知道 之前Franka被一家中国公司收购了 还挺唏嘘的 大家也不知道以后Franka会不会 哎 出了一个中国版 可能就几千美刀 说不定就可以了 因为现在很多中国的硬件 应该都是在 1万美金左右上下的价位吧 从单纯从手臂的角度上来说 嗯 其实还不到10年的时间 对吧 从你开始读博到现在 是的 你是哪一年读博的 我是17年入学的 17年入学 其实这里我们也讲到了机器人历史 你们从你的视角来给我们回顾一下 你说的这个 过去啊50年的机器人的历史 嗯 对 我的视角可能不完整 我就尽量复述一下 就我感受到 或者我接触到的 一些比较有代表性的研究人员 嗯 我觉得机器人的发展史可能绕不开 第一个 就是卡耐基梅隆大学的一些发展 卡耐基梅隆大学 是有一个自己的机器人研究所的 这个研究所大概是在79年 八几年的时候开始建立 所以至今大概是40多年的时间 当时就是他们开始研究了 [00:53:30] 怎么样让机器人就通过感知去看 然后做一个决策去动 所以我觉 得这个看加动的这个结合 就是从他们开始 就慢慢地变得非常的popular 就流行起来 当时 他们也发展出了很多不同的分支 不管 是让机器人能够去决策以后 就把它放到真实的环境中 去做一些灾后救援 还有当时2000年左右的 自动驾驶 当时CMU 卡耐基梅隆大学 在这个里面一鸣惊人 就突然一下 大家都觉得哎 自动驾驶可以开始做 当时04 05年的DARPA 就是国防部的 自动驾驶的比赛 刺激了后面很多的自动驾驶公司的 大概06年那会的创立 我觉得这个也是非常 有激励的 后面的话呢 卡耐基梅隆大学 我觉得有发展一些 现在对我们最相关的话 可能 是有一些机器学习的学者 也有一些操纵系的 [00:54:30] manipulation 用手 机械手去做一些事情的学者 也有一些是 研究如何机器和人的 生活中共存 其中可能比较有代表性的话 操纵系 因为他是 算是我的祖师爷 所以对他的了解要多一些 嗯啊 他的名字叫Matt Mason 他现在还在互联网上活跃 他有一个个人的博客 会写一些 他对操纵系的看法 他其实最有名的一句话是 就是 他觉得我们现在强调的很多灵巧 他觉得是不是从你这个手指 和你的硬件的关节构造 而是从你这个大脑 如何去操控 一个即使很简单的一个结构 也能做到一些很复杂的任务 他觉得灵巧的关键不在 于这个手本身 而在于大脑 我觉得我的研究 也有很多受到他的影响 因为我在博士期间 研究的是筷子机器人 就是用一双筷子做几乎所有的事情 是我当时的一种想法 他当时带出的学生 也就是我的导师 就是Sidd Srinivasa 所以他 就Sidd Srinivasa的话 他会做了很多路径规划 [00:55:32] 也是做了很多 有一个什么机器人酒保 就是你怎么样去拿一些不同的 杯子呀 或者可乐 然后再把它递给人 这样的一些研究 除 了这个派系以外 当时卡耐基梅隆发展 哦 当时那个腿和生物这些机器人 是有很多人研究的 就是Matt Mason祖师爷 他还有另外一个弟子叫Sangbae Sangbae 他做的就是一个生物狗 就是当时MIT Cheetah 就是他开始做 他在Matt Mason这里学 但他其实并没有就做操纵 他就去做一些 生物激励的一种形态 所以他就做了狗 他去MIT当了教授以后 就做出了MIT Cheetah 这么一个非常有影响力的工作 可能说 是现代的这些机械狗的奠基人 嗯 然后其他以外 还有 做腿的话 还有一个比较知名的学者 可能就是Marc Raibert 他是Matt Mason的同期 他去做了波士顿动力 也是先做狗 但是他走的路线可能是 传统派系的一个极致 因为当时他做之前的话 [00:56:33] 大家其实觉得很多事情 是受到电机的限制 他就想做非常好的电机 能做大家想都不敢想的事情 他确实做到了 我觉得 他做的 在忘了是什么年份了 但当时它作为世界上第一个 能够后空翻的机器人 告诉大家这个事情其实能做 影响了一批的学者 嗯 我觉得在 所以你是CMU这个派系的 对吧 我觉得虽然我不在CMU读博 但你可以看到 就是 我的学术族谱 是很多受到这边传统派系的影响 嗯 在另外一边的话 我觉得 派系上可能还有机器学习这个派系 因为机器学习的话 我也不清楚 就是更早的事情 可能 明斯基 他是一个MIT的学者 他可以认为 是现代机器学习的一个创始人 但是在我这个年代 当我开始学习的时候 我们机器学习的入门教材都是看Andrew Ng吴恩达 他的在线的网课 这就是我大学时候去了这个实验室 在人工智能里面 他们好像也属于两个派系 其实可能是的 [00:57:34] 但是对我来说就是更早的事情 可能我都没有那么多的关注了 就在我看来 我能看到的部分就是 哦 我们就是14 15年开始做人工智 能 那就是学姐 就告诉你了 啊 这是一个教材 先把这个教材读懂搞会 哦 就开始跟着吴恩达的网课去学习 然后 吴恩达的一个博士生是Peter Abbeel 他应该是最早的一个 把机器学习 放到机器人这个领域上的 一个比较先驱的教授 他现在是在伯克利做教授 也是 依然是一个活跃的研究员吧 他现在 应该也同时在亚马逊担任一个 把他们这个研究部门 的一个领导的一个职务 然后Peter Abbeel他当时做了 好像是做了一个 会飞的飞行器 他有了 搭载了这个机器学习的算法 因为他做的工作的年份比较早 我现在其实对他更多的了解是 他后来的学生 就是Sergey Levine 他的工作 我觉得Peter和Sergey这两个人 可以说是把强化学习在机器学习中 [00:58:34] 比较发扬光大的 因为他们的发表的数量 非常的多 Sergey呢 现在也是我在PI的 算是我的汇报对象吧 他是创始人 对 他是PI的创始人 之一 对 他也负责了很多 我在PI 现在做了很多强化学习的工作 所以是和Sergey一起做的 Sergey当时在 就很有意思 Sergey他自己PhD 学的其实不是机器人 是Graphics 是做图像的 当时在 Pieter Abbeel手下读博士后的时候才转型 我还挺欣赏 大家从一个领域做了以后 转型到另外一个领域 我觉得你能转过来 或者你想转过来 肯定是有很多你的想法 所以Sergey当时应该是有很多想法 他就做了强化学习这些课件 其实当我开始读博士的时候 我对于机器学习的很多 没有什么教材嘛 都是看Sergey的视频 看他们的一些讨论 包括看他的论文 看他们组的一些对话来学习的 Sergey 他 后面也有他的合作者Chelsea [00:59:34] 就Chelsea和Sergey都是PI的联合创始人 就我觉得他们两 个 都是对现代机器学习到机器人应用 做出了非常多的贡献 不 管是学习的算法 还有包括硬件的设计 都是有很多贡献 呃然 Sergey和Chelsea他们是什么共事关系 此前 如果我没有记错的话 应该Sergey是Chelsea sometime就是collaborator或者slash 半一个adviser 应该可能也许就是 Chelsea的postdoc是和Sergey读的 哦 然后他们后来一起创业了 做了PI对 他们俩之间的学术关系非常好 我觉得他们俩非常的同频 在公司 他们其实也是经常在一起讨论问题 嗯 这两个人有意思吗 有什么有意思的观察没有 Sergey是个科幻小说重度迷 我不知道 别人读PI的paper 有没有发现 PI很多paper上面 会有一个来自科幻小说的引用 全都是Sergey写的 他 会去思考这些事情 有人说过 [01:00:34] 他非常会写论文标题 哎 是的 我觉得 他是一个讲故事非常强的教授 同时呢 内部笑话 可能就是说Sergey就像Sergey GPT一样 在这个人工智能ChatGPT出现之前 伯克利的人就已经用上了SergeyGPT 你的论文写的怎么样 把草稿就直接发给Sergey Sergey就给那里一个 就是超级polish 超级好的一个版本返回给你 而且又快又好 就像ChatGPT的前身版 就即使ChatGPT出来了 它也不能和SergeyGPT在论文修改方面 相提并论 这是一个笑话吧 然后Chelsea的话 她是一个非常discipline 就非常 就每天她都会4点钟起床 然后去游泳 然后游一个小时 就她是一个对自己的一个生活 我觉得非常有规划 非常inspiring 而且她是一个我觉得有动物性 直觉的一个人 和她聊很多 就机器人的具体的一些动作和表现 她有非常多的 非常快的一个 就她觉得这个事情是什么样的 这个里面有非常多的 直觉性的推理 [01:01:34] 能够感受到 她对这些动作 任务有很深的认知 比如说呢 动作直觉性的推理 有些 比如说 有一段时间里 Chelsea是负责管PI的数据收集的 就她对数据收集 到底该收集什么样数据 有很我觉得她有很深的理解 哎 其实后面谈π₀的时候 也可以多说一些 就π₀的很多任务 是有Chelsea在后面推动 就是她觉得能做 因为当时 其实大家是不知道能不能做的 所以她们两个是互补的吗 我觉得可以是可以 是这么认为的 他们的工作关系 这一派别还有其他人没有 刚才说了吴恩达 以及他的延续 我觉得现在的机器学习 机器人其实挺百花齐放的 包括 有另外一些派系啊 比如说就从飞飞 她带了很多学生 也投身了机器人的研究 比如说可能 现在这个时间点上 大家比较看得见的有 朱玉可和Jim Fan [01:02:34] 他们现在是在 都是飞飞的学生 在领导 毕业以后都 朱 玉可是当了教授 现在他们 在领导这个英伟达的GEAR Lab 在英伟达就是主管 如何做机器人 包括我觉得 现在其他就是华人学者 比较有名的可能有Shuran Song 她是我非常尊敬的一位女学者 然后 Shuran Song 其实之前她做 她们有做 呃 diffusion policy是Shuran组出来的 ACT和Aloha 是Chelsea组出来的 我觉得这个都是对现在的机器学习 机器人的形态产生了重大影响的 里程碑式的paper 其他的还有CMU派系 其实也有很多现代的机器学习的人 我觉得可能 比较visible的应该是两个人 一个是Deepak Pathak 还有一个是Abhinav Gupta 其实Abhinav是一个资历比较老的教授 他是之前做视觉出身 他有非常多天马行空的想法 [01:03:34] 我跟他 之前短暂的合作过一阵子 就几年前 我就感觉到他是一个 无法预测他下一秒会说什么 有的时候 我觉得他看的东西就非常有创造 嗯 性 比如说他其 实很早之前就想做一个自学习的一个机型 比如他当时做视觉就说了 视觉 我们经常说 只能受到数据的限制 那咱们就做一个 就 不要数据限制 我们就做 把它放到机器人上 让机器人去户外去各种收数据 这样不就可以打通 就我觉得他做的东西是有一种 几乎野生般的说 说 就是将来最后可能还真就这个形态 这种感觉 包括他其实 大家现在可能更熟悉UMI 作为一个机器人 收数据的一个手段 其实很早之前 Abhinav也做过 另外一个 叫做 我忘了他起的是什么名字 反正他 当时就说了 我们就去亚马逊上买一个 5刀一个的东西 这个东西呢 就是一个 很长的一个杆 这个杆的末端是一个小夹爪 你按这个杆 它就会夹爪把它夹住 他说 我们就用这个杆去收这个数据 [01:04:35] 跟现在的UMI有异曲同工之妙 当时 Deepak是后来加入 CMU的Deepak他其实之前做过Curiosity 好奇心驱动的强化学习 所以他其实我们在谈他的 以前的工作时候 更多是把他归类到做强化学习 很出名的学者之一 Deepak和Abhinav 现在是共同创造了Skild AI 也是硅谷 非常有影响力的一家机器人公司 也是做具身智能的大脑 嗯 他和你们一样都是做大脑的 对 都是做大脑的创业公司 还有一些大公司也在做大脑 对 我觉得是 你很有意思啊 你是从前面控制 或者叫传统派别 跳到了机器学习的派别 对吧 然后现在机器学习的派别 似乎是硅谷涌现出来的 创新公司 更多的人 现在好像是主流 这一波最流行的是机器学习机器人 但其实我觉得这个博弈关系 肯定历史上一直在发生变化 [01:05:35] 对吗 就是两派 你讲讲这个 我觉得历史上的关系的话 就机器人其实大家做了这么久 而 且我相信很多做机器人的都有信仰 就是什么东西能让信仰成真 不同的时期都有不同的 大家叫hype吧 就是这一波 可能是机器学习机器人 也是我们现在投身的这一波 之前还有一些做SLAM的 甚至包括 我觉得之前做自动驾驶也是算 然更多之前还有planning control 做到极致 我觉得波士顿动力也是一个代表 就这些都是不同的思想的碰撞 要想把这件事情做成 嗯 在你入学的那个时候 前面这一个派别 是占据更主导的力量 应该是 我记得 当时去就是传统机器人的一些大会 比如说像IROS或者IEEE这些 会发paper发论文 就觉得 大家做的跟我做都不一样 我们做的算比较小众的东西 哦 那你有想过转过去吗 因为你导师就是做这个的 这倒没有吧 我觉得 我相信我做的东西 所以我做起来快乐 所以我相信我们做的这个行业 [01:06:36] 即使导师 他会 有的时候会 就是批评或者指出 他批评你什么呢 比如说 比如说 嗯 有一部分机器学习 当时就是还比较受限嘛 算法比较受限 他就在模拟器里跑的比较多 他在真机上面 就不是很能跑的起来 导师就说 那你们这样就满足的话是不行的 就不够好 你看我们传统派系 所有东西都能上真机 你要把你们这个东西放上真机 我觉得他是一种 就是指明了 就是发展的时候该如何思考 到底怎么样有用 这件事情上面走的比较早吧 因为可能 对当时还是一个新兴的领域来说 如果去一个专门研究 新兴领域的时候 可能没有那么多的去想落地 想怎么样表现好这个事情 但是因为导师是从传统派出身的 他们这些衡量指标很多影响到了我 你们两个会有一些争执吗 经常会啊 因为 信仰不一样 想法不一样 包括像我们这种喜欢偷懒嘛 你看 我做机器学习的一个很大原因就是 [01:07:37] 如果一件事情 我不需要理解它的原理 我就能做出来 我还是做出来了 对不对 导师就会觉得这个不优雅 而且就是没有什么保障 我说优雅我们保证不了 但是保障我们可以再多做一点研究 看看能不能给它再 搞上保障 所以他是有一个本质性的 就是 对于解决问题的一个方法的喜好 吧 我觉得我就是那种黑猫白猫 抓到老鼠就是好猫的这一类 所以什么黑盒优化 我说黑盒优化非常好 你只要你能够把你这个任务 定义的非常好 咱们就黑盒优化 导师就会觉得你这个力的 作用 这什么 摩擦力的建模 你都不太懂 你怎么就在做这个任务 我 说 说不定这个任务不需要你懂这些的 我们的目标就是 让很多不懂这些前置知识的人 都能把这个任务做成 就怎么样 让这个信息的流动变得更加的轻松 是我觉得我们的一个主旋律 所以你很大的一个驱动力是实用 我觉得是实用 而且 是一种信仰吧 就怎么把它做出来 我要在当下时间点 选一个 我觉得最有可能做出来的方法 [01:08:38] 我不太相信传统方法里面 我觉得我们应该都能benefit 就是从传统方法中受益 但我不觉得 我们就用传统方法就够了 我觉得这个是 大家其实是比较有共识的 就是他如果把所有的问题 都抽象为一个投入和产出 这条曲线的话 传统方法是一个你投入多少 你的产出比较清晰的一条线 因为当时机器人 比如说波士顿动力吧 他们做这个后空翻 是非常非常非常的 因为当时都没有人敢做 也没有人敢想 但是他们做出来了 但他们代价是很多很多的工程师 不停地去调试这个参数 去适配他们想做的任务 去做到他们想做效果 你再做一个新的任务 你还是得有这么大的一个投入 才能把它做出来 而我觉得机器学习的算法就是 第一是我们不要工程师来做 对吧 我们就是通过各种各样的设置 让算法自己来做 你作为一个工程师 你的工作量就小了 比如说现在的 很多比较酷的 [01:09:38] 跑酷的视频 可能就工作量 和那个年代就不可同日而语了呀 第二个就是 一旦一些事情 就是需要更少的人力去做以后 我觉得就是交互也会发生变化 怎么样让普通人都能够交互 比如说现在这种AI智能体 的发展 我觉得可能刚出现的时候 还是一种比较小众的 你要用 因为它有时候不好用 你要作为一个专家 知道怎么去用才能用的更好 我觉得 机器人现在也有点处在这个状态 就是很多时候可能可以跑 但是你可能需要专家来大概了解 它跑的一些问题是什么 然后提前做一些修正 才能跑的更好 但我觉得总体的发展趋势是 让一个普通人 也可以 非常自然地去和这个智能体交互 得到他想要的一个结果 我有一个地方比较好奇 因为我觉得 在传统派别主导下的机器人发展 当时的一个构型好像就是狗 这个是为什么呀 当然我相信他们肯定觉得 狗不是最终的构型 但为什么那个时候时间段 大家都觉得应该去做一只狗呢 这个我真的不知道 [01:10:39] 得问Sangbae 但是我觉得看到一个狗跑起来 我作为一个机器人的从业人员 我也觉得有非常的受到启发 而我觉得这一波就是 大概在17年到20年吧 因为我们在华大 有很多不同的实验室 有隔壁实验室 他们是做狗做得很多的 嗯呃 狗作为一个硬件平台 它的可获得性相对而言还不错 其实 我觉得可能比机械臂还要好获得 为什么呀 一些 操纵系的一个绕不开的难题 就是刚才导师说的这些问题 就是我不知道这个摩擦力 其实每一个物体 它都有可能不同的摩擦力 这个话筒呀 我们自己的衣服呀 还有这些褶皱呀 就千千万万的事情就很难去建 模 如果用传统思想去做的话 你都要建模 你不清楚你的行为会有什么 后果的话 你怎么能把这个问题解决 我觉得是传统的一个比较大的思路 [01:11:40] 也是一种模型 就是模型 叫物理模型 做的算法的一个思路 而狗的话 它的接触更多的是一个顺势的 就是我这个腿在这个地上跑 我只要碰一下 很多时候它是不太需要你 详细的去搞明白 我的腿 在这个地上的摩擦力 所以我觉得这个问题的需求 就是 狗可能需要更少的物理知识 而操控系需要更多的物理知识 所以造成了 操控系做出来比较好的东西 相对而言 狗而言可能要少一些当时 嗯 我们刚刚讲这两个派别嘛 嗯 机器学习什么时候开始占据主流的 是从哪一年是这个转换点 你是什么 哪一年 从本来实验室的 一个小边缘的一个方向 变成相对大家更愿意投资源 更关注的一个方向 我觉得身在此山中很难讲清楚 但是差不多就是疫情那会吧 第二第三年的时候 [01:12:41] 我当时刚加入实验室的时候 做了一些比较偏理论的工作 也是在模拟器中跑 所以导师就说了 在模拟器中跑的最好 有什么用呢 你要上真机 我就大概在18年的时候开始 就从头弄了一个机器人 就做了一个筷子机器人 是我买的组件组装 搭起来 给它写系统 给它写驱动 让它跑起来 后面还给它做了很多建模的工作 当时开始做这个 做的有一些成功了以后 把这条路打通了 那 实验室的人可能就能够 同学 就是交流就能看到 就是说 哦 如果有一个新的方法 它有可能成功 我们在做我们的问题时候 就要去积极地尝试 拥抱这种新方法 所以当时实验室里其他人的项目 都或多或少 也不是说我直接参与 可能都给了他们一些反馈 就是说 实验室里有一个人 在做这个喂食的项目 可能就是说有些人 他生活不太能自理 我们怎么样 就是通过一个机械的一个轮椅 它搭载了一个机械臂 它可以去给这个食物来给你喂食 他们本来的这条流程是非常传统的 [01:13:41] 就是你先搞明白 下面要吃一个果切 切了一半的果子在哪里 哦 它的路径是这样 我们路径规划过去 一个什么样的路径 把这个果切插到这个叉子上面 再一个什么样路径给它喂到 这个人 就这一套思维比较传统 但是他们是有一些可能一些限制的 比如说这个果切的位置在哪里 他们是 依赖于这个计算机视觉的 那后面他们就会想说 哎 那机器学习 在机器人上可能可以做的话 我们可 不可以把这一端 就不光是用一个视觉 别人训练好的神经网络拿来用 我们也积极地尝试 让这个机器人 自己去 机器学习一样 去设置 去学习 或者发现一些更好的路径啊 所以逐渐开始我觉得大家也会讨论 就是应用到不同的问题上的可能性 逐渐开始就接受 你当时为什么会做一个筷 子机器人 为什么喜欢这个动作 当时我忘了是怎么回事 就是跟导师谈聊天的时候 就突然就发了一条暴论 就是说我用筷子能做90%的问题 [01:14:44] 90%是桌面的问题 还是什么问题 就是夹和放这种问题 我一直是 之前是有一些觉得筷子好难 筷子只有两个支点 对 就是因为我觉得用筷子能做的话 其实如果算法在筷子上都能成功 那它说明在其他方法上 可能更容易的成功 就要做 就做一个非常难成功的东西 把它做成功 我觉得剩下的 可能就是一些工程问题 就是这种做研究的思路 也是我自己比较喜欢的吧 就是你做一个非常难的问题 然后当时就是跟导师聊天 你也知道 就我们这个派系 其实是非常相信简单的机械手的 但优雅 所以当时就和他打了一个赌 就是说好像不是不二吧 就我跟他说 我想做一个自己的机器人 他就说 你想不想跟别人一起做这个 轮椅机器人 我就说轮椅机器人虽然很好 但是 他们的这套系统已经写完了 这个系统太传统了 我觉得他不是很适合 我想做这个机器学习 我想自己弄一套东西 他说那要不你可以自己从头搭一个 你想搭什么 要不要 我就看了一圈嘛 [01:15:44] 我说我们要做一些操作非常难的 就是就是 比如说之前美国电影里面 其实是有什么筷子夹苍蝇 这种 对中国武术的无限畅想 所以我导师 他是一个 印度人 他就说 哎 搞一个这种 你能把它做出来就可以毕业了 我说那就好 那就开始干 就从实验室的仓库里面 捡了一个 别人其实之前用过 后面就没有什么用的 一个机械的一个组装部件 然后我们就 可以自己自由组装 我其实很喜欢这种自由度 所以开始做起了筷子的机器人 后来做到什么程度了 后来做到什么程度 我觉得应该就比较有代表性的工作 有两点吧 就第一点是做模仿学习 就当时就是想办法 让这个筷子机器人 做一些 非常非常精细化的模仿学习的任务 其实背后的想法是这样的 机器学习 它是一个天生就带有泛化性的 一个希望的一个东西 就大家都说 如果机器学习在问题A上能成功 那它就能够比较无缝地衔接到 问题的2 3 4 5 6 但这个时候传统派的人可能就会说 [01:16:45] 你在问题A解决了吗 你的问题A做到了什么效果 如果机器学习的终点 是一个什么都能做 但什么都做不好的机器人 这显然是不够的 对 所以我当时就想说 那我就先在问题A上面 把它做到极致 当时呢 我搭的这个机器人 哎 不好意思 我们是手工搭的 也没有真正很深厚的硬件背景 所以它显然不是 就是按照传统的人来看的话 不是一个最好的机器人的形态 里面的很多力啊 还有什么调的 可能都没有调的特别好 我当时就说 如果我们用数据驱动 的话 我就偏要在这上面做出来 因为我相信数据驱动 因为数据驱动的 一个很大的一个验证点 就是当时我搭完以后 我就跟老板说了 这个东西一定能做出来 为什么呢 因为我虽然用这么一条 不是很准的一个机器人 但是如果我作为一个人去遥 操纵这个机器人的话 它再不准 我都能让它做到 筷子夹小球 这么一个 我们老板 他也不那么会用筷子嘛 他自己用筷他都做不到这个 但我可以操纵了 这么一个不准确的机器人 去做到这件事情 我就跟他说 你看硬件已经搭完了 [01:17:45] 硬件你觉得不太好 有点嫌弃 没关系 只要它的这个操纵算法 是和我一样聪明的操纵算法 它就应该能用这个筷子 去夹起这个小球 即使它的每个关节上 都有一些这样参差不齐的 怪怪的调参啊 或者一些backlash啊 这种就不太准确的东 西 所以当时就打了这个赌 以后 就第一篇工作 其实是2018年 19年就做出来了 可以用筷子去夹这个小球 虽然这个 做出来的方法是有很多的 模块化的东西 现在看来都有点过时了 比如说 当时是需要有一个外在的一个系统 去搞明白小球在哪 在这边再极致性地去抓 那个小球 现在可能都更加的端到端了 做完这个工作以后 就跟导师说 我觉得不够 因为我夹的还是慢了一点 毕竟我是要操纵这个机器人 我就时时刻刻在调动 调整自己的动作 就 我是在尽力地 就花费了好多的精力 去给机器人 提供一个非常高质量的数据 让它能够更好地学习 但这样的话太累了 我们懒人怎么能做这种事情呢 [01:18:45] 我们要让它自己去探索 去发现 怎么样超越我给它的这些数据 让它做得更好 所以后面的话 工作重心就转到了强化学习 开始做了 让机器人去在现实生活中 做这个事情 不断地去练习 通过练习归因来让它变得更好 我觉得这个是有点像 可能之前会看一些奥运冠军的访谈 嘛 就看他们的训练 就来激励自己 就觉得 就做一些 要想做好一件事情 尤其是这种动作性的事情 你确实就得适配 就搞出一个策略 它最适合你的这个机体 并且就不断地锻炼你的机体 让你就是刻出一个肌肉记忆嘛 对人来说 对机器学习来说 我觉得 其实就是一个强化学习的过程 嗯 所以你是做了这个筷子项目之后 才去转向了强化学习吧 重心 对 我就是从理论的机器学习开始做 然后不太满足于理论 想做应用 然后做了应用以后 第一个算法 其实是一个模仿学习的综述算法 在只能在simulator里 在模拟器里跑一跑 然后后面不满意 做了真机 [01:19:46] 开始做模仿学习 做强化学习 最后这个强化学习的工作 其实是可以 在空中有一个非常会晃动的小球 就人夹都有点难度 但是我可以用这个机械手 去给它夹住 因为它是一个 它还是可以夹一个玻璃球 这种准确度 就这种准确 度确实比一般的机器学习的任务要求 已经高出很多了 我们后面还会再来聊强化学习啊 我们现在先回来讲讲 继续讲讲这两个派系 这两个派系 你觉得他们互相之间有鄙视链 或者某种程度的价值观的冲撞吗 体现是什么呢 我觉得鄙视链 我觉得大家可能或多或少 都是有一些 觉得你做你最相信的东西 别人的东西你可能没那么相信 你相信的话你就去做了 这种感觉 因为在今天 可能Machine Learning已经变成了一个 相对来说 共识了 我不知道在当时 他们真实的状态是什么样的 以及 你说机器学习和传统的方法 哪个是更优雅的呢 这个评判标准是什么呢 我觉得优雅是很主观的 在当时那个年代 [01:20:47] 我记得在我读博过程中 我们是从一个 比较新兴的一个分支 逐步变成了一个 大家比较愿意接受的一种 算法 在当时是有一些质疑的声音 我觉得他们质疑其实也非常的正确 他们问的是一个基于事实的 比如说你什么东西都能做 但什么东西都做不好 那么要这个算法的用处是什么 这是一个我觉得在当年 非常有意义的一个concern 就当时大家做很多东西 你往前看的时候是不明白 往后看的时候可能才发现 能够溯源到某些代表性的 或者有贡献的作品 而当你决定下一步做什么的时候 你达到这个目的 我觉得我自己的研究吧 起码是有受到这种思想的启 发 就是我想 让机器学习 在一个问题上至少能做到极致 这样别人在把它泛化的过程中 可能会有一些比较简单 因为它可以从我的这个经验中 直接放到别的任务上 泛化和表现的冲突 还是最核心的一点吧 [01:21:47] 即使到今天 我觉得这 个质疑依然没有完全消失 甚至包括我们作为从业人员 也是在一直思考 一个传统的机器人的一个链条 在工厂 比如说造车 你要把用一个很大的机械臂 把这个玻璃给放到这个车上去 这是一个传统已经做的非常成熟的 成功率 稳定性 速度都非常 有保障的一个问题 你现在用机器学习 拿到的算法和表现 和传统相比的话 可能暂时还没有人能够说我们 这个鲁棒性是和传统那么一样的话 我觉得直到今天 都 还是一个研究的前沿性的一个问题 嗯 然后另外 可能当时我觉得 还有一个比较有意思的 就是 我不知道你有没有听说过 一位学者叫Jitandra 嗯 Jitandra 他是伯克利的一个做Computer Vision 很有贡献的教授 他之前说了一个很有名的话 这个话太好玩了 Robotics is far too important to be left to robotists [01:22:50] 就是说机器人太重要了 我们不能只让搞机器人的 这帮人来搞 我们也得搞 这个话其实有很多不同的诠释方法 一个不太友善的诠释方法 可能是说机器人太重要了 这帮搞机器人的不行 我们 得我们上才能把它搞出来 但我觉得 也有一个比较友善的诠释方法 可能是要想把机器人搞出来 必须得有不同行业的人群策群力 我觉得 这对当今的机器人大模型发展 是有启示性的 比如说 我是一个比较传统的派系出身的 我可能很多会关注动作 机械本身 还有表现的精益求精 我也会做算法 但是在我的领域之外 有很多 做这种视觉的人 他们有一些更多的 如何引入更多的数据 如何训练更多的数据的经验 包括做这种大语言模型的人 他们有更多的大模型训练经验 我觉得机器人的成功 一定是一个各行各业都放到一起来 有软件算法 有不同的行业的训练 [01:23:50] 有大模型 也有硬件 甚至包括这种产业链 才有可能把机器人做出来 你说的传统派和机 器学习的派系 他们在美国的分布 是有聚集效应的吗 偶然性的 是有一些的 因为西海岸这边就是斯坦福 伯克利 硅谷的 都是Machine Learning 旁边的两家大学 都是有很多Machine Learning的 嗯 我觉得东海岸也是有 但是东海岸的传统派 可能更加的根深蒂固一些 从最早的派系发展 当然其实现在的卡耐基梅隆和MIT 这两所学校 他们有很多传统派的学者 也有很多新兴的学者 大概就是最近5年招过去的 但是还有一个比较好玩的事情是 大家不管在哪做 好像最近这 两年都是在往硅谷这个地方跑 我有很多朋友啊 不管是在波士顿那边要创业啊 或者说在那边当教授啊 他们很多人也在 其他的公司领了一些职位 而且这些公司的办公室都在硅谷 [01:24:52] 从一个边缘学派 到了一个现在更主流的学派 作为Machine Learning 我能理解大家都在往这边聚拢 那东海岸的传统派别 他们已经认为 信仰应该发生转变了 还是说我还坚持自己的信仰 我觉得有两点吧 一点就是 我觉得 很多人都在积极地拥抱和探索 就是相当于你本来有一个工具箱 可以做很多事情 现在别人告诉你 他们也有一套工具箱 而且很激动的一个工具箱 你不一定就是赞同他们说的 就是这工具箱有什么激动 的 现在你可能看到一些东西以后 你是愿意去转变 说这工具箱可能很激动 我们怎么把它探索实验起来 你 有可能是做结合 也 有可能换方向 也有可能就是你又开放了一个新的 方向 我觉得这个是时时刻刻都在发生的 另外一边的话 我觉得 传统派的人 其实他们 我觉得是有非常多的 专家的洞察的 因为很多传统派的人 为了把他们的任务做好 都是经历过非常多的 硬件转换呀 或者说这些 就不同的工程的提炼 [01:25:53] 就是 他们如果能够在很多现有的项目中 分享一些见解的话 我觉得他们讲的都非常有道理 比如说 昨天晚上 其实我还正在读一个博客 博客上面就在说了这些 电机的一些问题 这个博客的作者也在末尾也感 他是一个搞机器学习出身的 在研究电机 他也 感谢了很多传统派的一些教授 在CMU的教授对他的一些指导 嗯 你看硅谷现在还有很多 新的公司 刚才你说了Skild AI和PI 这是两家在硅谷创业 做机器人大脑的公司 创业公司 还有另外一些创业公司 比如说Figure 比如说1X 比如说Dyna 能不能讲讲他们的创始人的来历 以及他们分属于哪些派别 他们的由来和历史 我只能分享一下 我理解到的一些 接触到的一些事情 我感觉像PI和Skild AI的两家 都是有比较的浓厚的 学术人创业的标签 因为两家的创始人和联创 都是在 [01:26:53] 学校当教授 而且有些是比较高产的教授 两家的口号也是有些类似 都是想做具身智能的 一个通用的大模型的大脑 在区别上来说呢 其实 一方面我觉得在应用上面 PI更多考虑是一个双臂操纵 就是 还是想把操纵这么一个问题给解决 因为可能我觉得在PI加入的学者 或多或少都觉得 之前在移动方面 取得了很多很好的成果 我们现在应该想想怎么样在拿东西 放东西这个方面取得很好成果 因为你可以暴论 暴论就是 你如果能把pick and place 这么一个拿放的问题解 决 你可以把整个生活中 所有的家务都干掉 你不就是抓放 抓放 嘛 你可以抓这个东西 放那个东西 或者有一些路径轨迹的限制 但是这是一个大类 非常值得解决的问题 另外一方面 我觉得在Skild AI的话 相对而言他们有一些 更多的就是腿 人形和狗的一些探索 我觉得这个是相对而言更多的 [01:27:54] 他们的构型更完整一些 这倒不一定 因为现在人形机器人如何装操控系 其实是没有解决的一个问题 他们有很多 他们现在能看到视频里的话 相对而言 他们的操纵的任务都比较简单 他们更多的强调 就是一个移动性 嗯 我觉得并没有完整吧 因为现在我觉得并没有converge 统一到一个好的一种构型 它又能做很好的移动 又能做很好的操控 所以大家各有侧重 嗯 然后其他的公司的话 我觉得 就不得不提一提 哦 就很早之前就在做人形的公司 我觉得其实特斯拉在2021还是2022年的 Elon Musk的话语 肯定是激励到了不少人 让大家当时的一些应届 就已经开始有热潮去做人形 Figure的话 是应该是2022年 开创的一家人形机器人公司 他的founder 就我所知的话 并没有一个技术背景 [01:28:54] 他是有之前成功创业的一些经历 我觉得是很有意思的一个人 因为他能在2022这个时间点 做一个 他都不是那么熟悉的一个新的领域 因为他相信这个 我 觉得这是非常有意思的一件事情 相对而言 1X的话 我听说是创始人其实是深耕了 机器人的这种电机 因为他们是做绳驱 的人形机器人 比较独特 Dyna的话 它的创始人是 嗯 是 呃 因为Dyna创始人 他们是相当于是认识的 他们是有一些创业的背景 也有一些技术的背景 我觉得 如果用一个标签去形容他们的话 可能他们是更强调商业部署落地的 当然 我觉得 就在一个具体的场景 比如说 我们都看过他那个叠衣服的场景 对 就比如说 我觉得如果看看他们在2024 2025年期间 所发表出来一些东西的话 可以形容为 就是 有没有可能 就是机器学习已经可以进家落地 [01:29:54] 并创造一些商业价值 同时这个商业价值 可能能给他们带来一些 就部署上的优势 就以后 随着这个机器人大模型的这个能力 越来越上 可能大家也会慢慢地从这研究端 转到部署端 可能 他们就是做部署端比较早的一类 嗯 然后其他的其实也有 因为 当时我觉得是2023年到2025年 是井喷式的机器人创业吧 就不得不提2023年初的这个黄埔军校 机器人的黄埔军校 应该还是谷歌的这个研究所 嗯嗯 因为当时其实时间点非常有意思 2021还是2022年 ChatGPT出来了 效果太好了 其实动摇了很多人的想法 使得当时做什么东西 课题是有很大的一个变化的 包括谷 歌当时也是做了一个比较大的动作 把他们的机器人的部门给 变相的削减了一下 为了给他们做大模型 可能抽一点人过去 但这个 其实也蛮影响大家做机器人的研究 所以很多人就趁这个机会 出来创业了 [01:30:54] PI的 创始人就是 都是在谷歌之前做的 然后Skild AI的话 其实他们俩创始人之前是在Meta 是有研究员的职位的 Figure 1X应该也吸纳了不少 从这一波里面出来的人 还有比较值得关注的 当时还有两家公司 也是从这一波里面出来 一个是叫Generalist AI 一个叫Sunday Robotics 嗯 这两家公司的一个比较共通的点是 他们都 相对其他公司 更多强调了用UMI 作为数据采集的一个手段 UMI的话呢 是 这两家公司的创始人 其实当年是在一个paper上 这个paper就是UMI 这篇paper他就说了 我们可以做一些 设计好的一个爪子 人就可以抓着这个爪子 去自己生活的世界里面 采集各种各样的数据 并且证明了 这个爪子收到的数据 是可以迁移到 一个机器人的上面的 [01:31:55] 所以他们两家公司 不约而同的都相比其他公司 更加重视这方面的发展 我觉得 可能Generalist AI就会稍微偏重工业化 场景应用一点 这是从他们发放的视频里推测的 可能Sunday的话 他们发的视频 就更多的有一些就是家用的 场景的体现 甚至包括他们的机器人 也比较可爱的 就目前是看到比较可爱的机器人 后面这几家公司 我们能理解是做硬件的公司吗 因为你们那两家是大脑公司 还有Google 特斯拉也是 大脑公司 对吧 我觉得 特斯拉 我估计它的硬件也不错 创业是一直在变的 所以很难用今 天的思维去想 明天的事 但就现在这个快照来看的话 PI肯定是更加注重大脑 我相信Skild AI也注重大脑 但是Skild AI大家创业公司 其实都比较神秘 也不知道他具体在做什么 OK然后特斯拉的话 大家一般谈起他 都会认为他的硬件是很强的 毕竟他有这么多的钱去烧 [01:32:56] 就机器人硬件的研发 不是一个很容易就能上手 不像软件 我觉得软件其实相比而言 反而是容易上手的一个东西 硬件的话 它的产业量啊 它的迭代速度呀 包括它里面的工程师啊 我觉得这个都不是一天而起的 特斯拉之前有造车的经历 造机器人方面 大家都觉得他肯定是有优势的 Figure也是一个造机器人 Figure 1X都是造人形机器人 可能区别就是Figure用的是电机 而1X用的是这种绳驱的方式 Generalist和Sunday的话 我相信其实现在 就甚至包括Dyna 大家可能或多或少都会开始设计 就是如何弄一个更好的硬件出来 但是你说造硬件到什么地步 可能没有一个 能看得清的一个说法 之 前不是有一个笑话 就是如果你是一个认认真真 真的想把事情干成的 机器学习的一个学者的话 你真得造自己的硬件 因为 市面上没有一家是真的拿来就能用 完美符合了你所想要的应用场景 [01:33:57] 软硬得一体 软硬一体我不知道 但硬件其实本身都没有 没有达到这个地方 嗯嗯 硬件我们等会也会着重来聊到 对 其实 我觉得硬件 有一个我的很简单的构想 就是到底有哪家公司能给我一台 我可以把它发到人家里去 我就有一个人在后面遥控它 但它真的能把我家里 我想做的事情都做到 而且它不坏 它很稳定 我觉得如果能到这一步 才是算 我觉得硬件的第一个版本 才是真正出来的 嗯 因为我记得你上次跟我聊 还聊了好多 比如说花衬衫 Oh my god 这是一个好好玩的梗 这个是波士顿动力的创始人Mark 他在我脑子里 变成了一些二次元的画像 oh my god 就是你们机器人行业的各个人物 对 他其实是一个非常有个性的人 他现在你去 人家见到他的话 他就是一个白发老头 穿一个花衬衫 他其实一直在公共场合 都是以花衬衫的形象出现 包括 他给波士顿动力后面的AI研究所 [01:34:58] 设计的队服 都是一个夏威夷花衬衫 这个来源其实是他在年轻的时候 据说啊 谣传 在当时那个年代 做研究啊 交流啊 还是一个比较严肃 正经 不可有丝毫懈怠的事情 所以当时他这个人的穿着 一个衬衫什么的 还是一个 反正不太那么严肃的一个衣服 去参加这个会议 就被别人讲了 就别人说了 你怎么可以穿这样的一个东西 有点不太尊重 他从此以后就 我就要穿这个 而且要推广 让大家都可以穿这个 所以他现在的形象 就是 我觉得 他是有一个叛逆精神在身上的 是不是还有一个非常飘逸的 Abinav Gupta 刚才好像已经讲到了一些 就是Abinav 他思想非常的天马行空 哦 他其实 哦对 他其实有影响 也有华人的学者是他的学生 现在也成为了比较知名的教授 王晓龙他现在在UCSD做教授 他是Abhinav的学生 Abhinav当时是挺有意思的 他做的事情就是感觉打一枪 然后你还没明白这枪是什么意思 [01:35:59] 后面才发现哎 还真的有点意思 他就是一个天马行空的 就是 你跟他开会的时候 都不知道他下一句会说什么的 这么一个人 会说什么 让人很出乎意料的吗 对 他的他的思维就像是一个点的 一个跳跃性的思维 哦 这里面你有最崇拜的一个学者吗 我觉得我能够欣赏大家的优点 但是 哎 我还是比较崇拜什么 游戏创作者 小说写作者 这个只是 生活和工作分开 哪个是生活 我觉得人文 哦 人文故事是生活 对 工作是一种优化 是一种很纯粹的 就是把大家的好 给吸纳在一起的这种态度 嗯 你平时会跟 比如说 大模型的研究员有一些接触吗 你会觉得机器人的 里面的人 和大模型的人会有什么不一样 我觉得接触是肯定要接触的 我也能越来越多的感受到 确实要想把机器人做成 是得在一个团队的环境里 [01:36:59] 是得吸纳大家的所长 有各行各业的人加入 才能把它做成功 而不同之处的话 我觉得 比如说 就这么讲吧 我们有个机器人 它收了一条数据 大模型的人可能就会想说 咱们收个100万条这样的数据怎么样 我们就可以拿到一个数字 有这个数字以后 我们就会让这个数字变得越来越好 作为一个 更多搞传统机器人出身的人 我们可能会先想的就是 这条数据长什么样呀 我要来看一看它的动作 它做东西 甚至包括它当时的硬件条件 硬件环境的这些设计 就是你能看到 就是相对而言 我觉得做传统机器人出身 机器学习的学者 会更多地在意就是这种物理的动作 而大模型出身的学者呢 他们经常会比较飘逸地说 哎呀 现在这个信息好像不够全 他们想要加一条进去 或者补一条进去 我觉得这个可能是 你做很多次机器人 你会习惯了 现在机器人的一些感知的一些系统 而大模型的人 可能更多能跳出这个框架 [01:38:00] 去思考 我们现在要什么样一个信息才 能把这件事情做成 嗯 我们刚才说了很多创业公司 其实硅谷的 大厂做机器人也很值得关注 比如说NVIDIA 比如说Google 是的 还有Tesla 他们的bet有什么不一样吗 我们其实刚才顺着 把每一个机器人公司的bet 都有讲一遍bet 我觉得我不能替别人公司讲 我只能讲讲我自己的bet 但是从你能观察到的公开信息来说 我觉得特斯拉是专押人形吧 它应该是 人形搞的最激进的一家公司 因为就拿最简单的事情来举例 手这个事情呢 我有我的相信嘛 我现在觉得手是一个有了会 非常好 但现阶段没有也没有关系 不是必要的 但特斯拉 他就更加强调说 我们要搞一个终极形态 我们一定要把这个机器人的 方方面面 做得都和人形差不多 他们是有很强烈的人形的 一个信仰的 嗯 而谷歌 我觉得他们因为有自己的大模型 Gemini Gemini [01:39:02] 比如说有多模态能力 的多模态能力 比如说图像生成和图像修改 是现在大家都比较津津乐道 也会在日常中使用的 可能对他们来说 机器人也可以是这个模态的一部分 可以给它这个模态提供一些 就是空间感知啊 空间规划啊 或者空间控制的一个能力 所以我觉得他们在 也许啊 我猜的 他们在这个走机器人路径的时候 是更多是想着说 机器人如何成为这个多模态 大模型的一个部分 而英伟达的话 江湖的笑话就是 英伟达做所有事情都是为了卖卡 所以他们有很多需要烧很多卡 才能完成的一些项目 比如说像世界模型这样的项目 但是通过这个过往的经历 一次又一次地证明 有些时候真的就是数据多了 卡多了 哎 效果就上去了 所以大家也很期待 就是他们这样做能做出什么 就是可能一些计算力更大的一些 更加简单粗暴 也是一种美 我觉得 但是其实做的时候 可能每个学者 也要发挥自己的一种设计的长处 在英伟达做研究会不会卡更充裕 我当然是这么猜的啦 [01:40:02] 哈哈哈OK OK 在这种不同的重心和选择之下 每个公司 它的不同的软硬件方案是什么样的 我觉得硬件方案 大家多少不会那么公开的讲 你只能从他的视频里推测 为什么这个是更保密的呀 我觉得硬件 其实我也不知道 但确实 大家在公司工作 或多或少 都得遵循公司的一些保密原则吧 硬件是不是更保密的 我觉得软件其实也很保密 PI应该算是一个比较独特的地方 就是在这里 我们还是有一些学术界的影响 觉得要 分享啊 发表啊 也是你研究的一个部分 其他 公司的话 就我目前的感知觉得 没有这么的开放吧 甚至包括PI的 办公室也没有那么严的安保 就是有的时候 就可以带一些同行的朋友去看一看 跟大家介绍一下 就这种思想的碰撞 嗯 嗯其他的公司我觉得 其他的公司我觉得 就是在硬件上 我觉得人形和非人形 [01:41:03] 可能是一个比较直观的一个bet 嗯 比如说像特斯拉 Figure 1X 都是强烈的在bet人形的 但是你说 他们做的 和其他人做的一个最大不同 可能就是有没有这个腿 是一个 然后也有人认为是 就是你有了腿 因为你是个人形 而我们这个世界是为人而设计的 所以你做出了人形机器人后 它在这个世界里一定是最自然的 通用性更好 对 通用性更好 这是一些人的信仰 嗯 另外一些就是非人形的信仰 我觉得其实可以分为两派吧 实用派还有狂野派 你们是哪个 我个人是实用派加狂野派 因为可以展开说一下 就是实用派的话 其实我们会觉得 这个机器人不一定非要是人形 它就能做很多事情了 对吧 而且人形的机器人的很多问题 也许别人可以解决 我们可以后面再跟上 我们现在觉得 最阶段最重要的问题之一 就是它的能力 它的表现 它的操控性的东西 [01:42:04] 它不需要一个人形 它就可以做 而且甚至如果你做得好的话 你已经可以去做这件事情了 在现实生活中去部署啊 做一些 所以我们对人形 在使用的角度上来觉得 在现阶段没有那么的有必要 而狂野派呢 这就海了去了呀 你看啊 我们这么多年有车这一个东西 车是有轮子的 嗯 自然界中其实没有这么一个东西 但其实现在车上或者大街上 或者全世界那么多条公路 都是为了让车能跑 得更好而设计的 就可能有一种信仰是说 如果真的是一个有用的 如果真的是一个有用的一种形态 一种形态的话 的话大家将来会为了这个形态 大家将来会为了这个形态 去改变你所生的生存的这个环境 比如 说适配 我觉得这个是 比如说适配 可以成立的 并且狂野派 他们为什么要有两只手呀 四只手好不好 三只手好不好 或者说你 下面这个轮子 你好多轮子都可以 他可以充分发挥想象去想 就有没有可能有一种 生物的自然界的演化链 [01:43:04] 出不来的一个形态 它其实是最好的一个形态 你这个形态做了以后 因为机器人它是可以换的 你的手坏了可以换 我个人就是比较相信 也许就一个成熟的机器人的形态 就是它的动态组装性 就有可能将来的机器人 它就随时随地 都可以把自己的身体的一个部件 给换掉 换成一个更适合的东西 就像它的工具一样 对 所以 你的实用派加狂野派是怎么回事 你想象中的构型应该是什么样 现在想不了太多 现在就想把现在这个构型表现做好 因为PI是要追求做通用大脑 对 那直觉来看 要做通用大脑 它就应该适配一个更通用的构型 而人好像就是那个最通用的构型 因为你也刚才也说的 就是现实世界 各个东西都是为人来设计的 那为什么你们要选择 是 既要做一个通用大脑 又不选择一个人形呢 我觉得通用大脑的通用 大家可能有不同的诠释 做一个具体的构型的通用功能 [01:44:04] 是通用的一种做法 而做很多构型 都可以受益的一个大脑 是另外一种做法 而且也没有人说 就是你做很多构型都能受益的大脑 它就不能在人形上面做 只是每个阶段可能不同 哦 就是说你们希望 你们需要覆盖的构型更广阔 就不只是人 没错 就是PI的 模型 都是在不同形态的数据上面训练 并且 可以在不同形态的机器人上面使用 只是现在可能 能看到的只是这么几个具体的构型 但其实没有放弃 就是说这个大脑 得在不同的机器上面都能用起来 因为这和人操控的道理是一样的 就是我作为一个人类 我去也要操纵一个机械 我不管是开车 开挖掘机 或者是去操纵 这个腿怎么踢 或者说一个机械手 它怎么去做这件事情 我都是由一个我的大脑 去操纵这么多不同的构型 我觉得 这个才是通用大脑 最本质的一个定义 [01:45:04] 而不是说就 是我去做了一个人形的大脑 它就是通用大脑 那是不是 比如说做一个人形 在这个构型之下做一个通用大脑 人形的相对任务是更复杂的 你做完这个复杂任务 你可以泛化到其他的形态更容易呢 我觉得任务的复杂性 是可以抽开好几个层面的 比如说人形 它因为关节多 所以你要同时控制这么多关节 是有一些难度 但是你做的具体的任务 任务的难度 我觉得和人形是可以完全不相关的 就像我之前说的 我们其实非常相信 一个任务 比如说 假设你要组装这个麦克风 这个步骤应该很多 你用人形来做 你用一个更加简单的 双臂机器人来做 它都是完成一个很难的任务 我觉得在现阶段 对我个人来说 完成这个很难的任务 比你用什么构型更重要 甚至我个人觉得 你用简单的构型 做出了一个更复杂的任务的话 将来你再去控制人形 做这个应该会更简单 因为你更复杂的构型 可以提供的功能可能是更多的 [01:46:05] 它的操控虽然难 但它的灵活度 确实是有一些关节上灵活度的东西 它可能更简单 所以如果我能用一个简单的构型 去做成一个非常复杂的任务 我觉得 它将来能够迁移到人形的概率 也是非常大 而像比如说Skild AI 他做的通用大脑 是要匹配一个通用的人形 对吗 其实我们并不理解 他那么多的技术细节吧 只能是从他的视频里推测 我觉得他们有很多 因为他们可能更 相对而言 更靠近商业部署一侧 所以他们有一些移动的需求 所以 他们可能现阶段就已经开始做了 一些人形和狗的这个东西 嗯 你看PI其实 我们也有一些 就最近的一些发布是说了 就是PI有一些partner 就有一些合作伙伴的机器人公司 就包括之前 一直没有停止过 就是帮助合作伙伴的这些机器人 不管是不是人形啊 还是什么其他的形态 用上我们的这个大模型 去做一些事 [01:47:05] 嗯 情 嗯 因为现在 我们管这些组织都叫frontier lab 那你能不能讲讲 在机器人领域 你觉得机器人的frontier lab的 frontier体现在哪里啊 哪些指标能够来描述这个frontier 我觉得前沿frontier 方方面面啊 咱们要走的路还挺长的 我觉得其中一个比较切身感受的 是evaluation吧 就是评估 这个问题 其实我觉得NLP是走过这条路 自然语言 他们当年就是生成了一段话 叫你来给他打分 你怎么打分也是一个不容易的事情 但是在机器人这边呢 就更加糟糕的一点 就是你还得在机器人上跑 你才能知道他做了一个什么事 你才能给他打分 就不光这个分有点难打 而且你还得受到机械 物理的限制 很多时候呢 只是一些变化什么的 可能你自己不知道 它就会影响你的模型表现 我相信在最终的成品那个阶段 [01:48:06] 应该是不太怕这些细微的改变 或者说一些 比如说你要拿杯子 对不对 假设我们现在做这个任务 就是拿这个杯子 你把杯子 放在桌子的任何一个地方 是一种扰乱它的一种方法 就是看它是不是每个地方都拿起来 你还要看不同的光照 你还要看不同的背景 你还要看这个桌子高度 甚至是可能不是一个桌子 而是一个柱子杵着 你能不能拿起来 或者这个杯子它有自己的角度 就 是有这些无穷尽的一些 初始条件 很有可能 都会影响到你最终的表现 所以你在评估的过程中 你是希望能够把这些东西 都给评估出来 但现实生活中呢 你又 不一定能够那么好的掌控 所以评估现在是一个问题 评估的问题 就直接导致了你对前沿的一个认知 就不像其他的领域 它是有一个英雄榜一样的存在 就是 我们现在发了一个超级大的数据 每个模型都来在这上面跑一跑 跑马场 看看哪个马赛马谁是第一名 你是能够比较主观 [01:49:06] 比较客观 清晰地看到 在这么一个事情上 一个确定的结果 而在机器人谈论前沿 比较难的一个原因 就是因为这个评估太难了 导致你很难彻底地去评估它 就包括每一个公司 我相信 内部都有一个评估的一套东西 可能这些东西就是 你的注重点 他的注重点都不一定一样 但是退一步讲 我也觉得这个是暂时的吧 我觉得最后做出来的 应该是不会太担心 这个事情 可能现在大家还在探索 怎么样做得更加的鲁棒和宽泛 嗯 所以现在这个frontier 还是很难定义的 我觉得可以看到一些算法 可以看到一些算法的表现 怎么说呢 可能是 一个最核心的部分 大家都看得见 随着它向着更前沿的方向迈进 以后 就变得越来越有一些乱 就需要你能从纷乱中 找到一个清晰的线 你相信 你把这个图给夯实 夯实了以后 可能大家都有了一个共识 这样的话才会知道 哦 这是一个比较确定的东西 [01:50:07] 就有一种悖论嘛 就感觉特别前沿的东西 你都没有办法去定义 因为不好说 就是谁谁谁在哪个榜单上面 跑到了多少 因为这个是 所以这个是前沿 就没有这种东西来依据 所以现在其实大家的方向是分散的 都在朝不同的方向在发展 不知道哪一条线是那条大道 大家还没有统一到那条大道上去 嗯 我觉得确实在研究的角度 看问题的角度 想要做的任务上来说 是分散且百花齐放的 但我觉得在宏观上面来说 其实每个人的命题都是类似的吧 如何让一个机械的成体 它在现实生活中做一个任务 或者做很多任务 它的表现好 只是你这么宏大的一个命题 得有一个抓手开始做 每个人选的抓手可能不太一样 嗯 我们绝大部分人 都没有机会 去看过一个机器人的完整的产线 能不能从你的内部视角 给我们讲讲 一台机器人是怎么诞生的 [01:51:09] 哦 机器人是怎么诞生的 我觉得这个 命题可以可以可以 甚至可以讲到原子级别 但是我这个人的 工作的范围也是比较有限 我就从我认知的范围里讲一讲 就是 如果一个电机已经被制造 出来了 那么我要做的事情 其实就是 因为电机 它就是一个会动的一个关节吧 可以这么理解 这个会动的关节 你就把它连在一起 它就成了一条机械臂 你看你人的手臂 其实是有非常多的关节 和更多细小的肌肉 而现在的机器人的 这个形态就是几个比较大的关节 可能比较流行的就是6个关节 或者7个关节 组成了一条手臂 然后这条手臂 就可能就差不多 是按照你人的活动方式来对照的 因为机械手 基本都会有一个大的一个肘关节 然后会有一个腕关节 然后包括有个肩关节 就这个都是比较通用的 你就把关节放在他想要的位置 然后做一些3D打印件啊 或者金属件啊 或者磨成个想要的形状 把它们固定的组装起来 这样每个关节动的时候 哎 剩下的就会跟着动 这就成了一条非常原始的机械臂 [01:52:11] 在机械臂能够组装到一起以后 你其实要为它写一些 系统和驱动的东西 比如说最低层次的话 其实都是通电啊 或者气压啊 就是你给他发了一个什么信号 他就会收到这个信号 就会开始做一些动作 很平常的一种操控手段 就是用一个位置操控 是 我希望这个关节现在是一个什么 90度角 把它变成一个180度 角 我就会发送这个 他需要在关节的层面 把上层发给他的讯号 转换成一个 他能够真正执行的东西 这个就是叫底层控制 再往上一层 你怎么决定 你要发什么样的位置讯号 这个可很有可能 就是需要你有一个大脑 看到当前的任务 决定 然后决定 哦 为了做这个任务 我要在桌子上拿一个东西 我得先把手抬起来 他是需要 呃 理解这个任务 理解你的关节 去做一个 把肘关节往上抬 的决策 再发给机械的关节 关节再执行 执行了以后就有新的一个场景了 [01:53:12] 新的场景 大脑就看了 哦 我现在已经在桌子上面了 我要做下面一步动作的 话 可能就是往右往左 我觉得 这个是一种两层式的一个思想吧 就是有一个大脑来做一些决策 做成了 一个你能听得懂 能执行 也能够比较方便 我们去做一些调试的一个东西 同时呢 它也有一个更底层的东西 去把它翻译成一个物理世界 更原始的一个东西 嗯 那接下来 我们来讲讲PI的工作 和你在PI的工作 嗯嗯 你刚才讲到机器人公司 其实现在各个公司的主线和抓手 是不太一样的 能不能先纵览一下 PI的主线和抓手是什么 好的 我觉得要了解PI的工作 可能一个比较好的方法是 看PI的几篇 主线发表 之所以说主线发表 是因为我们觉得 主线发表的命题 是可以推动整个领域 往前进的 其中有三篇主线发表 现在 [01:54:12] 第一篇是π₀ 它的关键词应该就是能力 第二篇是π₀.₅ 它的关键词是泛化 嗯 然后最近的这篇是π₀.₆ 它的关键词是表现 就是在π₀刚开始做的时候 我觉得是大家都非常的激动 可以用 有了一个非常好的架构 可以用一个大模型的思路 去做机器人 但没人能知道做成什么样 也不知道能做成什么事 当时在2024年初 PI创立 就想做一些之前做不到的事情 但是具体要把这些做不到的事情 给做出来 就是π₀的这种旅程 因为其实π₀做了三个任务 第一个是大家可能比较熟悉的 就是叠衣服 我觉得我们应该是在2024年 11月发表的 叠衣服是一个让人比较耳目一新 就之前从来没有看到过这种级别的 任务的表现 第二个是 [01:55:12] 叠箱子 叠纸盒子也是一个 哇 这个东西真的能做吗 我们不知道 我们来做一做看 然后当时还有这 当时还有第三个就是busing 就是去桌子上去抓 拿 放 但是你需要前所未有的 物体的多样性 却都能够处理得很好 所以这三个任务当时是奠定了 我觉得是奠定了 就是大模型 能在这些前面想都不敢想的任务上 表现成什么样的一个基石 所以注重的是表现 嗯 然后第二个任务呢π₀.₅ 是泛化 泛化的意义 我觉得其实至今也是存在的 就是如果你大模型训练出来以后 一 个机器学 习的根本问题 就是这个所谓的in domain和out of domain 就是你是一个数据内的和数据外的 就 如果你训练好了以后 只能在数据内的这个范围里 表现得好 拿到数据外里面就没有用的话 那你这个影响不就很有限吗 [01:56:12] 所以就很强调这个泛化 就假设你做了一个任务 它是在房子A里面收集的 你把它放到一个房子B 放到房子C 或者说你要探索 就是你要多少个房子 100个房子 1000个房子 你在这些房子里都收好数据以后 你才能在第10001个房子里面 得到一个很好的效果 所以π₀.₅的出身 我觉得是想要探索 就是我们的大模型能不能够泛化 并且泛化的一些条件是什么 同时当时 因为π₀和π₀.₅之间 也是有一些其他的发表 可以 提升了大模型的一些表达能力啊 和分层能力 使得它能够实现这样的一个泛化 所以当时我们是在很多Airbnb里面 收集了数据 到这些别人的家里 因为是走出去了 就不是我们控制的 一个办公室的一个场景 不是谁控制的一个工厂的场景 而是真的就是杂乱无章的 别人的家里面 去做了一些日常的任务 做了这么一个数据收集 并且研究 就有了这些数据以后 到新的家里面表现会是什么样 [01:57:13] 但当时一个比较令人振奋的一个点 其实是大概收了 应该我记得paper里写的 应该是有100个家 然后再 你再试试把这里面的家给去掉 你看你去到什么地步它 还有增长 就是我们感觉这个曲线是放缓的 就是可能你不需要 真的在世界上所有人的家里面 都收了数据以后 才能在他们家里面干活 你其实是有一个数字 你可能收到那个以后就可以了 就是我们觉得这个是泛化 比较令人振奋的 就是你in distribution 这个数据内是有一个尺寸的 达到这个尺寸其实或许就够了 嗯 而且π₀.₅的标题好像很有趣 叫开放世界泛化模型 是的 这是Sergey polish过的标题吗 标题其实大家 我怎么觉得 Chelsea是出了这个标题的 哦 是Chelsea出的 对 但是每一篇paper你看 应该都有一个科幻小说的一个引用 这都是Sergey写的 哦π₀和π₀.₅是什么 π₀和π₀.₅的科幻小说的引用吧 我不记得 这个 只有Sergey记得 [01:58:14] 然后后面到了π₀.₆ 这也是一个我觉得我们field 需要回答的问题吧 表现 就是又回到之前的这种 如果你做什么东西都可以 但做什么东西都比较的半吊子 那么这个模型的用处究竟是什么 所以π₀.₆的出现 其实就是想回答 假设我们现在真的想做一件事情 想把它做好 我们到底怎么样把它做好 随时提升这个表现 而且π₀.₆ 我觉得这也 是我参与非常高的一个项目 因为我们是强化学习的团队 这个是我们的第一篇工作 发表出来 强调了很多的方法上的 简洁性 但是在最后的表现上 更多的是强调 如果有一个智能体 它差不多可以在一个任务上 做了的话 你就去收集他的体验数据 让他在真实世界中去收集他的体验 把这个数据放回他的训练池中 他其实可以达到比之前 比你之前那些固定数据 [01:59:14] 更好的效果 我觉得他对于我们数据收集 是有相当大的启示意义 什么叫体验数据啊 就是他自己去做这件事情 收到的数据 你看啊 就是 平时我们收这个真机数据的时候 是有一个手臂 比如说我这样一个手臂 我就给你卡在这个桌子上面 我简单就可以通过遥操纵 就让他干一些事情 你收到数据呢 其实是 就是这么一个机器 绑在这个桌子上 然后做了一个任务 他其实可以不遥操纵 他 可以让他自己去做 做了以后 他可以把这些数据都收集起来 就是数据的来源 其实可以很宽泛 我觉得之前其实很多人会说 我们机器人领域 都靠人来遥操纵的话 这个数据收集又慢又不好 我觉得是可以再提升 一点 但确实是 有这么一个隐患 就是 以后可能不能够完全通过这种方式 收到所有想要的数据 我觉得 经过π₀.₆这篇项目以后 我们也有了很大的感触 觉得机器人自己的数据 也会可以非常的强 因为它的起点是人给它设置的 [02:00:14] 但是如果要超越这个起点 还是得机器人在环境中去动作 包括我个人是比较Bullish 比较暴论的坚信 就是 将来机器人的价格就是应该又便宜 又方便 很有可能 就是很多人 现在对于数据的一些担忧 在时间的长河里 其实都不重要 因为你可以让机器人 这么多的机器人 在部署的过程中 收的数据都拿来为我所用 哦 是吗 嗯 π₀.₆是一个基础模型 这个的意思是 你把最后的成品 你的这些数据 放回了你的模型之中 但是真机收集数据不是说很贵吗 诶 如果 就是如果 你可以自己 叫Rollout你不就相对便宜了吗 就是真机数据贵 我觉得分为好几个方面 对不对 嗯 一个是你首先要有一个真机平台 然后 你要把这真机平台放到人家家里 你还要维护这个真机平台 同时呢 你还要雇佣一个人 让这个人来做一些任务 [02:01:14] 同时还要跟这个人做交流 还要有些规划 就是一个非常复杂的 一个管理的一个问题 但我觉得 如果机械的价格降下来的话 在这个过程中 我个人认为 现在的比较大的大头 其实是管这个人 去收到你想要的数据 但如果你可以把数据的操纵员 给放在一边 而是换上你已经训好的一个大模型 让大模型在这里跑 其实你数据的成本应该是能降很多 硬件也需要降低成本吗 硬件 我觉得永远都是可以再便宜一点 现在已经是便宜的了 对 现在比起5年前 肯定是便宜了很多的 对 关于数据 我也听说 错误数据 其实是好数据 错误之后再纠错的数据 我觉得这个是动作的一部分吧 是task的一部分 嗯 这个思想 其实是 大概是在最早的模仿学习里 就有很多 模仿学习的 一个嗯 很严重的问题 就是 积累的错误 [02:02:14] 可能每一步骤的微小错误 不断地放大以后 会让机器人到达一个 他完全没想过的 一个非常糟糕的情况 这个是人收集数据中不会碰到的情况 而一旦机器人进入到这个情况以后 他有可能就不知道 该怎么样修正他的路线 去完成这个任务 这个技术问题 是一整套的修复方法的 因此 很多人收数据的时候都会很强调说 我们不光要收一个完美的人的数据 同时也要收很多 就 机器人进入到了一个不好的情况 以后 怎么样修复 怎么样继续去完成这个任务的 这种修正数据 确实修正数据 对于一个机器大模型的表现很重要 但是再次强调 就是修正数据 也可以通过机器人自己跑来收 这就是强化学习的 一个比较本质性的东西 嗯 现在机器人领域关于数据问题 大家有人相信真机数据 有人相信仿真数据 你持有哪一派观点 黑猫白猫 抓到老鼠就是好猫 什么数据真的好用就相信谁 而且是一个practically的好用 就比如说 [02:03:14] 最本源我是相信真机数据的 但确实我们要承认 真机数据的价格在现在这 个阶段比仿真数据要贵 但是如果你用 就假设你有个budget 你有一个10万美金 你用这个 你用这10万美金收多少真机数据 你用这个10万美金收多少 仿真器数据 可能数字的量是不一样 因为budget是固定的 数字量是不一样 但是另外一方面就是数据的质量 数据的意义 数据 谁能够让你这个模型做得更好 我个人觉得 如果你只有仿真数据的话 你应该不太好做 有一些任务 如果你用真 实数据的话 sim to real gap 我觉得不光sim to real gap 甚至仿真器的场景也很难的 比如说 你要用仿真器做一个叠衣服的仿真 哎 这应 该是依 然是一个半前沿问题 半前沿是因为我现在没有看到一家 能够做得非常好 就是谁在仿真器里面 做好这个训练以后 加一点点真机数据 就能让它表现很好 我觉得现在不在这个地方 但是也有一些人认为 [02:04:15] 这是可以达成的 所以他们在积极推动这种前沿 所以是一个半前沿吧 就是谁 也不清楚会不会两三年里有人做了 哎 真的把它做通了 它可能就是一个非常强有力的 一个输出的一种方法 但现在2026年的快照 你要是想做一些跟软性 柔性衣服 摩擦力 还有这些粘性 就是viscosity 就是这种物理性质非常复杂的东西 你在仿真器里面 其实你可能都 没法搞出这么一个仿真器来 嗯 所以你都没法收这个数据 就是我觉得是要非常强调practically 就是你到底能收到什么样的数据 去思考 而不是只看 我们有1000万个小时的数据 我们怎么怎么样 很有可能 你这1000万小时数据都是garbage 垃圾数据 那就没有什么用的 对于叠衣服这个场景 是不是真机数据更好用 那它是可以采集的 就是你说的体验数据 我觉得现在相对而言 叠衣服最简单粗暴就是采真机数据 甚至包括你看哦 我们都有开源模型的 我们 开源模型 应该是也有一些叠衣服的能力 在里头的 你也可以拿它去做一个数据的起点 [02:05:15] 都是可以的 嗯 但你们要做的是一个通用大脑 而不是这样 实现一个场景任务的 因为场景任务 其实你做强化学习就可以了 然后你通过真实采集真机数据 而且这个场景是相对固定的 是有限的 就是这是一套可行的流程 但它不是全部的 对 但是 如果你的目标是一个通用的大脑 那你需要的就是非常多场景 就是和现实世界交互的 所有的非结构化的数据 是你所需要的 那当你如果需要的是一个这么大量 这么丰富的数据的时候 那你应该bet的是真机数据还 是仿真数据 还是某种混合体 嗯 我觉得大家的目标是一致的 是想做一个能在现实场景中 能在很多不同的场景 中做很多不同的任务 且表现都好的一个智能体 但是要做到这个智能体 真的需要所谓所有的数据吗 尤其有一些数据 它的相关性是需要考证 是需要人去研究的 我觉得这个 希望 [02:06:16] 在一个美好的梦想世界里 肯定是所有数据都有用 所有数据都能有个最适合它的 使用方法 但现在我觉得现状来看 真机数据 目前我觉得是不太可取代的 就尤其是 你肯定能找到一些任务 它不需要真机数据 它就可以做得很好 这肯定是可以找到的 但是因为我们的目标 正是因为我的目标 是要做到所有场景里的所有任务 所以我觉得 目前真机数据还是不可取代的 在场景上 为什么你们做π₀的时候 选择的是叠衣服 叠箱子这三个场景 这个场景很酷 真的 真的 这个场景是具有可泛化性吗 OK 当时像 像 就是泛化性 在π₀这个时间段 更多的是有这个 清理桌面这个任务来承担 因为泛化性的话 清理桌面的这些道具 我们是有几百个 就是随便让他们去收啊 就换各种东西 就是发挥他们自己的 收数据的这些人自己的想象力 去搞一些这个事情 当时我也参与了 负责这边的一些策略的设计 [02:07:17] 其他两个任务的话呢 首先是有泛化性的 因为泛化性 它也不是一个单一的标准 它是有很多不同的细节 其中在叠衣服这个任务上 你看啊 衣服它的状态 是千千万万 对不对 你这个衣服上多了一个折 那边衣服拐了一下 这其实都是一个不同的状态 你收到的状态 不管怎么样 还是一个有限的数字 你没有办法去覆盖所有这些衣服 可能的状态 但你如何保证 你还是能把这个任务完成 其实已经开始需要一些泛化性了 对吧 其次就是你还有不同的衣服 对不对 这是一个红色的 那是一个绿色的 就这些不同的衣服也是一种泛化 甚至包括后期我们在做的π₀.₆里面的更多衣服的叠 就是 里面的这个 更多衣服的叠 开始叠不同种类的衣服 它 这也是另外一条泛化的一个标准 嗯 所以我不认为这些任务没有泛化性 只是他们探索的泛化性 是不一样的一个 因为当时不知道它 能不能做出来这些任务的一个原因 就是因为知道叠衣服 可能会遇到各种各样 你不在数据里的一个情况 [02:08:17] 你说你能不能做好它 你可以这样想 就是前面这个衣服 不管它是什么衣服 我第一步其实都是要摸到它 但是 你怎么能保证你的模型做到这个事 你还是得上去 你看一下 它确实能够去开始叠 你刚刚也说到 每个公司现在评估都是不一样的 作为PI来说 你们的评估是什么样的 哪些指标来评估 你们 确保你们在你们的主航道上 我觉得指标又快又好 肯定是abstractly 抽象的说 就是我们的目标 但是评估要需要一个数字的话 你看π₀.₆里面就提出了throughput 固定时间内的成功的量 我觉得这个 可能跟我现在的思想就比较相符 因为这就是我们提的 嘛 希望你在做任务的时候 考虑到你到底花了多久时间 去完成这个任务 这个任务完成度究竟是好不好 甚至包括其实也有一些更加细分的 就是一个任务的成功和失败的定义 [02:09:17] 是 我们有打磨过 想 因为你一个人在做任务 或者要一个机器人做任务过程中 你是有很多隐含的含义 就 到底怎么样去保证你最后的大模型 能够完全地理解人的意思 我觉得也是一个开放性的 研究的课题 就他做的任务 真的是你想让他做的这个任务 这个π₀.₆里面的throughput 比较好玩的一点 当时 其实是一个是有个目标的 是开项之前是有这个目标 我们的研究员 肯定是比不上我们的数据收集员 在做这个任务上 因为数据收集员他们非常喜欢 非常习惯了用这个机器人 我们就问了 那我们能不能做一个 机器人 比这些数据收集员其实收东西要快 要好 最后我觉得是 在 起码在叠衣服这个任务上 是确实是clearly地达成了 最后这个机器人的表现 是超越了他一开始的人 即使是最好的数据收集员 的起点 嗯 你觉得PI的工作 其他工作还有什么值得讲的吗 因为PI的研究其实是业界 公认做得非常好的 [02:10:18] 我觉得中间有一些研究 也非常的有启发性 我觉得做研究这个事情 其实就是不停地 唉 哎 前浪拍后浪 前浪死在沙滩上 但是你能够打一条浪出来 还是很有启发性 可以为后浪做很多贡献 比如说PI 你看π₀到π₀.₅ 中间是有两篇 我觉得很有意思的工作 放出来的 一篇是这个FAST 他是在研究了 就是从一个大模型 训练的角度上来说 你现在也要去预测一个动作 怎么样表达 这个动作 就是动作 有没有一个很优化的表达空间 所以FAST这篇paper呢 就提出了 我们之前用的这些 扩散模型 diffusion policy 他们的表达是这样的一种表达 但其实他可以去学 一种表达动作的一个方法 发现 如果大模型 在这个空间里做预测的话 它会有一些性能上的提升啊 还有一些方法性的保证啊 所以这种 也是一个非常重要的 一种基础性研究 另外一篇paper 当时是叫做HiRobot 想的是人和机器人的交互 [02:11:22] 人可能会说一个语言 去让机器人去完成 但机器人如果只是一条到头 就彻底端到端的话 很有可能 在一个长达10分钟的任务里 它会有一些迷失 它不知道现在该干什么 所以HiRobot就是第一次开始 非常正式地说 这个应该是一个分层的 就是有一个 比较高层次的policy 它会去把你说的任务 转换成一个更加具体 的 可执行的 更短一些的小任务 再由比较低层次的 执行端 它们俩其实 都是在同一个 模型里 但是给这个模型进行了一个输出的分层 嗯 然后在π₀.₅到π₀.₆ 中间 应该有不少发表 但因为当时我在忙着搞π₀.₆ 可能有一些疏漏的地方 我觉得 现在回头来看 比较有意思的几个发表分别有 Olympics Olympics这个发表呢 是我们公司的一个 内部的一个好玩的活动 [02:12:23] 会不定期的 让研究员和数据收集的员 组成小队 去玩一个奥林匹克 就看谁能够操作机器人 去做一些很难很难搞 想都不敢想的一些任务 因为毕竟是人在操纵嘛 其实这个可以非常大程度地去 推这个boundary 就是推 你现在不说什么大模型 你就让人来操纵 他能够操纵完成什么任务 能不能把你想到的所有任务 都真的完成 因为你人手能完成的话 机器人能不能完成 我觉得这是一个非常好的 一个活动 所以 我们当时就从这个活动里诞生了 就是Olympic这边 paper 也是有专门的负责人去思考 就是如何完成一些 之前别人提出过的 觉得对机器人非常难的 并且在用人操纵 数据完成了以后 再让我们的大模型去做去学习 发现取得了 就是成功的完成了一些 大家之前觉得会非常难的一些动作 嗯 然后还有 你们完成了什么动作 这里面有什么好玩的 我觉得比较好玩 因为我这个人 很喜欢高精度的任务嘛 [02:13:24] 就是拿出一个钥匙 去开这个锁的这种任务 同时也是有一个什么 我觉得有个 开门这个任务 其实我就是刚刚我们在做硬件 的时候 我也是 就是头几个就是去 赶紧去尝试一下 硬件团队能做到什么地步的人 当时我就觉得 开门这玩意真的是太难了 我在那好像搞了20多分钟 我才终于想明白 我怎么样用这个机器人的这个形态 去让它开出这个门来 但是这边他们就可以做了以后 发现 哎 其实首先这个策略是可以优化的 并且这个策略优化过以后 机器人是可以成功的自主 去完成的 这也是一个我觉得 说起来好像也没那么难 但绝对没那么简单的一个任务 嗯 然后π₀.₆到现在的话 我们应该是 正在一系列的发表过程中吧 上次刚刚发了叫做Partner 因为我们希望做成一个 通用的大模型 它是可以在很多不同的场景 和很多不同的机器人上跑的 所以PI [02:14:24] 也是有一些 和其他的机器人公司的合作的 在这个Partner的release中 就谈到了我们和 一家叠衣服的公司 和一家打包的公司的合作 他们跑的其实都是我们训练的 或者说用了我们的东西的 一个大模型 在他们更加贴近商业落地的 一个场景 就你可以看到 我们公司自己 目前没有很多商业落地的 想法 但是 其实有在帮助其他 已经在商业落地的机器人公司 去做他们的事情 也是 在变相推动我们的研究的前沿 前进 并且我确实认同 这个partner的方法是有 在 就触碰了一些机器人的本质问题吧 你看从我们开始 搞机器人研究的那个时代 哇 你干啥事都是你要知道找谁 而且他会懂 你才能开始做 就是你 你写个软件 现在是分分钟的事情 你上网问一下 ChatGPT然后可能这个AI Agent 或者Claude就会帮你写 [02:15:24] 很多东西 你作为一个开发者 作为一个研究员 你有很多的已经做好的事情 可以供你驱使 而机器人之前 我觉得不管是硬件的造 还是软件 想让它做 一个差不多像模像样的东西 都是非常复杂的 我们可能是希望 在以后 你这个人 买了一个机器人的一个硬件 的一个乐高玩具 拼装以后 你可以直接插入我们大模型 它就可以做很多事情了 希望把从机器人从零开始 做到第一个sign 中间时间给缩短 我有一个问题啊 因为你提到 你们的硬件有很多的partner 并不是说硬件有很多partner 而是我们公司和其他公司 有一些partner的合作 嗯 那 你们自己会做硬件吗 你们做的有多深啊 这个有一些内容不太方便透露 但是 我们在π₀.₆中使用的硬件 其实是我们自己弄的一个硬件 它有优化一些 不管是稳定性啊 [02:16:25] 还是方便任务 比如说其实你看啊 大家现在批评夹爪 批评这个简单手 机器人 就会说了 这个简单的手 你抓杯子 你不会把杯子抓破了吗 但我们为了做这个咖啡机 我们就把我们做的这个机器人 它是一个可换的 带一点可换的这种夹爪 就为了做咖啡 你是需要一个另外一个夹爪 它其实成本都不高 换起来也很简单 但是你是有这种研发以后 你才会感觉到 什么是一个比较本源的问题 什么是一个 其实很简单就可以解决的问题 嗯 因为我问这个问题是 我知道有的机器人公司 他们为了 做一个更通用的机器人 他会让他的硬件 为了软件优化70%到80% 硬件会一直在为软件去做优化 你们会这样做吗 我觉得硬件与其说是为软件优化 不如说是为最后的任务 和表现和能做什么在优化 嗯 我觉得这个应该大家都在做吧 因为确实 市面上没有一个已经定型的 [02:17:27] 结束了的硬件的形态 可以停止这种优化 因此我觉得 大家应该 都在不停地去干这件事情 嗯 有人说PI在机器人领域 其实就是想要对标OpenAI 在大语言模型领域 如果这样对比的话 π现在发表到了π₀.₆ 你觉得它能对标GPT几啊 这个问题好难回答哦 因为我确实认同 我觉得PI的一部分的goal 是成为一个robotics界的OpenAI 成为一个通用大模型的创造者 嗯 至于我们现在大模型发展到哪里了 我觉得你知道就你每天在这看 你就看到都是些不好的东西 我每天看的都是说 这个表现没有很完美 那个表现也不行 我们要怎么把它改得更好 这个是我比较 每天日常里会想的东西 或者说就是本源的想一些 就是这个模型 是不是还有一些大的 变革才能达到我真正想要的一个效果 所以我觉得我们还没有到 嗯但我觉得我们 [02:18:27] 但我觉得我们在靠近了 你觉得什么时候能到GPT 1 我觉得其实因为起点不一样 就是NLP的起点 我在2017年刚读博的时候 就短暂的做过一阵子NLP 哎呦 当时可好笑了 你知道吗 我当时在想说 这个自然语言生成 感觉不太行呀 我 这么训练出来的东西 天天就在那 就教它写莎士比亚嘛 它就天天在那 啧啧啧 因为这是一个概率学上最容易predict 最容易预测的单词 它还不停地预测这个单词 就天天就跟我说啧啧啧 我说这没用啊 这不行 然后人家看 跟我说他们在用强化学习 做这个大语言模型 我就说强化学习也很难搞的 你把特别难搞的A 和特别难搞的B合到一起 你这能做成功吗 完全不弄 完全不懂啊 到了19年 20年 别人就做成功了 就说这个 你看做的多好 嗯 当时就能够感觉到问题 是有一些不一样的吧 当时我从自然语言转换到了机器人 觉得第一 自然语言里面 [02:19:28] 你可以生成很多文字 你怎么给这个文字打分 怎么知道什么是你想要的文字 很难 所以 当时觉得自然语言做强化学习 会很难 就是因为觉得这个打分 太含糊了 不是那么的清晰 当然后来有很多 随着更多的数据集的出现啊 他们也不断地建立了新的标杆 所以他们这个标准 可能会有那么一阵子 逐渐变得清晰的过程 另外一方面 是觉得当时做机器人好玩 因为机器人可以做很多task 很多任务 这个任务都是你可以 拍脑袋想一个新的任务 然后让他做 我觉得这个乐趣是 机器人里面一个非常tricky的点 因为自然语言 很多时候 你可以用语言去描述 你想让他做的这个任务 对吧 你可以说 我今天有个问题给你 我想你给我写这个代码 你可以不断地去补充 就自然语言跟智能体交流 你想它做的事情是什么事情 是一个非常天然的一种交互方式 而机器人其 实我觉得在 这个VLA model出现之前 就没有很天然的这种方式 [02:20:28] 即使现在VLA model出现了 我们也是在探索 就是为什么 我是一开始 完全没有用过VLA model 然后现在 其实反而是有一点欣赏VLA model 就是因为 如果我跟这些Claude Agent 提的很多要求 都是用语言来表述的 那我是不是 我跟机器人 也可以通过语言来提这个要求 嗯 然后这个语言的要求就会影响到 你 嗯 在没有那么多数据情况下 你可以完成一个具体任务 其实这是机器人的一个优势 我觉得在自然语言界 没有那么多数据情况下 完成一个具体自然语言任务 其实有点难的 我们现在就相当于是 在数据量 与对方业界 完全无法比拟的情况下 其实你已经做了很多东西出来了 所以 我觉得这是一个非常有意思的点 嗯 如果我们往后推演一步 你看今天的大模型发展 这些模型公司慢慢都变成应用公司 因为大家发现模型是商品化的 它会慢慢地统一和同质化 所以最后大家 构筑商业化的不同和护城河 都是通过一个不一样的应用 来进行选择 我觉得如果放到机器人这个领域来 是不是 [02:21:28] 今天你们出发可能是一个通用大脑 但慢慢 可能也会做成不一样的产品形态 每个公司 的产品形态是不一样的 我觉得也许会 我觉得 大模型现在是依然有很多的竞争 在竞争中刺激了很多的研发 刺激了大家对一个更好 大模型的追求 我不太确定 就是像OpenAI的 这个产品 难道就不能拿来做写代码了吗 以前也是可以的 我不知道他们现在研发到哪一步 或者怎么样 只是最近可能大家都是在用Claude Code 这么一个AI工具做代码 但是他们 因为都是 一个多功能的大模型 我觉得没有任何事情告诉我是 他们根本上做不了这个东西 只是你说的这种 就是产品形态开始发生了一些分歧 分化 嗯 我觉得也许是可能的 但也许一种可能的形态就是 有一些人是专门做大脑 还有一些人 他们专门就是对这个场景的商业化 和为了这个场景的商业化 所做的很多事情 甚至他们最后 [02:22:28] 也可以插入别的公司的大脑 我觉得这是一种可能存在的形态 你觉得机器人会出现一个 独立于大语言模型的 独立的大脑吗 因为今天的据我所知 大部分的团队还是在基于一个 多模态模型上去做后训练 做一个机器人大脑 你觉得一个独立的大脑 就是说 要专门地为机器人大脑去做预训练 中训练 后训练 它是一个自闭环的完整体系吗 我觉得是有可能的 但同时可能也有一派人的认为是说 所有这些东西 都可以归到一个模型吧 而且这个模型还没有被创造出来 我觉得从这个角度上来说 确实就是 如果有一天有这么一个模型 它能拿到所有的 我们能想得到的模态 和做这些自动化上的必要的任务 不管是语言沟通 图像编辑 视频生成 或者说机器人的操控 它也可以是一种可能性 那个时候也许机器人也在训练里了 [02:23:28] 从你们内部看 现在看到scaling law的迹象了没有 嗯 我觉得scaling law是一个非常tricky 的话题 因为scaling也有很多 就像泛化有很多不同的衡量标准 也好 scaling也有很多不同的衡量标准 就是每次当我看到有一些 over simplify 过度简化 的陈述的时候 我都是会有一点觉得不够太细节 比如说scaling 你看在π₀.₅里面 做的 你在10个房子里面收的数据 你到第11个房子里面 你能跑起来不 你的表现是在哪里 比起你收了100个房子以后 你再到这个房子里来 是不是有一些长进 那你再收1000个房子 会 不会其实提升就没有那么大 我觉得这可以看作是 scaling law的一种探索方法吧 我们要收多少个房子 才能够在下一个新房子里 取得一定的成果 同时你收过多少个房子以后 这个新成果可能就不能 就是提升就没有那么明显了 我觉得这个在π₀.₅给我感觉是 它确实是可能可以摸得到的 [02:24:28] 一个有限数据可以达到的地方 嗯 但是 我觉得我们现在数据量还是太少了 肯定还是要再激进一些 我觉得会好玩 嗯 你们算力够吗 算力多吗 我觉得 算力够不够 是看你们这人喜不喜欢干活 你们这人都特别喜欢干活的话 算力永远不够 永远都可以有新的想法 想要跑新的实验和创新的模型 你们那人卷不卷 我觉得大家 你从一个工作 时长的角度上来看的话 是很多 但其实 这并不是他强行要求 你在公司要待到什么点 而是还相对而言 比较自发的 就是 今天在公司吃完晚饭 哎 又 跟这个人开始讨论起了一个 什么话题 就想往下再走一走 再看一看 所以有的时候 大家可能工作还是挺长时间的 在那 甚至包括周末也有不少人会去公司 也是相对而言比较自发性的 就是觉得 哎 下周想出这么一个结果 那今天就把实验跑好 或者说就是突然来了一个想法 那就深夜聊天呗 聊 你们好像都是没有加班工资的 对吧 [02:25:28] 没有啊 你们一般早几晚几 你的typical day是什么样的呀 作为一个PI的研究员 每个人都不一样 其实 甚至包括有些人他们住在南湾 要来旧金山这个城里 他们每天来回开的时间 可能就三个小时的车 像我的话 我是比较夜猫子 所以我基本上白天我就算起了 我可能不会在公司 我在家里 先工作一段时间 给自己一个洞穴的时间 差不多是中午过去 到了晚上 我要是兴致来了 可以干到非常晚 可能会干到晚上两三点啊 这种 才回家 一般是一两点回家 洗了洗 在睡前再干一会 对 你们都不用打卡 对 吧 我们没有打卡这个东西 对 甚至有些人他可能家里有些事情 啊 比如说 其实这边有研究员 他们正在生小孩 他们就在家里 就是可以直接待很久 但大家也会 就他也会 有 就是继续他的工作 就是相对而言 是一种比较自由的氛围 让你决定 [02:26:28] 什么样的工作方式是最适合 你的 同时公司 也可能 希望就是大家变成了一个团队 以后 可以拧到一起发挥作用 那你们会有例会这种吗 最早是有的 就刚刚来公司的时候 这个例会给我这个夜猫子带来了 非常大的困扰 因为例会是每天早上10点钟到公司 大家轮流说一句话 自己在干什么 因为当时公司只有20个人 但是当时我就跟CEO说 怎么10点这么早啊 我们能不能改到下午 他就很震惊的看着我说 他们最早是8点 后面推到了9点 推到了10点 怎么我还嫌10点也早 哈哈哈 对 然后呢 后来的话 随着公司我觉得人数增加 就管理方法可能是需要改变 所以现在的话就没有这种 就是每天都有例会 只是有一些研究的会啊 和每个课题自己组织的一些会 现在多少人了 现在我的体感可能是大概70个人吧 体感 体感 因为我也没有 就天天在那数我们公司有多少人 [02:27:28] 你们有几层楼啊 哎 我们现在还在 我们最初的那栋楼里待着 这栋楼我觉得真的是 第一它是非常有创业氛围的 这栋楼它比较的朴素 本来 我们来了以后 就把所有的硬件软件啊 都带进来了 但是另外一方面 就现在人实在有点太多了 这个楼里真的有点坐不下 我们 这东西可以播吗 我们的会议室里面 有一个二氧化碳检测器 这个二氧化碳检测器 在这个会议室里面人 超过大概三四个人以后 有的时候就会突然一下 跳成红色警戒 我们这个时候就没办法 就会把这个门打开 然后接着干 你可以说明 该换办公室了 哎 确实非 大家都非常期待 能不能换到一个新的办公室 但在旧金山 在创业氛围如此浓厚 的情况下 没时间 我觉得 挺难 找到一个非常适合我们这样公司的 一个办公室 因为我们也有一些硬件的 元素 我们有自己的 办公室里是有机器人的 你还有一些什么用电用网的一些需求 就是找到一个非常合适的地方 没有那么简单 你们的组织和文化是什么样的 [02:28:29] 呀 我觉得现在还没有一个章程 去非常详细地规定它 但是可以看到 公司现在发展了快有两年了 它是有一些自发性的 一些文化的因素在里面的 它整体而言 我虽然也没有在其他创业公司待过 但感觉 这个 应该就是我想象中的创业氛围了吧 你看这个 大家都比较踊跃地 去做一些自己觉得非常重要的事情 同时 嗯 尽可能的 毕竟创业嘛 你们都是有一些股份 也是有一些stake 在这个公司里面 你是希望公司变得很好 即使有的时候不是你的 范围内的事 你也会去想 要去做好 同时我们公司比较特殊的 因为是比较开放的研究氛围 所以是 我和另外一个人 会组织一下读书会啊 和一些交流会啊 读书会 就 嗯 比如说我们现在想做一个项目 哎 比如说这个 π₀.₆ 其实是去过两次这个读书会的 就首先一次 就是给大家讲一讲 [02:29:29] 我们现在想要探索这个问题 这个问题以前的人的发表和东西 都做到什么地步了 我们觉得它的应用 就是会有一两个人主讲 其他人可以问问题啊 或者会甚至质疑啊 都是可以的 看怎么样能让大家尽量地 在这个课题上感到同样的激情 同时有几个人主要去负责去做 做到后面快成熟之前 其实又上了一次读书会 给大家交流一下 现在做这个地步了 你们觉得怎么样 有一些比较天马行空的读书会 比如说Claude Agent出来了 就疯狂地在读书会里面说 到底谁是我们公司 最能用Claude Agent的人 赶紧让他上台讲一讲 就怎么用 然后大家就可以抄他的作业 就是这种 能抄到什么 抄到什么 能抄到什么 抄到什么 就是我确实在 我当时正在埋头干一些别的事情 就没有怎么关注到 他们跟我们介绍了一下 他们怎么用这个Claude Agent 我都听完以后 哇 惊了 我就说哇 这个确实是生产力的飞跃式进步 就这大概最近两周 我就是把自己的 整个工作的这套流程 都改了一下 就觉得哇 现在跟一年前 [02:30:30] 也完全不一样的一种工作思路了 能工作到你之前工作的多少倍呀 你的一天的工作量 我觉得效果上来说 嗯 我觉得应该有个三四倍吧 但是研究嘛 就是一个不停地打一枪 看看这个子弹落在了哪里 调整这个子弹 嗯 我觉得不是你疯狂地打枪 就能够打中什么东西 还是需要一些人的input 你们CEO的管理方式是什么样的呀 CEO的话是Karol Hausman 他是 他其实在公司主管的方向 并不是那么的侧重研究 因为研究方面的事情 更多是由Sergey和Chelsea来负责 所以我和他打的交道并没有那么多 他管了一些公司的基础架构 你可以认为就是我们公司里面 有很大的一部分工作是研究 但也有很大一部分工作是 如何保障这个研究能够高效 快速地进行下去 Karol是 有很多负责在这个方面上 他就是Sam Altman那个角色 类似于 可能也会未来会做一些商业化 [02:31:32] 如果需要的话 他们怎么想的 其实我在2024年 就是刚刚他们开创了以后 就是说要不要去聊聊 我就问他们 你们现在做人形吗 你们现在要做什么 商业化吗 嗯 我当时 都是no是吧 感受到的氛围就是 确实我们不做人形 因为他们要说做人形 我就不来了 你知道吧 哦 为什么 是很担心 就是不同背景的人去做人形的 比如说现在人形公司的 哦 做人形你就不来了 神奇啊 因为我觉得 人形是一个非常值得研究的问题 但绝对不是我现在最想研究的问题 为什么 如果他们做人形 我就会担心 他们的研究重心就变成了 如何做一个更好的人形机器人 而我的研究 重心就是做更好的任务 我个人是非常相信不 需要人形就能做出很好的任务的 而且不需要人形 就能从PI的角度出发 更快地做出来 比如说你看现在叠衣服什么的 都是我们先做好了 叠衣服和叠盒子啊 还包括现在做咖啡啊 都是你先做好了 他不需要人形他就可以做 而且我觉得有更多非常多的任务 [02:32:33] 都是可以 就无穷无尽的任务 等着我去做呢 我要是把时间和精力都花在了 就是 怎么样让人形机器人协同跑得更好上来 说 它不是我这个人的工作重点 就我觉得这是一个taste的问题 那如果让任务更通用 你未来的硬件是多样化的吗 还是它可以统一到一个硬件上 我觉得也可能是 我觉得 现在我们作为一家通用大模型公司 比较考究的 其实就是 它在不同的机械上的表现 它在不同的具身上的表现 就是你不追求未来的世界 所谓的机器人 就是人形机器人那种统一的美感 对吗 你觉得它随便都可以 我这个人最喜欢的其实是宠物机器人 我有一个朋友 他说他要创业创这个宠物机器人 我一听可来劲了 就恨不得 哎 要不是因为现在做的事情 也是很想做的事情 我还不如加入他呢 因为我就会觉得 就每个人在机器人这个领域里面 都是有非常多纷杂的线的 挑一条 我宠物机器人 宠物机器人 你想做哪个 哪种宠物啊 什么宠物都想做 宠物实在是太可爱了 [02:33:34] 我觉得这是人文的情绪价值嘛 就大家活在这个世界上的一些意义 我觉得陪伴是一个方向 嗯 哎 说了很久 PI啊 你当时为什么加入PI啊 当时也是好凑巧啊 因为我其实整个博士期间 一直坚定地以为我要想去当教授 但是一直很害怕当教授 因为教授要写好多 什么funding proposal 就是基金申请 我一听到这个funding proposal 我就觉得 哎呀 我想解决问题 我不想搞这些事情 可能 这也是我的 还需要修炼的一个部分 但是当时ChatGPT横空出世 我就一拍大腿决定 稳了 我现在可以去当 教授了 我不怕了 我让ChatGPT帮我写这些 资金申请就可以了 嗯 但是 在我其实经历了一整轮的教职面试 中间就有一些感触 很有意思啊 因为我之前的研究 其实没有很多大模型 我虽然做了很多机器学习 包括各种机器学习方法的研究 但我用的模型都比较小 这个跟我们实验室的氛围 [02:34:34] 和我们当时能拿到的计算资源 也是有一定的关系 就大家可能说 把这个任务做到就好 不要想太多 就是其他的事情 就当时注重的点 没有那么多大模型 在教职申请的过程中 我也是以一个 更加偏向传统的故事 在市场上找这个教职 然后能越来越感受到 大家对于这个大模型的热情 就包括我自己 其实也是有非常大的好奇心 然后又因为非常巧合的 就是Sergey 他有一个学生Abhishek 他 毕业以后来到了华大 就是我就读的学校 并且成为了我的小老板 哦 因为我们华大以前没有一个真 正意义上 专门做Robotic learning for manipulation 这个话题的人 Abhishek一来以后 我就说 哎呀 我做的跟你做方向好近啊 我们一定要天天交流 我们就天天交流 顺便就成为了 也算是半个他的学生嘛 可以 一方面 就是 他也会用funding来支持我的项目 另外一方面 我们的 我觉得我们的合作挺紧密 有很多相似的想法 跟我 跟我老板的交流完全不一样 老板更多的是像一个 [02:35:35] 干这种 对抗网络里面的一个critique 他就说了 你现在生成了这个东西 但是你要达到更好这个标准才行 而Abhishek跟我的合作方式的话 就更加的是我们俩 我有这个想法 我也有这个想法 我们把这个想法揉一揉 不行 再再生出了三四个 又有了新想法 哪种方式对研究更好啊 我觉得都有是最好的 我真的是黑猫白猫 抓到老鼠就是好猫 因为我觉得和我自己的导师 那么多年的合作 让我有一种求真 的 非常强 烈的求证 包括大家在 就我 我在 看别人的paper 看别人发表的时候 也是会经常比较喜欢 打破砂锅问到底的那种 甚至有时候我就自己做一遍 看看是什么样子的 而Abhishek 给我一种非常跳脱的 创造力吧 就是确实之前想的时候 很多时候 我一个人想 在洞穴里面待了一阵子 但是如果要真的做成 我们得退一步 思考 到底发生什么事情 去比较漫无目的地去慢想 我觉得这两者结合是很好的 但是 因为当时Abhishek是Sergey的学生 Sergey在联创的时候 [02:36:36] Abhishek可能就跟他说了 就是有这么一个人 他要毕业了 他是做这个的 Sergey就说可以去聊聊 我本来也没想去聊聊 因为我听说了他要去创业 我说这好像跟我没什么关系 但后来又转念一想 觉得Sergey 他毕竟是一个学术界里 非常有影响力的教授 我去听一听 跟他第一次就是真的面对面 要去深入地去交流一下 他到底在想什么 也挺好的 当时就是去朋友家玩 在湾区玩的路上 顺便去PI 当时他们刚创立一周内吧 我就去那边坐了一下 看了一下 我不知道那是 那是个面试 他们没有人跟我说这是个面试 我就很 就有一种哈 有这个人在这做这个 挺有意思的 你们在做什么呀 他们后来给我的反馈是 他们是 我觉得 他们 面试我的过程中 感受到了莫大的阻力 因为我不停地在问他们 你们在干什么 他们 哦 你是这样的 是这样吗 对 可能也是一种求知吧 所以当时我就特别好奇 我说 嗯 你们在做这个 这个意见 这个任务 [02:37:36] 是怎么想的呀 我来多了解一下 他们他们想的是 我是来找你来面试的 应该是我来问你们 怎么变成了你面我们 但当时就 聊完了一下以后 觉得 没有接触之前肯定 是有很多猜想 但没有一个能确定 聊过了以后 觉得 哎 这帮人还是挺求真的 我觉得学术界有很多发表 有的时候会让我这个实用主义派觉得有 一些无奈吧 比如说你要做一个问题 想把它做得更好 你会说 之前做不更好的一个原因 是这个原因 所以我们就出了这个问题 有的时候它逻辑不一定那么通顺 就是你不一定认为 这个原因 为了自圆其说 有的paper是有一点这个感觉的 当然也可能只是大家的想法不同 但是我肯定是希望找一个 和我的想法比较贴切的 我觉得当时和PI的人交流 我 觉得大家还是非常求真 所以就他们就给了一个offer 我也很莫名其妙 我就觉得确实挺好的 非常感谢 但是我还是在找教职 呵呵呵 offer有吸引力吗 [02:38:37] 我觉得是一个机会吧 我觉得 offer具体的内容并不是最重要的 对当时的我来说 这个offer代表的是 我能和一个已经 曾经 做过非常多成功工作的一个团队 他们里面每个人和我交通 都非常 和 我的 交流沟通都挺愉快的 和他们去共事 到达一个新的平台 可以做很多不同的事情 这个才是offer我觉得最重要的部分 所以当时去了找教职的最后 就突然有些顿悟了吧 觉得我还得想一下 自己究竟想做什么样的研究 就之前的 我可能会觉得时机没有到 我应该先到一个地方去仔细地思考 带一些学生 我非常期待 将来有一天 也许真的会学术界带一帮 和我们这些人想的完全不一样的人 我觉得这个是最值得期待的 一种发展和演化吧 但是我没想到就是这波来的还挺快的 就他已经让我感觉到 我得知道 我们现在的这一个新的这种前沿 能做到哪里 在做什么 我能怎么样去做它 所以当时就是比较突然的 [02:39:37] 就在毕业的时候 辞掉了这个教职的offer 就转身加入了PI 是一个非常偶然的决定 可以这么说 我当时 我当时在毕业Thesis Defense结课的时候 我老板都跟所有人宣布 啊 他要去当教授啦 巴拉巴拉巴拉 哈哈哈 你找到教职了 是吧 对对 我当时 其实非常想去剑桥教职 嗯拿到了 拿到了剑桥的教职 包括我自己也 是心里非常感谢 我觉得剑桥的人文的属性 和我个性非常的贴合 我觉得在那里就可以又做研究 又写小说 在这里的话 写小说就是 哎 晚上睡不着觉 写两笔吧 哈哈哈 哦 那这个很有意思 你为什么在最后一刻辞掉了剑桥 来了PI 这个和学术界的运作方式 和工业界的运作方式 或多或少有一些关系 我在学术界 我觉得有一个比较大的问题 其实是你是学生 来来走走 美国的学术界大概是五年 其实英国更短 三年 [02:40:37] 我当时就会想说 一个学生来 如果我想给他一个放手去做 做一些比较开创性的工作 三年 他够不够 因为我当时你可以看到 我是一个半道出家的博士生呀 我不像现在很多 非常优秀的本科生 他们本科就做了非常多相关的研究 他们开始读博士的时候 我觉得都已经非常了解自己的行业 我觉得如果我要去招学生的话 我会非常喜欢这种学生 但我也可能也会喜欢一些 就是敢于抛弃自己之前做的东西 去探索一个新的东西的学生 而只给他三年 只给他五年 甚至是不是会时间不够 一个学生来了 做了一个项目以后再走 可能你一个东西开了个头 我觉得这个 这种模式在现在这个环境下 可能确实不一定能做到 我想做的一个东西 同时呢 在工业界做的话 会有更多的 不管是算力 数据还有硬件的支持 你可以看到机器人 它是一个非常多元化的 比如说我做的时候 我做了 其实我PhD整整读了七年 第一年 第二年 你可以认为 砍掉的话 [02:41:38] 跟我后面做的事情也没什么关系 但确实我觉得对我后面做的事情有帮助 我开始搞真机 就搞真机这个事情就很麻烦 我从开始想搭机器人 到这个机器人差不多能动 大概三个月的时候 是第一次 机器人差不多整体都跑通了 六个月 才真正把遥操纵这个玩意 给全部定下来 都是我一个人做的 很慢 在后续的做的活的过程中 肯定也有不可避免的 因为是个全栈嘛 这个栈 哪里坏了 你得自己上 在 学术界 这种相对而言更加单打独斗 需要比较大东西的东西 你就做不了 所以我觉得 这个是PI 当时对我最大的吸引力 就是 我其实没有真的在一个大公司的 齐心协力的合作下去做 而我也确实承认 我觉得这是必要的 说到博士 我突然在想 博士是越快毕业越好吗 你看我读了七年 你问我这个问题 呵呵呵 就是你说到七年 我在想这个问题 因为有人可能从第一天就会想 我要几年毕业 [02:42:38] 我觉得跟性格有很大的关系吧 我认识很快毕业的 也认识像我这样 我们华大的记录是九年 我刚进校第一天 我就认识了 这个在学校待了八年的人 他是第九年毕业的 但是我觉得和自己生活状态有关系 我在读博求学期间做的很多项目 我都非常喜欢 所以没有觉得时间过得很慢 你没有很焦虑 就为了毕业很焦虑 没有为毕业很焦虑 也没有觉得 就是我没有毕业 是个什么样的一个事情 就是 可能更多的是比较纯粹地去想 说我现在做了一个问题 上一个问题我学到了什么 下一个问题我想做什么 是一个很连贯 很快乐的一个过程 同时 当时博士期间单打独斗的项目 有个好 就是你想休息了就可以休息 不想想干了就可以干 就你可以卷到半夜 我就超级夜猫子 我当时就是 一般是中午下午开始干活 然后干到晚上四五点 因为可以免费停车 干完了 还能去一个24小时营业的炸鸡店 吃两口炸鸡 就非常快乐一种生活 同时也可以 [02:43:38] 就是觉得最近好像做了一个角 度非常深入 但是思维很迷茫 我们去休息一下 我有一两个项目 其实都是我在圣诞节度假 就突然有一天突然灵光一现 就觉得要做这个了 就有很大的自由度 而我见到的很多三年 四年就毕业的博士生 他们确实可能比刚进校的 我来说的话 要非常更加明确自己要想要做什么 我的话更多的是尝试换 一直到最近 可以说 我的职业才真正的有一些稳定下来 嗯 你觉得在PI工作 和在Google工作的区别可 能会是什么样 他们都在做机器人大脑 而PI的人当然也是从Google出去的 我没有在Google的研究部门工作过 我在那边做过软件的实习 当时我还是一个本科生嘛 去了Google以后就觉得非常快乐 因为Google就像是一堆软件工程师 为自己所搭的一个乐园 我是在Google那边开始 第一次学怎么写TensorFlow 和 大规模的一些神经网络的训练 因为之前都是手搓 [02:44:38] 就是你会从头开始写 一个什么CNN怎么怎么反推的 你会从头到尾都自己写 然到了Google才发现 哦 有这个别人做好的一个库 我就调用这个库就行了 哇 这么方便吗 我赶紧学一下怎么弄的 嗯 所以我相信 Google是有一个工程师的 这种基因在里面 让我当时的我对它就非常的喜欢 我觉得现在它还有体现 就是比如说他们做的研究 他们做的多模态 他们做的这种TPU 这种架构 都是有着一种工程师的优化的 思想在里面 而在PI的话 说到底它是一个创业公司 我可以非常轻松地跟我想聊的人 开始聊天 可以move fast 可能你昨天有个想法 今天说一说 明天就变成了一个项目 还有包括π₀.₆ 它的中间有一段 就是突然一下非常大的转变 就是我们说我们要收eval data了 我们现在收的这个评测 data的量是这个量 但是 如果我们想要达到我们想要的地方 可能需要这个量 怎么样很快地给它排查 达到这个效果 我觉得这个可能是我们比Google 我想象中要做得快很多的地方 [02:45:38] 嗯 你说你现在的研究方向稳定下来 就是稳定到了强化学习 不一定是强化学习 而是做机器人 并且想怎么把机器人做得更好 嗯 而且是一个比较通用语境下的更好 这个是比较稳定的方向 强化学习 只是这个阶段的一种研究的重心 但我不觉得 它是一个 定义你研究生涯的一个东西 你觉得强化学习对于机器人来说 意味着什么 它解决的是本质的问 题吗 我觉得强化学习 是一个非常本质的一类问题 也就是说 一个人如何通过体验变得更好 这个问题 从所有传统教科书上来说 解释强化学习 其实就是解释这个巴甫洛夫的狗 哎 这个狗它做了一个事情 你就给它一个奖励 它从此就知道这个事情是个好事情 我要多做 就是通过这种奖励和惩罚的方式 去让一个智能体 做一个对你来说更好的一个动作 但强化学习呢 它 在算法上来说 我觉得是有一些东西 我包括每天都会 就感觉它跟我这个人进化 [02:46:39] 就是人的自我的提升 和强化学习是有很多关系的 就不管 你是从一个非常具体的一个动作 比如说你是一个 就想象中啊 你是一个想要学习攀岩 或者游泳的一个人 你怎么样做得更好 你就是不断地去做这件事情 我觉得这个追求极致 是强化学习 一个非常强烈的因素 就是不停地去练 同时呢 强化学习 其实还有一个很重要的部分 是探索 探索我觉得它是可大可小的 可能是说 我这个肌肉细微地往左移一下 我的表现 打网球的表现会更好 这是一种探索 也可以说是我现在做的这个研究 我想怎么把这个机器人做好 我现在探索的是一个方向 我也可能将来会换一个方向 它也是一种探索 嗯 我觉得它是不光是一个具体问题 具体场景 其实也是一个 通向通用的一条路 比如说现在我觉得大语言模型里面 应该有不少人都在使用强化学习 来帮助提升 他们的大语言模型 其实也是 有一个大语言模型的基础上 让他不停地去试 去看 [02:47:40] 去给反馈 如何从这个反馈中 得到更进一步的提高 是一个恒久的命题吧 同时我觉得强化学习 具体的技术也有很多 也有很多是可以讲的部分 如果你有兴趣 我们也可以多深入一下 我觉得强化学习是有几个模块的 就是每一个强化学习系统 都是把这些模块拼起来 其中一个模块可能就是 探索模块 嗯 就是如果你想要做一件更好的事情 你得做一些你 以前没做的事情 你怎么样 选一个更有可能成功的事情 去探索 是探索模块 我觉得这个方面 其实咱们现在做的不是特别多 但它是一个永恒的命题 就是你是选一个小的改动 还是大的改动 包括你怎么改动 都是一个算法需要 我觉得在最后的大模形态里面 它其实应该对于探索 是有一个非常清晰的想法 现在的大模型 可能还不具备 这样一个非常主动地 去探索的一个能力 因为探索直接就影响到了 如果你选的好 你研究路线选的好 [02:48:40] 你可能做了这一个研究 就已经有很多好的事情发生 如果你这个研究 很不幸的就是选到了一些 比较难搞的一些东西 那你就要做很多 他就极度地影响到了 你学习和进步的效率问题 所以是探索问题 第二个 我觉得强化学习比较有意思的问题 就是归因 可能 你要让你们家宠物做一个什么好事 可能它做了一系列的事情 你最后给了它一个奖赏 它其实是需要知道 到底哪个事情是 这一次 得到好奖赏的一个决定性因素 这个也是 我觉得π₀.₆是有一些探索的 就是 你收集了这么多的部署的数据 究竟哪一条部署数据 里面的哪一个步骤 你做的好 让你整条数据 得到了一个关键性的一个奖赏 你可以看到在π₀.₆里面 我们可能比较强调了 这个speed和quality 所以从智能体的角度上来看 他做了很多事 做了 做了做了 不停地做了这么多次 我们设计这个算法 [02:49:42] 帮助他从这么多次的经验中找到 这条数据里面 其他都是垃圾 但这个地方是精华 你以后多做这个精华 所以这个归因 我觉得是强化学习的一个 就像人的这种总结反思一样 是一种可以长期持有的能力 就不管是在微观上 这一步骤再做改一下就会更好 还是宏观上来说 有这么一些策略 其实这个策略是最好的 嗯 然后同时强化学习也有着 呃 我觉得有一个本源性问题是我们 其实教科书上不怎么讲的 就是这个问题的定义 你可以看到在这个大语言模型里面 你要什么问题 你一般都用口述 给他抛出了一个问题 可以说你的这个问题涵盖了很多 他需要知道 就是他 的这个问题就定义了他的任务 而在机器人界 目前还没有这种清晰的一个联系 包括VLA模型 也只是开了一个头 说我想让你叠衣服 其实你可以千千万万 不同一种方式叠衣服 对不对 你怎么知道 他要你叠衣服 到底是要叠成什么样子 在课本里 [02:50:43] 强化学习是要用一个奖励函数 去抓住这个东西 可能这个奖励函数就设计成了一个 哎 如果你真的按照他的意思叠了 他就给你一个很高的奖赏 就给你一块肉 奖励你这个狗狗做得好 如果你做得不好 他就会给你一个惩罚 但实际上设计 实用的来说 设计这个奖励函数是非常难的 因为之前有人做过很多 就是在模拟器里做强化学习 比如说 用强化学习去打这个超级马里奥 你有一个分数 对不对 你就优化这个分数就好了嘛 这是一个现成的奖励函数 但实际上即使是这样的情况下 他有可能会 我们abuse就滥用这个奖励 他就发现了 有一个bug 就超级马里奥一个bug 有了这个bug以后 强化学习就发现了 就疯狂地做这个bug 他就会跳起这个小人 然后直接通关了所有的关卡 并且触发奖励函数达到最大值 诶 我把奖励函数给你优化出来了 你有什么可说的 我已经做到你想要我做的事情了 但实际上 这个奖励函数一开始设计的就不对 所以我觉得 强化学习的一个工作目标吧 也是一个很重要的事情 其实就是把人想让他做的事情 和机器能够理解的奖励函数 [02:51:44] 紧密地结合在一起 同时 也希望这样一个设计是可以泛化 可以鲁棒的 谭捷（Google DeepMind研究科学家 机器人团队负责人）也提到强化学习需要 奖励信号 但是很难写奖励函数 这个你们有什么发现吗 怎么能给一个任务写清晰的 奖励函数 我觉得 在我看来 它不是一个写奖励函数的问题 而是向智能体传达 你让它做什么的问题 奖励函数 可能更多的是一种表现方式 比如说你看现在NLP 他们之前应该也有是有人探索过 就怎么给他写一个价值函数 就 做了这个好 就是更高的分 做了那个不好 就是更低的分 但其实有一段时间 在自然语言中的强化学习 最有用的东西 就是可验证的一个任务 这个可验证的任务 是可以独立于一个 所谓奖励函数存在的 它就是一个要你写编程 你这个编程能跑 能跑的话 它就是非常确定地知道它是好 我觉得是 传递好坏不一定需要奖励函数 而且我相信 就传递好坏的这个任务的话 是需要一些人的common sense 先验知识啊 [02:52:45] 或者说通用知识啊 同时也是一个 我觉得是一个非常flexible问题吧 我个人比较相信 就是 好的奖励函数是可以因地制宜的 它也不一定是 一个奖励函数的形式 在存在 更多的就是 你给了这个模型的信息和表达 去让它理解 嗯 诶 我前两天聊了一个嘉宾 她（洪乐潼）是做AI for Math 他们核心想优化的就是 模型的可验证性 这个会不会对 我觉得是 肯定对我们 是都有启发的 对 因为机器人 它也有一个很好玩的问题 就是咱们也没有那么多的任务是 非常清晰的 说 成功和失败都非常简单跳出来 你可以 比如说 这个杯子放在另外一个桌子上 也许是的 但这个是一个非常限定的 就是你当到了一个限定的环境以后 你可能就比较容易 写出这个奖励函数 而你在一个非常通用的层面 你其实很难写出一个通用的函数 或者你的任务比较难 比如说像叠衣服这种任务 叠衣服叠得好不好 啊 老师我都不怎么叠衣服 [02:53:45] 所以 我在叠衣服的任务设计过程中 我就有一个比较清晰的 就是因为我从来不叠衣服 所以我可以很纯粹地 从机器人任务的角度 来说设计这个东西 但是设计出来的 每个人观点也是不一样的 你刚刚提到 Chelsea对于一些任务的设计 很有common sense 对 我觉得她有非常sharp的intuition 能不能举个例子啊 就比如说叠衣服这个东西 是有很多不同的策略 对不对 你人来叠 你可以把它从两边叠成这个 或者你也可以就是四四方方地叠 我 甚至用语言都很难描述 这不同的方式是怎么在叠 但你可以想象它有不同的叠法 那么哪一些叠法 甚至包括这个叠法放到机器人身上 哪一个是好的 我觉得有一些人 确实是能够很快速地 直觉性的搞明白 就点跟那个点是有差距的 或者说 比如说像我们会经常看一些 机器人综研做的任务 就会比较 斩钉截铁地说 这个任务我觉得可以做 虽然看起来很难 [02:54:45] 我觉得Chelsea有很强的这样的东西 或者说她也会觉得 就是这个数据好 这种直觉来源于什么 我知道 我觉得 思考是有的 然后理解也是有的 但是也有可能 就是和每个人看问题的 一些看重的东西吧 嗯 你觉得VLA会是一个终极的架构吗 它会怎么演化 在未来 我觉得这种interactive的方式 是可能可以的 尤其是在 我 天天成为了Claude Code的重度用户以后 我以前是有一点怀疑的 我说我这个人比较内向嘛 就没有那么喜欢说话 有很多事情 是不是不用说话的表达 会是更好的表达 而且包括说话 有很多时候 比如说 我想让你帮我把我家的厨房 收拾一下 它没有办法capture我 所有的意思 我可能说的是你把垃圾倒一下呀 这边橱柜全关起来 或者这样 或者那样的一些单纯用语言 无法捕捉到的重点 但是我发现了这些Claude Agents 就改变了 我对这种交互方式的想象 [02:55:46] 就是你是可以说话 它可能捕捉不了所有的重点 但你也可以用说话 给它提供更多的context 让它自己去搜索或者制定计划 就是说话 确实是一个非常强的逻辑思维 和推理 而我也越来越觉得 逻辑思维推理对机器人是很重要的 所以 我觉得VLA中的L还是有很大作用的 只是VLA现在的这个架构可 能还是比较原始的一个架构 它虽然有这个language 但它并没有很多地去 探索 language 和动作的一些非常细微的事情 比如说language的层面 更多的都是叠这个衣服 它也没有很详细地描述说 这个衣服叠的时候 你要用两只手 在这个步骤怎么怎么样 我觉得这都是未来的探索方向 可能 会有一些更加 就不光是从输出端是动作啊 或者加一些video啊 或者加一些auxiliary loss 在输入端可能也会给它更多的context 使它能像现在的大语言模型一样 就take in much context 嗯 我们刚刚其实也讨论了一点 [02:56:46] 数据问题 我想继续就这个话题 再深入地讨论一下 你刚才说过 你们其实bet的算是真机数据 是一部分 真机数据占很重要的一部分 是 那硅谷其他的这些的frontier lab 他们在数据的选择上 有什么不一样吗 真机数据是一个共识吗 我不太清楚别人有没有共识 或者是怎么想的 我只能从我接触到的信息来看的话 嗯呃 比较明显的 有一些人觉得 我们可以把这个模拟系列的东西 做得更好 做得更有用 我觉得 这也是一个非常值得探索的区域 可能如果 他们现在的工作重点是这个的话 他们可能就对真机数据没有 相对而言没有那么看重了 或者说 也有一些人觉得我们就用一些 人手直接收的嘛 像这种UMI的数据 就是人可以非常自然地 在自己的生存的空间中 去收很多数据 而且它的效率就 速度 可能比你非要搞一个机器人进他们 家 然后再收 要轻松快一些 [02:57:46] 我觉得这也是大家不同的想法吧 就是他有一个重点 但是 可能因为我是真机数据的信仰派 所以会觉得 以后肯定还是要真机数据 因为你都部署了 你可以收真机数据了 那为什么不用呢 所以我觉得 对真机数据如何用得更更好的研究 应该是不会停止的 我是觉得真机数据更实用 我觉得就不光是实用 而且是最后 当你真的做完了这个问题的时候 你机器人真的进到人家里以后 你就是会有很多真机数据了呀 嗯 我相信 这个是我们共同想要的一个未来 所以这个未来里 就是会有很多真机数据的 你觉得什么样的数据是好数据啊 现在这个定义也没有很统一 对 我觉得 它不是一个学术 能够清晰地解决的一个问题 我觉得是有一些不同的维度的吧 比如说 这个数据它做的是什么任务 这个任务你看啊 如果我这个任务 就是在空中瞎挥一挥手 这可能就没有什么意思 但如果这个任务是跳舞 或者说随着 [02:58:46] 这个胳膊要怎么怎么动 它是一个更有意义的任务 所以我觉得这个是维度之一 就是任务本身 或者说叠衣服啊 叠箱子啊 还有拿水杯 这都是不同的类别的任务 同时呢 就是在做任务过程中 我觉得是有一个叫做动作的质量的 这个可能就是 就是 如果机器人能做成这样 我不就觉得他做完了 他 做得极端了 他像奥林匹克运动员那种表现 就 已经超越人体极限了 这个是一种动作质量 你也有可能收到一条 质量不那么好的数据 可能就是为了拿这个杯子 先晃晃悠悠 地再去拿 可能就没有那么好 所以这种动作质量也是一个维度 同时我觉得就是动作的覆盖度吧 就从一个数据集 可能刚才讲的是具体一条 一两条数据 从一个数据集的角度上来说的话 你收了拿水杯的 这个任务的那么多条数据 它的覆盖度到底有多少 它有多少不同的场景 它有多互相之间的不同 就比如说 刚才说的泛化里的每一条维度 其实可能都是你说数据的时候 就可以考虑到的 一个覆盖度的一个维度 [02:59:47] 嗯 然后最后嘛 我觉得 就是数据提供的是一种信息 如何能够在一团数据里 挖掘更多的信息 包括不限于 我收到了拿水杯的数据 我是怎么拿这个水杯的 这个水杯在哪 这水杯长什么样 其实它都是一个隐藏在里面的信息 如果我们有一些标签 在这些信息之上的话 我们也可以就这些标签 再进行一些学习 所以我觉得就数据集 它的标签标注也是非常重要的 嗯 有一种说法是说 通用大模型团队 更关心在基础能力层面实现Zero shot 就是零样本的泛化 也就是 在没有见过具体任务的情况下 它仍然能work 而不是说 我只要我见过这个数据 我才知道 而机器人或应用导向的团队 往往更关注某个具体场景 具体本体 具体任务能不能跑通 这两类需求本身是完全不一样的 你同意这个观点吗 我觉得是相辅相成 确实这两个工作的重心 [03:00:49] 可能乍一看没有什么关系 但我觉得互相之间是可以相辅相成 因为对 就是怎么抽象地说呢 我觉得机器人在研究方面 是有两个很大的主题的 一个就是它的表现 究竟如何做到完满 还有一个 就是如何在一个全新未知的领域下 做出一个像模像样的东西 可能这就对应着你刚才所说的 一个具体场景 下的优化做到完满 和一个Zero shot零样本 泛化到一个全新环境 嗯 而我在实际做的过程中呢 时常会感觉到 如果你能在一个场景中做得完满 你可能可以在其实更多的场景 都达到更好的效果 这些东西 都会帮助你 做一个更高质量的模型 而更高质量的模型 它不只是在你这两个任务上 表现得更好 它在很多相关或者相似性的问题上 它也会表现得更好 [03:01:50] 就具体的任务表现得更好 是可以提升模型整体的能力的 对 这个是我比较坚信的 在这样的一个过程中呢 你可以说 就是对具体任务的具体表现的研究 是可以受 可以使这个大模型的整体研究受益 同时呢 我觉得就大模型在新的任务 新的环境下的表现 如果能够稳步提升 到一个差不多的情况的话 你也可以马上开始用一些 更具体的提升手段 我觉得这两个互相之间 左 脚踩右脚踩右脚 看看能不能上天吧 这个是左脚和右脚 一个通用的能力 对我来说 zero shot能力 一个是具体的任务 对 嗯 你觉得哪个脚可能现在跑得快一点 我 觉得像在PI这样的公司 还是很均衡地在发展的 因为它是一个非常本源的 一个研究型公司 它是希望把研究路上的重要的问题 都解决的 怎么提高这种Zero shot的能力啊 因为具体场景可能是通过强化学习 [03:02:52] 那Zero shot的能力呢 嗯 我觉得比较明显的一些回答可能是 像架构呀 架构研究 预训练研究是很重要的OK 同时数据也是很重要的 你可以看 比如说像这些具体场景的数据 其实 也是能够提升这些大模型的能力的 在架构上 有人会觉得 下一代架构可能是世界模型 我觉得现在世界模型 也没有一个说法 说它就一定长什么样 大家应该都是在探索 就不停地在探索 架构到底应该长什么样 嗯 我每次聊机器人 都觉得机器人还好早啊 觉得离我们真正想到的 这种星辰大海 确实还有一些距离 但是能够每天 每个月都感到一些稳步的提升 这种感觉 我觉得在做研究里其实很难得的 你是哪一年加入的PI啊 就是 25年 24年 24年 因为PI是24年3月创的嘛 我是3月跟他们聊了 然后6月我毕业就去了 [03:03:52] 你觉得24年和25年 过去这两年 每一年在机器人领域 最重要的提升是什么呀 我不好说 在机器人领域的提升吧 我相信肯定有很多其实很重要工作 只是我现在不知道而已 很常见 在研究中 只是我自己的体感的话 我确实觉得PI的主要脉络 从能力泛化到表现上来说 这条路每次我们走的时候 都有一些新的发现 新的提升 是以前 是 对一些我觉得领域 需要回答的关键问题 给了一份 第一版的答卷吧 我相信其实我们做的很多事情 也是会不停地再回顾 再进一步提升 嗯 我其实确实觉得 有一些我们做的事情 也许已经有一些商业化的价值了 这个是以前的 我可能觉得还有些遥远 但现在感觉其实还挺近的 比如说工厂吗 这个倒不一定是工厂吧 就是工厂 是一种可控环境的一个代表 对 因为你可以通过控制环境 [03:04:53] 来让它更适配你 现在能做到哪里 我觉得 这是一个比较自然的一种应用场 景 我不太清楚 这里面的商业价值究竟有多少 只是从表现的情况上来说的话 我觉得是有应用的可能性的 嗯 有什么样的任务是24年初做不了 24年底可以做的 25年初做不了 25年底可以做的 我觉得24年初的时候 你跟别人说你要叠一个衣服 而且把它们还垒成一堆 而且衣服还 因为衣服是你很难控制的一个东西 嗯 24年初 反正我当时觉得 叠衣服是我非常想做的一个东西 但我是不知道能不能做出来 包括当时就搞箱子呀 还有甚至包括在那里做 桌上清理 桌上清理是真的搞了很多 就是我们觉得它做不了的东西 去试 它究竟能不能做 当时就已经 发现了 其实很多没见过的东西 它也能做 所以当时就已经有很清晰的一种 之前的不确定性 逐渐变成了一个看得到的成功 并不能说保证百分百成功 但是它是有成功的可能性 我觉得这个进步非常的重要 25年 [03:05:53] 嗯 就是 首先我们自己做的是π₀.₅和π*₀.₆ 都是在25年做的嘛 一个是进到Airbnb里去 一个是对具体的部署任务 要求它的表现 提升到一个 就是纯靠数据收集 很难达到的一个地方 我觉得都验证了一些 不管是说你要多少个Airbnb 才能在下一个中 得到一个好的初始成果 嗯 还是说你部署的时候到底能不能 因为我们是从一个很实用的角度 来考虑问题的 我们在 比如说做folding task 做这个叠衣服task中 我们不是说 就是我们收了10小时的叠衣服数据 就去硬做强化学习 我们是真的把这个东西做到了 我们觉得收数据已经 再收更多的数据 都没得搞了的情况下 才开始想说 我们用这个强化学习的方法去搞 能不能再进一步 我觉得这个frontier 是通过做这样的项目 摸得更清楚了 别的公司 我觉得也有很多很有意思的事情啊 比如说之前看他们Gemini的发布 [03:06:53] 就感觉他们的这种空间的理解和空间的认知 而且他们也 而且 不是一个单独的robotics的 模型 有的是一个更多模态 大模型的一个能力 一 种感受就是哇 这个 这种空 间能力显然对于Robotics是非常重要的 其实他们现在没有一个特别 特别的一个task展现它 我也相信 他们将来可能会有一些发展 还有可能之前因为做强化学习 也会关注一些 非常具体的强化学习的项目啊 比如说 别人都在用强化学习做一些什么 非常具体的问题 就不管是在制造业啊 还有组装啊 这些问题 我觉得都是很有启发 你对于2026年 在机器人领域的预期是什么 有什么可以值得期待的 期待吗 我觉得肯定今年能有更多 令人比较惊叹的demo出来 但是demo本身看是一回事 了解背后的到底是什么 进步是另外一回事 我觉得今年肯定能 不管 是人形来做操控性的任务 [03:07:54] 其实我觉得是挺成熟的一种 可以看 可以开始探索的一种应用了 其次就是在模型方面 我觉得模型架构应该大家都会 有一些大的变化吧 你觉得 机器人领域 应该跟自动驾驶领域去对标 还是应该跟大模型领域去对标 我觉得更像大模型 我其实觉得自动驾驶有比我们难 也 有比我们简单的地方 嗯 比我们难的地方在于 自动驾驶的stake 它的潜在危害因子是很大的 如果你做错了一个决策 你那可是人命啊 是很严肃的一个问题 嗯 所以它对于表现完满的要求 是极度的高 我觉得在我们这个领域 我们日常生活的一些任务 或者说工厂任 务的这种商业化道路上 我们其实都不需要 那么一个级别的完满 所以 我觉得这个是自动驾驶 [03:08:54] 比我们要难得多的一个部分 他们就真的得有一个 非常强有力的保证 而相对的 我觉得他们比我们来说 比较简单的部分 你看自动驾驶的话 它控制系的问题 其实是几乎没有的呀 就是我在这个车子上面跑 可能现在还有 就跑一些雨雪天啊 道路泥泞 啊 这种问 题 是一个控制系的一个底层控制问题 他们更多的问题都是在决策方面 就是你下面要怎么开 同时他们的决策的空间 我觉得相对而言 复杂度要稍微小一些吧 不像你看 我们在这个操纵器的这个任务里面 经常谈到的就是 就是 我不仅要操纵这个多关节的 一个比较复杂的机械臂 去完成一个任务 它要达到 我想让它达到一个地方 这个就是一个操纵器的问题了 已经 就是你可能就是载重啊以后 或者是摩擦力 导致了你可能不能完美地去贴合 你想要它造的地方 所以这种操纵性问题 是已经比它难一点 同时它在决策方面的话 你要叠这个衣服 你这种手腕的转 你到底怎么转 到底想怎么转 它有很多这种复杂的 [03:09:55] 特别不一样的一些动作在里面 你都得能够搞定 所以我觉得 这是它的难点和不难的点 而跟大模型相比呢 我觉得大模型是 它和我们异曲同工之妙 就是大模型它可以瞎说 它稍微犯犯错 大家都很习惯了吧 你就是会胡说八道 对吧 我们不会全信你的 所以它的这个完满 我觉得是不需要做得 像自动驾驶那么的严苛 同时呢 在这个探索方面 我觉得它们 就是你看 把它们当成一个智能体 它们的这个动作空间 是输出每个字符 也可以是说输出一种策略 就它们的动作空间 也是一个高度抽象化的 就所以 需要很多多样性的一个动作空间 所以我觉得 对于我们现在的机器人来说 我们是在两者之间的 但同时就可能目前的发展阶段 和大模型更加贴合一些吧 我觉得 自动驾驶现在发展的挺好的呀 都已经跑上了嘛 所以他们更多的就是在如何 提升完满 并且降低成本 就其实在高度 [03:10:56] 这种策略规划上面的问题 就是从A点到B点 好像也不需要太多的说什么 C点到D点就不行了这种 机器人和自动驾驶谁是谁的子集啊 在我看来 一直是一个比较平行化的问题 因为它这两个问题的特性 嗯 就是 以往的路径规划和控 制的话 可能更贴合 现在 有某些自动驾驶公司的一个路径 吧 可以看作是它的一个应用 但现在 因为我们已经不再用这种范式了 转到另外一种新的范式的探索 我觉得就有一点平行空间的感觉 嗯 对 但是互相之间是能学习的 因为也有人在用机器学习 做自动驾驶 我们也会从他的 他的这个 部署的体验中得到一些 灵感吧 就比如说 他们如果跑了这么多台车 拿到了这么一个数字 他们想要再提升安全性 他们是怎么做的 他们的一些基础架构 包括自动驾驶界 其实对于模拟器用的应该是很多的 而我们机器人 尤其是操纵器 还没有这么一个 可以跟它对等的模拟器的出现 这个是不是有一些启示意义 [03:11:57] 自动驾驶的模拟器是谁在做 我觉得首先几家公司 头部公司应该都有自己的模拟器 都有自己的模拟器 同时也有那么一两家就是公开的 专门做这个的公司 你可以就付费使用 而且自动驾驶的数据量好大 是的 所有的机器人公司都在 争夺的一个北极星指标 是 谁能够做出第一个出货的 进入家庭的机器人 这是一个隐形的 大家在争夺的方向 对吗 是一个隐形的方向 因为家中的问题非常的多和复杂 所以如果你不 你 你觉得你lost了你的方向 你就想一想 我们现在机器人还能不能做 家中的这个问题 应该有很多问题都是做不到的 你怎么把它做到 就是一种很自然而然的一种想的 研究的一种方法 家中的问题呢 它有好几个难的维度吧 我觉得第一个是它的环境的复杂性 就是确实是没有两个人的家 和卧室是完全一样的 你必须要泛化性 过了一个很强的泛化性的保障 才有可能 就到了一个新的卧室也能够 [03:12:58] 比如说我们之前做过一个叠被子 我们承认我们叠被子 不是百分百 不是说你到一个新的家都能够叠 就是因为这个 每一个新的环境的复杂度在那 同时呢 就是家中的任务的动作复杂性很高 因为人在家中 其实承担了这个家务啊 它 的各种各样边边拐拐的东西啊 我觉得我列一箩筐 可能都列不完 就咱们在这坐谈个两个小时 可能都 没给它彻底给它写清楚 就是这些动作加上这个环境 就已经是给它 从这个机器人表现方面 提了很高的要求了 同时呢 它还需要家用机器人 如果做一个产品商用化来存在的话 它对于硬件的稳定性 和人交互的安全性 也是有很高的要求 就是硬件的话 我不知道现在有哪家公司的硬件 是能够在一个人家里跑个一个月 而且不光是站那站一个月开机 而且是做了各种各样任务一个月 然后可能有一些 比如说我平时走路 有时候还会给桌子腿绊一下呢 就这些损伤 它该怎么样去承担 [03:14:01] 去稳定 并且 如果你在一个人的环境中 和人互动的话 也有很多危险 或者说你这个 这个 可能就是我看特斯拉Optimus擎天柱 我看了最害怕的就是 他要是在我家里摔了 我该花多少钱修我家地板呢 或者他要摔在我身上 我岂不是那个什么了 我好害怕呀 所以我看到这样的话 我就会觉得 其实我们距离一个优秀的form factor 一个真正的具身 可以在人身边工作的具身还是有一 点距离的 嗯 他是不是长小一点比较好 我觉得小就是 比如说像宇树的这种 G1那样的小孩一样的身高 确实就是给我一种安全感 他没有那么大的威胁性 然后可能他也轻一点 就轻 就是整个机子轻了以后 它能做的事情 它的耗电量 还包括安全性 我觉得都是瞬间就有很大提升 但是 就是小的话 其实他们也会有一些其他的问题吧 比如说它这个人形的 一个很大的说法 就是说你人可以做的事情 其实小了以后 你有些人做事情你就做不了了 [03:15:01] 那你还怎么用这些人的数据 也是另外一个话题了 嗯 你看今年的春晚 宇树非常的火 中国的机器人非常火 你在大洋彼岸 怎么看中国的机器人的发展 你觉得它跟美国的叙事 相同和不同是什么 嗯 觉得在一两年前想看到这种 级别的demo 就只是想想而已 能看到他真的把它做出来 还是非常激动的 我觉得他能够做出来 有算法提升 也有硬件实力在里头 我觉得这种硬件实力 可能是现阶段 看中美的产业对比的话 最直观地感到 中国在这上面是有领导力 统治力的 嗯 就是很难想象有一家机器人公司 他组装好了一台机器人 这里面没有一个零件是中国的 我觉得是不太可能 真的 我觉得中国有产业链 制造业的优势实在是太大 而且到现在我都不知道 美国人要是追的话 该怎么追 同时呢 就是因为这个硬件迭代 [03:16:02] 可能他 拿着现有的算法 距离商业落地端已经有 也是有一些优势的 还有什么不同吗 或者相同 我觉得像PI这样公司 还是比较独特的 我都不好说他是一个中美的不同 还是怎么 就是他是一个 很偏向研究的一家公司 暂时情况下 我们应该是完全不考虑商业化 因为觉得那可能是一个 分心 这个其实也是有一些历史原因吧 我不知道 历史原因是什么 就是Peter Abbeel 他不是Sergey Levine的导师嘛 Peter Abbeel 他是有过两次创业经历的 一次他非常成功地做了一个 给学生作业打分的一个系统 现在基本美国大学都在用 我上大学也用这套系统 然后同时呢 他还创立了一家机器人创业公司 叫Covariant 他在2015年还是16年 就创立了这么一个公司 说要做机器人的通用的 机器学习的一套方案 而他们公司在发展过程中 可能在某个时间点开始 就比较深耕物流啊 [03:17:04] 仓储啊 机器人 从大模型开发的角度上来看 从回头来看 会觉得这其实是 对他们开发大模型的一个分心 就因为这个投入 虽然肯定是做出了很多成果 但是在大模型这边 就觉得 就因为过早地去商业化 而失去了 就是这种通用泛化性 反而把精力放在了很多 这种商业化的相关事情上 没有真的去追溯本源的问题 所以PI 我觉得是有受到这段经历的影响 就是比较地强调说 我们不要太想这种商业化的事情 不要为了 挣钱 或者说去把这个商业闭环打通 去做很多可 能说对研究没有帮助的事情 大家还是很纯粹地说 我们要做一个研究 把它表现做的最好 商业化的事情 可以后面再想 我觉得这个 和我听说的一些中国公司的逻辑 是不太一样的 中国公司 可能从就商业逻辑上来说 更强调实用主义 和商业的回本吧 但即使在美国 [03:18:04] 对PI这样的公司 在硬件上投入不够 或者在硬件上没有优势的话 长期来看会不会成为一个问题 我觉得 这看你是怎么理解 硬件的投入和表现的吧 我觉得 我们没有无限的钱 所以我们在每个方面都投入不够 你知道那个OpenAI 它现在融了多少钱吗 我们每天看这个钱就觉得好眼红哦 我们也想有这么多的投入 我们有这么多投入以后 我们软件变得更好 算法变得更好 算力变得更好 数据变得更好 哪都好 所以不够是没有止境的 我觉得都可以投更多 相对而言的话 可能就是现在的产业优势 在硬件方面是 在中国 它有很强大的供应链 你可以定制一个机器人 它有很多的电机的选择呀 机器人的形态选择啊 都是有比较成熟的一个方案的 所以这个是它的优势 我觉得大家其实也都有在看 就怎么样 弄 一个最适合自己的机器人的硬件吧 我觉得这个其实大家都在做 只是因为缺少了产业链 [03:19:04] 制造业的这一环 可能 在做的过程中 它的迭代速度会变慢啊 或者有些事情可能 如果你做得更快 有更多可供你取舍的 机器也会不一样 我觉得这个确实是对迭代的研究的 迭代速度肯定是会产生影响 但同时另外一方面 硬件毕竟不是一个已经解决的问题 就它是一个相对而言 可能没有软件那么严重的问题 因为现在你搭一个硬件 是可以搭起来的 你想它做一件有意义的事很难 所以这是软件的最大的问题 而硬件的话属于你搭起来 是可以搭起来 动也可以动 但是不是说 你已经把硬件做完了呀 就还是有发展的空间 我觉得这个其实创新永远是未知数 你不知道有没有可能他做出了一个 就是很简单的一种硬件 它非常适合现在的算法 没人说得清 你觉得硬件的劣势更好抹平 还是软件的劣势更好抹平 过去几年的发展来看 都好抹平 大家永远都是在卷 哈哈哈 对中国团队来说 [03:20:05] 他其实follow PI就好了 因为你们很多论文都是公开的 是的 我觉得我们有很多论文是公开的 Google不一定是公开的 对吧Tesla不一定是公开的 但是他们可以follow你们 Google就算公开了 你想追上Google 你还得先训一个 像Gemini这样尺寸的大模型出来 这已经是一个bar了 我觉得同样的逻辑 也适用于像PI这样的公司 随着公司不断的积累 他最后就算告诉你他怎么做的 你不一定有那么多东西可以查 可以去 就是可以去给他match上 但是竞争永远都 是存在的 我相信 肯定就还是有人能够给他match上 然后 嗯 硬件方面的话 我觉得 其实你看美国现在的产业链 你会觉得这个硬件 哎 简直是不知道该怎么说了 你只能寄希望于创新了 你们公司其他人 会很关注中国机器人的发展吗 我觉得都很关注 这是一个不可忽视的一个部分 像比如说 你们最近会讨论 关于中国的什么话题呢 比如说 宇树春晚那个表演 我们就在这个公司的群里面发了呀 大家就会讨论啊 说这个东西可能是怎么做的呀 [03:21:05] 甚至最近的读书会 我还想说 要不要请一些这方面的专家的朋友 来给我们讲一讲 因为我们不怎么做人形 也不做这个locomotion 问题 也可以请他来教一教 我们这个东西里面发展是怎么样的 我觉得这些都是 大家都会不停地去看到 更新更好的东西 去学习 看看有没有启发 可不可以用到我们现在做的事情 上面 不管是PI还是其他公司 应该都是一样的 他们是怎么做的 你们从外部视角看 他们是怎么做的吗 嗯 这个确实 最近有几篇新的论文出来 可能可以解释他们的一些做法 哦 我不知道你知不知道 石冠亚是一个CMU的教授 他之前在华大读博士后的时候 和他成为了朋友 从他身上 学到了很多locomotion的一些东西 他们组最近发了这个OmniTarget 我们可以从早期发展稍微梳理一下 大概是在18 19年的那会 我稍微关注过 一下他们是怎么做的 很多时候呢 是希望他走路 走路可能有一个步态 所以你就把它分成 可以 [03:22:05] 简单粗暴地分为一个high level 高层的告诉你 我大概想让你变成这个样子 和low level 去执行 我怎么样变成这个样子 步态的话 可以是一个走路 可以是一个后空翻 可以是一个跳舞 执行端的话 他 以前可能就是不停地去控制 现在的话 可能可以配合强化学习 来达到你想要的这个步态 嗯 强化学习很重要 强化学习在locomotion界 确实取得了相当大的成功 嗯 你觉得美国对硬件的投入够吗 重视度够吗 嗯 我觉得很多在美国的从业人员 应该都会同意 说我们的硬件还有很大改进空间 嗯 那特斯拉是怎么做到的呢 特斯拉 首先它很神秘啊 我们其实并不清楚 它的硬件里面的技术细节 他 不会和我们说这些事情 你说的是机器人 是吧 对 他车 他还有车呀 就是他在美国硬件做得很好 但是好像是有个笑话 我不知道是不是真的 [03:23:05] 只是一个笑话 说 特斯拉最火的工厂是在上海开的 产量就是高 哈哈哈 相对而言 确实它是已经有一部分制造业的吧 我觉得和 这和美国教育体系也是有关系的呀 你看 它的教育里面的专业和就业途径 它这个产业的以往的缺失 也导致了它这个专业就不会火 没有那么多人学 那就缺失了一批人才 那它怎么样去弥补这个事情 是很难的 不 是一两年就可以投入回去的 嗯 我觉得他现在可能更多的是指望 说很多移民是有这些类似的技能 它毕竟 是一个移民国家 可不可以通过 引进这些缺失的人才 补上一些产业链 但美国这地方 就是修个地铁站都得修个这么多年 它究竟能做成什么事情 我们也不好判断 你觉得人工智能最后会拥有意识吗 机器人会拥有意识吗 好抽象的一个命题啊 你知道 每次当我看到有什么机器人 它的意识觉醒了 它要毁灭人类 我都想说 这真的很希望有人给我解释一下 [03:24:05] 意识是怎么诞生的 因为我们只是一些生物学小白 但是会去听一些这种科普啊 就非常想搞明白 怎么样就从一些 物理啊 化学啊 这堆东西里面 突然就诞生了意识 这么一个 我都不知道 它是怎么代表出来的一个东西 嗯 我觉得 如果我们认为机器人产生的意识 是像人类这样的意识的话 我其实就有点悲观了 我想说 这真的有可能吗 但是如果你把意识定义得很宽泛 就比如说我现在跟AI聊聊天 哎 它给我的感觉是它像个人 它就够了的话 那 你也不能说它没有意识 嗯 但是也许在将来 就 大家可能更期待是一种 我也不知道它太智能了吗 所以它显得像有意识 就真的是对我来说 讲不清的一个话题 但是是科幻小说非常好的一个素材 机器人种族会是什么样的呀 嗯 我觉得机器人种族可有意思了 我其实一直很想做的 [03:25:06] 就是机器人可以造自己 我觉得这个是机器人发展的一个 可能会是一个里程碑吧 因为它就像一个种族 是有延续性的 是可以通过自我的一种繁殖 我觉得机器人能够组装造自己 就是一种繁殖的体现 所以这也是我非常想做的一个课题 也是 我当时去找教职的时候 我就说我是非常想做这件事情的 机器人的种族 我觉得 第一 我非常喜欢 就是机器人哪里坏了就可以修 你看我之前 攀岩摔了以后 就是因为某一个部位受伤 就得在家待着很久 而机器人就可以换掉呗 换掉 可以拆 可以改变形态 我觉得这是一种 非常自由自在的一种存在方式 机器人想咋样就咋样 对 想咋样就咋样 甚至你可以 像特修斯之船 那个希腊故事一样 我把这个机器人 从头到脚都换成了另外一个零件 甚至模型也可以换 它还是原来那个机器人吗 其实在我们公司的发展过程中 就是有这种 本来是有编号的 这是一个机器人 [03:26:06] 它的编号是这个 通过不断地修和改 它已经完全不是原来 那个它了 它好像跟原来它的唯一联系 就是它们编号是一样的 但是里头全都换掉了 我们就说 要不要给它起一个新的名字呀 不然好好复杂 还经常要说 这个机器人在某个时间点前 是这么个东西 后面是这么个东西 机器人种族 我觉得也许是会成为机器人种族的 一个伦理的 就是之前什么 我的上一辈做的这个事情 跟我没有关系 因为我们已经从头到脚 都没有一个零件是一样的机器人了 这个伦理审查委员会 就来看 这个机器人是不是真的从头到脚 里面每一个零件都是换新了的 哈哈哈 你觉得机器人种族是人族的延续吗 机器人 会是人类做最后一件事情吗 最后一件事情 我确实希望我们做的很多事情 是可以提升生产力 使得你可以做到很多 原来需要人做的事情 你一个人就可以做 [03:27:06] 但是我相信人类的创造力是无穷的 我不觉得我们活着 是为了提升生产力 我觉得我们活着更多的是 爱与死吧 就文学作品中永恒的话题 我觉得即使是在一个 生产力高度发达的年代 应该也有人 想要做一些不一样的东西 想去探索一个还没有做出来的东西 该怎么做 所以 我不觉得机器人会是最后一个造物 但是延续 我确实觉得一个比较浪漫的想法是 虽然我们生命是很短暂的 只 有100年 放在人类历史 放在宇宙历史上 就是微小到不值得一提 但是是不是有可能你造出一个东 西 它可以看到宇宙的尽头 看到宇宙的尽头 嗯嗯 我不知道这个时间跨度是多大 但是可能我们活不到那个时候了 哈哈哈 Machine learning这种方法 机器学习这种方法来训练机器人 因为你也说到 它跟上一代人非常的不一样 它是一个黑盒 [03:28:06] 你觉得 在这种训练机器人价值观背后 让你对于人和机器人 有什么新的感悟没有 它是黑盒 但是 它因为是从一个数据出来的东西 它是有限制的 它是bounded by the objective that you define 它是一个很数学化的一个东西 所以它虽然是一个 它是可 预期的 对 它是一个过程无法理解的黑盒 但是它是在数学层面上 可以解释的一个东西 嗯嗯 我觉得在训练机器人的过程中 有什么感悟的话 可能 一方面会觉得 确实就是能够发挥 我这个特别想偷懒的天性吧 如果一件事情 可以让机器人来代我做 我会想方设法 让这个机器人来帮我做 嗯 这不就挺好的吗 就是你有个智能体 它也许还没有到完全体 它已经可以做一些事情 我就想办法是 要把这个事情给利用起来 来提升我的生产力 可以让我少干点活 我觉得 [03:29:06] 这个是 我对于人类文明的偷懒 我甚至可以暴论一下 是不是偷懒 就是人类文明一个本质的追求 就提升生产力和偷懒是一个东西 呵呵呵 其他的话 我觉得在很多时候 在我现在的工作中 是没有什么人文的存在 嗯存在 或者说因为我每天 讲的是一些非常物理化的 科幻化的一个东西 我也会感觉 就是我会和一些其他搞人文的 小说创作啊 艺术创作一些朋友聊天 他们也会很好奇 问问这个机器人的这个进展 我也会自己作为一个用户的 好奇吧 是不是有一天 我们创造出了这些智能体啊 它也能够进行 某种意义上来说 超越它的 离开了它的创作者 我们的一些创作 那天会发生什么 哎 我不知道 也许它会搞一个二维码 它们每个人都觉得 每个机器人都觉得 这个二维码美极了 让你在这里看了以后 就有一种不明所以的感觉 哈哈哈 [03:30:07] 嗯 当机器人有一天实现了 你准备去干嘛 实现了 写小说吧 回家写小说 做一个游戏 创造一个 非常能贴合我的喜好的一个故事 把它分享给别人 看看有没有其他人喜欢这个东西 诺贝尔文学奖 看看 冲击一下啊 你现在脑子里有这样的一个故事吗 我觉得 构思小说确实是一直没有停止过的 写不写出来是另外一回事 哎 拖更是经常有的 但是构思一些故事 不管是和我们现在生活非常贴切 还是说非常天马行空的想象 真的机器人解决以后的社会形态 是一直都有存在的 嗯 就包括生产力极大的爆炸以后 一个人 就假设在现在这个年代 就有生产力极大爆炸的话 哎 那确实就可能就 家里就 [03:31:08] 终于不用被前来看望的爸妈吐槽 说你家里怎么这么乱 这么脏 就 可以不想干的事情 都可以丢给别人干 丢给别的机器人去干 也可能会 比如说现在在艺术创作中 比如说朋友会去做一些小手工艺品 就我觉得 可能就更多的是你有这个概念 然后你可以把这些执行端的事情 全部交给机器人来完成 我觉得这些也是一个方向 然后可能更远一些的生产力爆炸 哎 可能有个资源 以后自己可以造一个城堡 到哪个乡村去隐居 你看网上有一些古堡拍卖啊 才几万美金 就可以买一个 什么200年没有修过的古堡 你现在没有人买 是因为太麻烦了 要修 要找很多专业 我觉得就是一个很有意思的特点 可能是现代社会里面 很多工种是一个特殊的工种 你花了很多你作为人的时间 去锻炼一个技能 然后你有很多的知识 但机器人或者人工智能 它作为一个大模型 或者通用的一个东西了 它是可以随时地切换 比如说将来可能修房子 [03:32:08] 就真的就是有两个修房子机器人 他们什么都能做 让他们可以互相配合 就把现在需要找不同工种 能完成的事情 给干掉了 可能我们现在做研究 也是有一点类似的嘛 你以前可能做研究 要找一个专门的A人 负责这个东西 他可能有些洞察力 但是你现在就问同一个模型 他可以达到 所以我觉得将来就是 如果每个人都有可支配的一些 就是这种通用生产力 而且每一个具体的任务他又都是专 家级别的话 那就是真的能够到达生产力爆炸 能够做很多 现在想都不敢想的一些事情 可以创造更好的游戏和小说喽 嗯 你喜欢的小说的世界观是什么样的 呀 有两类吧 第一类 是在一个完全不同的科幻环境下 探索的一些人与人之间的关系 第二类是一个拿着一个魔幻的题材 但是 把它放到了我们现代的生活之中 举个例子的话 可能第一类之前看过一个修真小说 但是是在宇宙里搞科技发展 [03:33:10] 就很抽象 命题一 讲出来 我都觉得好像很乱七八糟的样子 但它其实探索的其实是一个 女主角作为穿越者 来到了这么一个未来的世界 感受到了这未来世界的 社会制度以后 她想要改变这个制度 她做的很多事情 我觉得这个是和我们非常遥远 但是在未来也许有一天 某一个人就会有这样的一种struggle 一种困境 一种英雄的旅程 什么样的社会制度 把它改写成什么样的社会制度 在他那个社会制度里 他有很多性别对立的元素存在 嗯 就是男性和女性的分工完全不一样 女性的分工呢 是因为她们所拥有的一些 天生就有一个 自己的一个宇宙空间 所以她们被塑造成了一种类似 看起来似乎是女尊的一种世界里 但实际上 女主不觉得这是一个好的世界 毕竟她也是从我们这个世界出去 她可能天生就不认同这种世界观 但在那个已经成型的社会观里面 每个人生来要做什么事情 都是从小到大的细节 [03:34:12] 教育 观点 社会塑造非常强烈的 她想要反抗这样的社会塑造 她想要创造一个 大家就可以自由选择的一种东西 她在这里如何 召集盟友 让大家愿意追随她 和她一起做这个事业 是一个很有意思的旅程 嗯 然后 另外一些的话 类似的 这种科幻小说我看的还挺多的 就是非常喜欢这种 另外一类的话 我觉得就是魔幻主义吧 比如说看这个现代社会打工人 怎么又兼职武林盟主 哈哈哈 就是有一种 两种完全不同的世界观的碰撞 一方面是你生活息息相关的 好的地方你都能理解 痛的地方你也能感受到 另外一方面 是一个你可能小时候会非常喜欢的 跟我们八竿子打不着的 完全不同的世界 但是在一部作品里面 把两部世界糅合在一起 让你感受到他们之间的一些共通性 还是挺有意思的 嗯 [03:35:12] 比如说我之前因为经常打游戏 打网游 网游里面可能是需要组队的 就担任了一段时间的队长 去负责组队啊 沟通啊 还有处理一些鸡毛蒜皮的事情 或者说团队的时候 进度遇到了问题 你需要去安抚啊 或者说给大家打鸡血啊 这其实跟现代公司的这些项目管理 是有非常多异曲同工之妙的 哼哼哼 你是虚无主义的信仰者吗 我觉得是 怎么理解虚无主义 我觉得我很 难在 看到一个具体的意义的陈述的时候 认同它 就 人活着是为了什么 我觉得是一个无解的命题 所以当别人可能会试图说服我 说某个东西很有意义的时候 我要是想要打破砂锅问到底 我就会能够得出一个结论 就是其实没有什么意义 所以这是我虚无主义的一个部分 那人活着的意义是什么呢 就 没有意义 我觉得不需要回答这个问题 那每天激励你过每一天的 内心的那个动力是什么呀 我觉得从某个意义上来说 [03:36:13] 我是很幸福的 因为我在做自己最想做的事情 所以你是没有预期 也没有目标 我还挺喜欢乔布斯之前的讲话 人生有可能是有很多点 当你在走过的时候 它们看上去毫不相关 但也许有一天 它们是可以连起来的线 我并不觉得我走的每一个点 需要一个马上就能阐述得清楚的目标来 驱动 但是 在某种意义上来说 现在我的人生的图景走到今天 已经能看出一些奇奇怪怪的点 连成了一条线 形成了我这个人的历程 你能对未来有某些点的预测吗 点的预测 嗯 就未来时空的一些可能性的预测 我这个人的点的预测 哦 我就非常想做一些 我比较感兴趣的课题啊 并且希望把它们做成一个 [03:37:13] 5年前我想都不敢想的东西 我觉得如果能做到这个 我会非常快快乐 所以 这是我在接下来5到10年的一个期望 也有可能就是技术发展得非常快 我也想开始做一些更加落地的 项目 因为觉得这个东西好玩 我觉得预期是无穷的 但是最后随着时间的推演 你会把这些东西 收敛到一个更加确定的道路上 所以我很难现在给你一个 哦 我 以后要去做这个 反而都说哦 如果做这个就会很好 这种思想是更多的 嗯 只有在工作中 我们是非常确定的啊 下一步做这个 那我们进入最后的一些问题 嗯 好 我们会请每一位嘉宾 推荐一本人生之书 要真的 对你的人生有过非常重要的影响 你会推荐哪一个 嗯 觉得有非常多的书都影响到了我 但是现在可能偶尔会思考的 这本是《Distinction》（法国哲学家 皮埃尔·布迪厄《区分：判断力的社会批判》） Constructional social taste [03:38:14] 他是一个法国哲学家写的 一本 关于社会的阶层 和每个阶层的喜好 包括人生活中的衣食住行 方方面面 他认为是有很多 是经由现在的社会所塑造的 我为什么推荐这本书 是因为 我觉得通过看这本书 让我对于我所喜好的一些东西 和我有多少喜欢是我自己喜欢 有多少喜欢是社会的塑造的喜欢 产生了更多的认知 而在现在这个社会 在硅谷 我觉得 是充斥着一种对于生产力的崇拜的 就是 也许我们没有这个书中所描写的 那个社会的 旧式贵族的 打球呀 骑马呀 是一种更高贵的运动 在那个年代 他们可能会追求一些 我们现在不太认同的 价值观 什么 [03:39:14] 是更好 什么是没有那么好 但我们现在其实我觉得也是 有一种新的价值观 甚至我觉得 这个价值观 也只是一个变化中的缩影 我觉得 这是我的人文主义的东西在告诉我 虽然我是在工作中 这么热衷地去优化生产力 虽然整个硅谷 它已经放弃了什么对衣服啊 对穿着啊 的这些讲究 它讲究的是什么效率 讲究的是精简 讲究的是创造 它何尝不是 这个社会价值观的一个部分呢 你小时候想离开家乡 想远离家乡 然后我觉得是非常好奇 外面的世界有什么 来到外面的世界 那在今天此刻 你在硅谷 因为今天的硅谷其实是同质化的 它是高度竞争的 高度竞争的是 你有什么想反抗的吗 我时常觉得 哦 这是一个很有意思的点 小时候搞竞赛吧 会学到一些算法 [03:40:15] 贪心算法和动态规划算法 是两个常被放在一起比较的东西 贪心算法呢 就是说我在每一个时间点上 我都要做最优化的一个决策 我要做当下的最好 而动态规划算法呢 就会告诉你 就是如果你有一些全局的视角 你就会发现每一步都做最好的决策 并不能让你达到全局的最优解 我是非常喜欢这一个 逻辑的信息的 所以很多时候 我觉得就像塞翁失马焉知祸福吧 一时的成功失败 还有优化 还有没有做到极致 其实并不能代表着长期最后的结果 毕竟我们没有一个人 有着全能全知的视角 所以即使是在追求优化的道 路上 我有的时候觉得 做九分 留一分是可以的 而我自己的求学路程啊 [03:41:15] 各种各样的东西啊 可能也在很多人看来 就是从来不把事情做到最后 我觉得 也许机器人会是我第一次觉得 我们得把这个事情做到最后 但之前的那么多 没有做到最后的东西 才让我走上了今天这条路 我觉得这个和硅谷 很多时候 很多人 都是从很早之前就走上了同一条路 一直在上面竞争 是有一些本质性的不太一样的 嗯 一个全球范围内你喜欢的食物 西红柿炒蛋 我 们希望 在这个人工智能快要来的时候 留下一些人类的日常生活的印记 一个全球范围内你喜欢的地点 地点吗 我非常喜欢爱丁堡 这是我在英国留学的短暂的半年里 应该是最喜欢的城市了 嗯 可能以前的我 因为比较喜欢一个人待着呀 而且 其实现在大都市很多时候是一样的 就没有那么的感受到 我走入了一个完全不同的物理空间 我整个人的状态 [03:42:15] 都会发生如此大的改变 因为爱丁堡这个城市 有非常多的古建筑 也保存得非常好 并且它也没有那么多 大都市的喧嚣感吧 它甚至有点像旅游城市 大家都是去看那个古堡的 但是在那种城市 有一种慢下来的感觉 有一种思考 人历史 这么沉重的一个东西放在你眼前 你在这个转瞬的一瞬间 你想做一个非常大的一个动态 的变化 但是就在这 些城中历史面前 这个动态的变化究竟最后会去哪里 你是不知道的 只是站在城中这里 站在这个历史的遗迹这个地方 能感到一种 就一种很安稳的感觉吧 所以是我非常喜欢的一个地点 一个少有人知道 但是非常重要的知识点 嗯 我可以讲一些 生理知识相关的吗 可以 对 这个是我上大学的时候 和朋友聊天才发现的 女性朋友们可能有一些误解 [03:43:18] 觉得 有一个叫处女膜这个东西 它会在第一次的时候会破裂 会流血 变成了一个 大家非常相信的一个真理了 但其实在医学方面 它是有一个医学的名称 叫做阴道瓣 它并不是意味着 你的第一次体验 也并不一定会流血 这是一个 我当时和朋友沟通 我们也是恶补了一下这些生理知识 才发现我们对于自己的身体构造 有着这么多的缺失 在你看来 影响机器人进程的论文 好多论文啊 ChatGPT也极大地影响了机器人的进程呢 嗯 真的有太多论文 我觉得很难 以一个吧 我觉得从数发展上来看的话 最近影响很多 包括这一代模型的奠基 比如说像diffusion policy这种扩散式的 [03:44:21] 还有之前就是Transformer ACT这样子 开始用这个Transformer架构做 还包括更早 我觉得有很多 对模仿学习 和强化学习的本源性研究 都影响到了 就是现在大家在做什么 嗯 基于你当下的认知 一个关键的重要 的bet是什么 我觉得其实我们进入家中 不一定是以产品的形式 就是更多一些探索形式 没有那么的远吧 你是说机器人进入家中 对比我一开始想象的可能要近一些 我们工作室叫语言即世界工作室 当你第一次听到这个名字的时候 你在想什么 语言即世界 我可能下意识地就是把它诠释成了 语言就是全世界 我就会有一些跳跃地想到 这不就是缸中之脑吗 咱们其实生活在一个 由所有感官连接的一个东西 你所有感官 就掌控着你对这个所世界 所有的认知 完全也可以想象 我们活在一个巨大的模拟器里嘛 你的眼睛 鼻子 [03:45:21] 耳朵 都是插了一个信号源的 这个信号源想给你输什么就输什么 哈哈哈 因为现在研究期间 研究期的话 大家会说 大语言模型 它是一个纯语言交互的 之前的那代 纯语言交互的话 他是不是不能理解真实世界 不能够把他所听到的一个概念 而放到真实世界中 就是证明是一个水杯 这个水杯其实是有很多物理性质 都不能够capture 不能够去捕捉 不能 用言语去描述 我觉得也是 这样的反思 变相促成了多模态的研究吧 嗯 所以 我们生活在一个巨大的模拟器里面 吗 如果模拟器就是世界的话 那好像模不模拟没有什么差别 唯心主义