149. 亲历中美neo labs资本狂潮，和清华刘子鸣聊：AI for AI、机制可解释性和Max Tegmark

[00:00:00] Hello大家好,我是小俊 我们此前访谈过谢赛宁、洪乐童 他们分别是来自于欧洲和美国的New Lab 但是今天的这个现象已经不止于海外 2026年,中国也涌现了一批新型实验室 这些有研究背景的老师或者学生 正在成为一级市场的新宠儿 他们普遍很年轻,有名校科研背景 第一次创业 在还没有产品的时候 就能以估值数亿美金融资 当下资本永日最活跃的方向是 世界模型和auto research auto research就可以叫做AI for AI 我很好奇这个现象的现实与成因 那这期节目呢 我邀请了清华大学人工智能学院助理教授 上海七智研究院PI刘子明 他毕业于北大和MIT 是看网络的一作 在今年三月份刚刚回国到 清华任教同时参与创建公司 [00:01:01] 创建公司圆环智能 他用太疯狂了来形容这股新的资本潮 我们聊了聊中美New Labs的兴起与成因 以及他所探索的一条非典型的AI for AI 许事 那接下来就是我对刘子明的访谈 对我是三月份回了国 然后大概是四月底入职的清华 然后五月底开始参与融资 然后这个过程 我的体感是就太疯狂了 怎么说 但反正不管是AI for Science 还是世界模型 还是这个AI for AI 我觉得都是一个 就一级市场是一个非常formal的一个状态 确实就是说大家都在 这个相互打拳消息 然后大家都投项目的动作就都非常的快 哈喽子明 [00:02:01] 先给听众朋友打个招呼吧 哈喽大家好 能不能先做一个简单的自我介绍 聊聊你的工作和你现在的一些状态 嗯好的好的 对首先感谢小金的邀请 然后我是刘子明 现在我是清华大学人工智能学院的助理教授 同时我们节目录制也是在上海七次研究院 也是在上海七次研究院担任建制PI 然后同时也是参与到了创业当中来 然后在圆魂智人担任首席科学家 然后我之前的经历 本科是在北大物理学院读的本科 然后后面去了MIT 接着是做AI和物理的交叉 之后短暂的在斯坦福做了半年的脑科学家AI 然后我博士的导师比较有名 是这个Max Tachmark 他是从2012年就开始去宣传这个AI for physics 然后包括22年底23年初 他也是最早的宣传这个mechanistic interpretability 就是这个机智科解释性 这个最近也是这个唐杰老师说要 [00:03:02] 制服要投资百亿的这样的一个方向 也是anthropic在做的方向对 这个我们是2012年底23年初就开始布局这样的一个事情 对 你是怎么从物理走到AI的 我觉得很多包括姚舜宇是吧 我觉得很多做物理的人都会有这样的一个经历 就一开始做物理是觉得物理它是一个很美的 在智力上非常challenging就是非常困难的一个事情 所以就被物理这个学科所吸引 但是后面慢慢的就感觉 这好像不是the party is over 就是这个也是高能里面经常说的一句话 就是说盛宴已过 就是感觉就是给年轻人留下的那些问题 其实没有那么多了 但是AI呢它是一个相反是一个给我们这些小的人 有非常多机会的领域 然后我大概是具体来说我是大二 那会儿应该是17年我就是关注到了这个干网络 就是那个generative adversarial network 生存对抗网络 那个时候我就觉得 [00:04:03] 哇这个东西特别重我的兴奋点 而且它好像在数学上也没有那么难 它做的东西又非常的fancy 然后那个时候正好被理论物理和实验物理双重毒打 那个时候就不知道自己要做什么 因为理论物理又非常的困难 也比不过姚舜宇 对姚舜宇 by the way 就是也是我们一直以来的一个偶像吧 因为在本科期间 他就发了两篇这个prl的论文 你们是一级吗 啊他比我大一级 我在比较他在兴华 对对对对 是的是的 所以一直就是听说他的传说 然后实验物理那边我也在想 ok 那我理论做不行 那我去做做实验 然后发现实验做起来就更差 就有点像那个我不知道 奥北海默还有杨振宁 好吧我少在这里给自己贴金了 就是我感觉到就是我进了实验室 只会把这个事情变得更加的混乱 就我其实也参加过一些实验物理的一些科研 比如说之前做过一个磁流体 结果搞得满手和满脸都是 然后后来我就觉得 哦那我好像也不太适合做实验 [00:05:03] 所以那个时候就是比较沮丧嘛 就感觉理论物理跟实验物理都不是我所擅长的 那接下来我要干什么 然后正好那个时候就看到了干这样的一个东西 我就觉得哦 那这个东西非常中我的兴奋点 那我要开始做它 对 但可能一开始还是比较谨慎一点 就是觉得啊 我不想轻易的放弃自己的物理的这个背景 所以呢一开始我们还是这个做AI for physics比较多 啊一开始这个for physics 主要做的是这个高能为向 就是high energy phenomenology 这个其实和我们现在的一些研究physics of AI 就是所谓的AI的物理学 这个方法论其实是有挺多相似之处的 它既不是完全的理论 它也不是完全的实验 它是一种微向 它是一种能够嫁接理论跟实验的这样一种桥梁 AI for physics的本体 就是你服务对象是physics 但是你physics of AI的服务对象是AI 服务对象是AI OK 对是的 这个也是后面为什么 从17年做到22年 我做的都是AI for physics [00:06:04] 其实那个时候我们就已经开始在谈 AI科学家 AI物理学家这样的一些概念 嗯 但是也是到了22年的这个时间点 就是chat GPT出来了 我是觉得物理里面没有那么多 像chat GPT一样那么sexy的东西可以值得去做 所以我就把这个AI跟物理的这个角色给它换了一个位置 就是不再是这个AI for physics 而是physics for AI 更具体的就是physics of AI 这个AI的物理学 就是我要用这种物理学的这种方法论 用物理学的这种思想去帮助我们更好的去理解AI和设计AI 所以你本科就已经开始接触一些AI的内容 你做了吗 AI 对本科就开始做AI 就是我的第一个项目就是拿干网络去做高能物理里面的一个任务 但是和很多人一样第一个项目就是很显然是不成功的 但是呢就是在这个过程中我自学了很多AI的东西 然后在这个过程中慢慢的就觉得就还是学习AI能够给我带来的这种愉悦吧 [00:07:10] 给我带来的这种成就感是比物理要多很多的 所以我就学着学着学着我就慢慢的就是 就是说我基本上所有的实验都投在AI上面了 所以你到本科毕业的时候是一个什么状态 我本科毕业的时候状态那个时候我是发表了三篇就是 AI for physics 的文章 有两篇是就是和高能物理相关的 然后还有一篇是可能算是physics for AI 就是我们用量子里面的一些想法去设计了一个更好的一个海洋的一个东西 一个exampler 一个优化器 所以那个时候的状态我觉得还是偏物理这边的 包括后面去申请这个博士 MIT 对现在也是物理的这个项目 但是Max他就是不拘一个匠人才吧 就是说可能整个MIT物理器除了他可能还有Marie Sajacic 就是另一个做光学的一个老师 但是也是AI for光学的一个老师 他们两个是非常好的好哥们 可能整个MIT那个时候是20年 AI for science 还是一个有点过于遥远的概念 [00:08:10] 我记得我当时申请博士 就是我在我的这个研究计划里面写的就是说 我接下来要做AI for physics 就只有Max看到了我的材料 然后他说我要招这个人 然后他就把我招进去了 他是因为喜欢你的研究方向招的你 他是喜欢我的研究方向 然后他也跟我说 就是他看我的个人网站也觉得非常的厉害 因为我当时就是在我个人网站上面画了一个 类似于八卦图的一样的东西 我会去画我的这个research interest 就我的这些研究兴趣 他们是怎么样相互关联的 然后他就觉得说其实和他的思维模式非常像 就是Max也是一个就是思维有点发散的一个人 就是你跟他聊可能我们就聊一个小时可能会涉及到比如说五到十个topic 因为他是经济学的本科 然后后面他才是去做了物理 然后后来在2012年的时候 他就开始说AI for physics了 这个是一个非常非常早期非常非常超前的一个做法 我觉得都是因为他这个人的兴趣点也是非常的广泛 [00:09:12] 然后他能够看到不同事物之间的联系吧 这个他是比较典型的这种所谓的鸟人 这就是Freeman Dyson他会把科学家分成这种鸟人和蛙人 鸟人就是说简单来说就是每个领域都懂一点 然后他能够看到不同领域之间的结构性相似 因此他们能够把一个领域的一些方法给搬运到另一个领域 鸟人的好处就是说他能够鸟看整片领域 然后他能够去集中精力 他主要的时间是花在去找到一些更high level的一些 更高层级的一些比较和抽象上 但是蛙人另一方面呢就是说 他们会把一个领域做得非常的精细 就是研究得非常的深刻 那在这点上我跟Max其实都是非常典型的鸟人 你是INTJ 我感觉INTJOP人比较像你说的这种 鸟人对 发展型的人 对他是ENTP 对Max是ENTP 然后我其实也TP有点不分了吧 [00:10:14] 就是因为我感觉很多事情 不管是研究还是生活 其实很多事情不是自己所能控制的 所以渐渐的也就也变得更屁了一些了 你在博士的研究探索上有一条主线吗 其实中间换过几次方向 就是在22年之前就还是AI for physics 做这个AI物理学家 然后22年底下的GPG出来 然后Max说OK我们整个组都要换方向 我们从现在开始要来做机制可解释性 为什么呢 因为大语言模型太危险了 那我们要保证它的安全 我们就需要理解它它内部到底是怎么工作的 所以这个大概是23年24年 就是这两年我们主要是围绕的机制可解释性 by the way 看其实是我自己的一个side project 就是一开始Max还不同意我做这个项目 但是后面我大概做了两周 做出了一点初步的成果 然后他说哦这个东西还有点意思 那你就接着去干吧 为什么他开始不同意啊 这是你就是一个很有影响力的 Kand的网络 [00:11:15] 这个也是一个呼应 就是我是因为干入的这个AI 然后我们后来24年又提了这个Kand的网络 对 就是他为什么一开始不同意呢 他就甩了我一篇1989年的一篇论文 那篇论文是那个Tomaso Poggio写的 Tomaso Poggio也是我们MIT的一个 就是很有名的一个教授 然后今年应该是90岁了 然后他在89年的时候就写这个 这两位苏联科学家数学家 Komogorov跟Arnold两个人 提出的这个数学定理 他没有办法被变成真的算法 然后他们当时的一个说法就是说 他们就是找到了一个worst case 就是最坏的情况 在这个最坏的情况里面呢 他们是没有办法找到这种严格的两层 光滑的这种KomogorovArnold的表征 这个这个听起来很冗长 反正就是前面加了一系列这个限制性的条件 但是我呢就是感觉作为物理出身的人吧 可能有的时候并不那么care 并不那么关心这个最坏的情况是什么样的 我们关心的是一般的情况 [00:12:16] 我们关心的是他能不能在某些场景有用 他能在某些场景有用 那他就是一个好的一个东西 对这个可能跟另一个想法就是 all models are wrong but some are useful 就所有的模型都是错的 但是有些模型它是有用的 所以也就是这种想法 对我就在想 那你数学上告诉我这个东西最坏情况不work 但是物理上我们关心的东西都是有很漂亮的结构的 那这些东西其实它不是最坏的情况 就是我们人能生活在这个宇宙里面 我们这个宇宙就不是最坏的宇宙 我们就一定是一个还不错的宇宙 我们才能够演化出生命出来 我们才能够在这里问这个问题 我们到底是不是在这个最坏的宇宙里面 所以说就是基于这个 就是因为这样的一个乐观性 让我暂时的忽视掉了Max的警告 就是说1989年边就说这个东西不work 我就是花了两周的时间 把这个原型给做出来了 然后我去找Max说 你看我把这个网络给训练出来了 但是Max呢 一开始还是不是很满意 他就是说 [00:13:16] 但是我并不知道你这个网络 这个内部到底发生了什么 你还是造了一个黑盒子出来 这个也是机智可解释 新追悼 它这还是个黑盒子 而Max就说 那你能不能想一下去 把这个网络给它做一个可视化 然后我就大概花了一周的时间 by the way 那个时候我还是一个 不相信coding agent的人 当然那个时候coding agent 确实也还没有现在这么厉害 所以那个时候这些代码 就还是一行一行收缩的 所以那个可视化 还是花了我一周的时间 那现在可能一个小时就够了 对 就我花了一周的时间 把那个可视化给做好了 然后把这个可视化做好了之后 Max说 wow this is awesome 因为Max是一个超级的视觉动物 其实我也是 就是我一定要看到一个东西 我才会相信它 我如果不看到一个东西 我就总觉得很难受 就是我脑子里有个图像 我没办法把它倒出来 我就会很难受 对 所以说我把这个看的这个结构图画出来之后 Max就被说服了 他说哇这个东西它太有趣了 我们居然能够看到这个网络 它的脑子里面到底在想什么 [00:14:17] 而不仅仅是说它最后端到端 它的这个端到端的 它的这个预测是什么 对 所以这个是通过这个方式 就说服了Max吧 然后后面其实就是一个 一些很正常的一些 Research的工作 对 但是确实早期 我觉得还是蛮有意思的一段经历吧 你当时为什么想到要做Can的这个网络 对 我觉得这个也是 是我一直以来的一个执念吧 就是我会觉得 AI和物理 这两个学科的哲学 差得太远了 就是AI的哲学 至少我们现在的AI 它是一种基于连接主义的 它是一种神经的东西 但是物理呢 它是一种基于符号的东西 那我就会觉得 两个东西不同一 就很不好 这个可能也是来自于就是 受过物理训练之后 会有一种冲动 想要去系统化 想要去做统一的这样的一种冲动 所以我其实很早就从2021年 我就在思考这个问题 就是我怎么样构建一个网络 [00:15:19] 它同时是一个网络 它同时又是一个符号公式 这个其实有一点像玻璃二相性 就是我们量子物理中说的 一个粒子它既是物理 它同时又是波 那我能不能构造一个网络 它同时是一个神经网络 同时它又是一个符号公式 然后就是基于这个探索 我就写出了这样的一个方程出来 其实我是事后我才知道 大概过了几天我才知道 我写出来这个方程 其实就是1957年 科茂·库洛夫和阿诺写出来的那个方程 但是我是从另一个角度 我是从神经网络和符号公式 玻璃二相性的这样的一个角度 我写出来这个公式 然后我后之后就意识到 哦这个东西 1957年的两个苏联数学家 就已经写出来的 而且他们证明了这个东西 是有这种万能逼近定义 就是相当于 就给我们的这个模型 有了这个理论的背书 就是这样的一个表征 它能够表示任意的函数 那这样一来的话 这个对 就相当于是 把我一直以来的这样的一个执念 给它就给它close掉的 嗯 对 在看之后 [00:16:19] 你的探索是怎么延续下去的呢 后面跟这个工作还有关系吗 对 就是看对我来说 它更像是一个例子 一个什么样的例子呢 就是我人通过拍脑袋 我能够去设计出一个新的架构 我觉得我这个人思维模式 有的时候 有点偏抽象吧 或者有点偏high level 就是看成功之后 我想的不是说 怎么样把看去应用到不同的场景 而是说我在想 我怎么样复现 我能提出新架构这个事情 对 所以这也是导致了我后面 这个physics of AI 就是对AI的物理学的探索 就我觉得设计模型本身 应该是一门科学 它不应该是像 我们现在这样 Transformer拍脑袋拍出来的 GAN拍脑袋拍出来的 Resnet拍脑袋拍出来的 GAN拍脑袋拍出来的 那这个就非常的不scalable 就是我觉得我们不应该scale 就是compute或者data 我们应该compute这种 AI模型的设计 但是这个东西怎么去scale 那这个又是一个巨大的 一个research的问题 [00:17:20] 所以就是在看之后 其实我觉得它对我来说 是一个出发点 就是我会更多的去思考一些 Math Science上面的东西 某种意义上 就是我是怎么样思考出来的 然后我想把我的思考过程 给帧流到一个模型当中去 所以就成了我的一个新的执念 这个也是我现在参与创业 做的这个AFAI 想做的一个事情 就是把我自己 或者把这个世界上这种 顶尖的AI研究员的这种脑回路 给帧流到这个模型当中去 甚至不是帧流 甚至我觉得能够产生一些 最顶尖的人类的科学家 和研究员更好的一些东西 但是大家说Transformer的时候 也会说它是抽中了GPU的彩票 就是它跟芯片 它是更适配的一种模型结构 那如果基于不管是Physics of AI 还是AFAI 设计出一种新的模型结构 那它跟当下的这个硬件 它能适配吗 嗯 这是一个好的问题 对 其实这更加说明了 就是Transformer 其实在算法上也没有那么厉害 它是中了这个硬件的彩票 [00:18:21] 就我其实挺同意 就是赛宁 就是之前赛宁和你的采访里面 赛宁的一个观点 赛宁就是说大语言模型 它是反Beater Lesson的 就是大语言模型它能成功 它成功的点在于语言 它成功的点不在模型 就是因为语言是 我们人类演化了百万年 相当于自然给我们的一种馈赠 然后我们把这个礼物 把这个馈赠拿过来 然后在上面 其实你做什么样的模型 只要这个模型 能够把这些馈赠给吃下去 那它就是一个好的模型 它可能是Transformer 但平清宇宙里面 它可能是另外一个模型 它都是有可能的 其实我们现在已经有了各种各样的变种了 对吧 比如这种 这种Linear Tension 这种模型 所以说 对 所以说对于 语言模型来说 我觉得这个地方的架构设计 还相对来说 没有那么精巧 是因为语言本身是一个 已经被压缩的很好的一个模态 但是对于很多其他的模态 比如说像视觉 我觉得这个也是很多 [00:19:22] 现在世界模型公司想要解决的问题 它这些模态 并没有被压缩的很好 所以这个时候很重要的一点是我们怎么样去构建一个可以压缩的模型 这个模型它不仅仅是说像Transformer一样 我去把所有的知识给记下来 而是它能够去学到抽象的表证 这个其实也是人我们最擅长的嘛 因为我们人这个世界的变量实在是太多了 但是我们人要我们的祖先 我们要能存活下来 我们需要去理解 我们存活最重要的要素是什么 我们最重要的要素是 那个地方有个果子 我要把它摘下来 我吃下去我今天就不会饿死 然后那个地方就是有一只老虎 然后我不能被它发现 就是人因为这个进化的原因 我们不得不去特别擅长 就是识别海量信息里面最重要的部分 但是这个恰恰是现在的AI还不具备的 这种抽象的能力 对所以这个我个人是觉得 为什么模型设计会变得更加的重要 [00:20:25] 在后LM时代 我觉得会变得更加的重要 是因为LM的成功不是因为模型 当然了我说这句话也有点马后炮的意思 对吧就Transformer 就比如说它这种Attention的机制 是能够让信息在上线文方向上 很快速的进行传播 这个是像之前的模型 像RN或者LSTM那一代模型 所不具备的 那这个确实是它的一个创新点 但是可能只要我找另一个模型 另一个模型它也能够让我们 在上下纹上面 有很高效的这种信息传播 那对于那种模型来说 可能跟Transformer是一样好的 就是说它牛不是因为它叫Transformer 它牛是因为它能够在上下纹上 有比较高效的信息传播 以及Resnet也是 它牛不是因为它叫Resnet 它牛是因为它能在深度方向上 有很高效的信息传播 有很高效的这种T度传播 你自己觉得你自己是一个什么样的研究的英格呀 从你的本科到你的博士 我觉得我其实是有一条很清晰的主线的 [00:21:25] 但这个其实也是我后知后觉 就是有很多人问我说感觉你东做一下西做一下 然后后面我再慢慢的总结出来 从点连呈现 是的 是的 就是这个主线说的就是如何去嫁接 神经和符号这两个世界 或者更具体一点就是如何去嫁接 AI 和 物理或者更一般的就是自然科学 对因为我们人所居住在的这样的一个宇宙 居住在这样的一个自然的一个环境里面 我们是非常擅长这个这种符号 就是虽然我们不一定能够显示的写出来 牛顿方程 但是我们却非常擅长 就是能够去 就比如说我抛弃一个东西 我非常擅长去预测 它下一个时刻会出现在什么地方 那这个其实是 就又是神经这一部分 带给我们的一个能力 对 所以说我整体的研究是 想要去嫁接 AI 和科学这两支 那 AI for Science 说的就是说 现在的 Science 它太 Symbolic 了 我想用 Neural 的东西 [00:22:27] 去补足这个 Symbolic 的东西 这是 AI for Science 为什么科学是符号主义的 是因为它有很多物方程式 对 我觉得至少物理 它是一个非常符号主义的一个东西 嗯 那化学生物可能也有一些 不少的这样的一些经验性的东西 然后这个是 AI for Science 那 Science of AI 呢 就是说 我不满意于 AI 是个黑核 我不满意于 AI 它就是一个神经的东西 然后我要用符号的东西 我要用 Science 的东西 去描述 去理解 去改进 去设计我的这个神经的东西 这个是 Science of AI 所以 Ai for AI 其实我说的 AI for AI 其实和大家现在说的 AI for AI 也有点不是完全一样吧 大家现在说的 AI for AI 可能是说我拿一个 Coding Agent 去写 Paper 或者说我提升自己的这个 这个训练的这个 Pipeline 那这个就还是说 从神经到神经 就没有闭环进我的这个 Symbolic 的部分 所以我的 AI for AI 我是想用自动化的方式 去做 AI 的物理学 就是用 AI 来辅助我们 [00:23:28] 更快的去理解 AI 本身 然后这个事情最后 又能够闭环到不仅仅是理解 而是去提升 AI 为什么一定要引入符号学呢 就是没有符号主义也很好啊 只要你能 AI for AI 就可以了 嗯 对 这个地方 我觉得有一点取决于你的 Belief 就是我的 Belief 是 AI 它是一个半物理 半天生物的这样的一个东西 那物理它是一个 我觉得可以这么来讲 就是用 Elias Escaver 说过的一句话 就是Intelligence is Compression 或者反过来 Compression is Intelligence 就是我觉得符号 是一种极致压缩的体现 就是当我们 能够把一个东西符号化 这个东西意味着 我们能够对眼前的数据 做极致的压缩 那这个其实是 像物理学这样的场景 我们是有这样的一个 Luxury 就是我们是能够去 给它压缩成符号的 但是可能对于像 化学或者生物 [00:24:29] 或者一些更 社会科学 可能我们确实没有办法 把它给符号化 所以我觉得这个也是 我认知的一种演化吧 就是比如说你如果在去年问我 这个AI的物理学怎么做 我觉得它最后一定是符号化的 但是我做的越来越多了之后 我会意识到 可能我做一个预测器出来就好了 就是说因为物理最后的目的也是预测 我不一定非得用一个符号的理论去做预测 那现在我都做了一个预测器了 那这个预测器 其实可以是一个神经的东西 它可以就是一个neural network 它可以不一定是符号的 只要它能够有用 只要它能够在某些场景预测的还不错 就我特别同意你说的 就是它不一定得是 AI 或 AI 它不一定得是一个符号的东西 它可以是一个神经的东西 但只不过符号的东西 我觉得还是 so far 还是我个人的一个执念吧 就是因为 符号的东西它更可解释一点 符号其实是把它从一个经验科学 变成理论科学的过程 是的 对 而且这个地方 符号其实它也是有不同的level的 [00:25:29] 它也是有不同的层级的 这个我特别喜欢举的一个例子 就是说 对应到天文学 天文学是有三个阶段的 第一个阶段是地骨 它这个人去大量的关心 它会去记录什么星星 在什么时候 在什么地方 这是第一个阶段 这是一个数据的阶段 然后第二个阶段 是开普勒 开普勒 它会去 拟合行星的轨迹 然后它会发现 行星的轨迹是椭圆 然后这个时候 就已经有了经验公式 然后第三个阶段 再是牛顿的阶段 就是牛顿 他会去把开普勒的这些经验公式 拿过来 就开普勒的三大定律拿过来 他说你这三大定律仍然不本质 你还需要三个定律 我给你写个引力公式 我可以把你三个定律 我全部给你预测 所以 这就是一个典型的一个压缩的过程 就是在地骨时代 你需要把整个数据表给记录下来 它就非常低效 但是你到了开普勒时代 你一个椭圆方程 然后再加上一些开普勒三大定律 就可以把这些数据很好的归纳进来 [00:26:31] 然后再到牛顿时代 牛顿时代说你开普勒仍然麻烦了 我可以给你压缩的更小 我可以给你把这个东西压缩的更小 对 对应到现在AI 其实我们大体上是处于一个 就看我们怎么衡量了 有的时候会说我们现在是处于第1.5个阶段 什么意思呢 就是我们其实有了大量的实验 但是呢 我们的经验规律其实还不是很多 就比如说像 Scaling Law 其实是我们 为数不多的吧 知道的几个经验规律 它跟开普勒定律的地位是类似的 我们现在还远远没有到AI的牛顿这个状态 对 当然 有的时候我又会说 我们其实更悲观一点 我们可能现在是0.5 就为什么这么说呢 因为 地鼓它好说歹说 它把望远镜对着了星空 它会去测各个星区的星星在什么地方 但是我们现在过度的聚焦在过早的收敛 到比如说像Transformer这种类型的架构上 我们似乎已经失去了探索其他 [00:27:32] 类型架构的这样一个Motivation 所以就有点像是地鼓 它就盯着一片星区 然后过分地沉溺于这片星区 哇 这片星区实在是太美妙了 然后就忽舌掉了对其他星区的一些观察 所以从这个意义上来说 我们现在可能 可能连地鼓时代都还没到 可能连数据 大数据的时代都没到 就是说我们这个数据 它是只针对Transformer 只针对很少的几分 这种模型有效的 我们还远远没有到 能够看到整片星空的这样的一个阶段 我要给大家解释一下 因为子民现在的创业的方向 参与创业公司的方向是AFOAI 所以刚才我们在讲 他所相信的AFOAI是什么 我们刚才吃饭的时候 你也聊到你当时在MIT的时候 其实没有想过要创业 还是想着要当教授 然后去了Stanford才想着要创业 你能把这段经历给他讲讲 对我觉得MIT和Stanford 还是挺不一样的两所学校 在MIT呢 大家就还是比较学术 比较偏保守一点 就比如说24年 那会儿在MIT 这个大家 就是我的同学吧 [00:28:33] 都觉得湾区那些人搞的agent 都是在骗钱 对所以说呢 就是说 一直到可能 就是25年5月 那个时候拿了清华的offer 我的mindset都还是说我要 就我要在学术界 然后做出更有影响力的工作 我不要跟你们工业界那些人 同流合污 对对现在看来 那个时候就太naive了 就是或者就是太理想化了 或者用比较流行的话 就是说还没有拖下 这个孔一挤的长山 所以MIT的人的信仰是什么 MIT的信仰就是我们 比如说用5年的时间 就能写出AI的物理学 有了这个AI的物理学之后 我们会发现 现在我们投入这么多资源 完全就是在浪费 因为我们可以从第一性原理 去推导出 最优的架构是什么样子的 所以你也可以理解 就是我为什么 那个时候特别看不上工业界 因为我觉得你们 你们就是有钱 对吧 其实从这里能看出 你理解的AI和AI 和大部分人理解的AFI 也是不一样的 也是不一样的 这个你理解的AFI 还是蛮脱胎于MIT的文化的 [00:29:33] 我觉得 因为你还是在想 最优的模型结构 是的是的是的 对 但是我现在创业呢 我觉得就是参与到创业当中来呢 我觉得我是有一个 比较interesting的一个历程 就是我是比工业界的那些人都更 某种意义上更学究 或者说更理性一点吧 也不能说他们不理智 而是说他们看到了一个可行的路径 就快速的推 我觉得也是可以理解的 但是就是从学术的角度 会比他们更理性一点 但是我又比学术的那些人 老学究们更疯狂一点 你处在中间 对我处在中间 然后我的疯狂就使得就是老学究们就会觉得 那可能AI的物理学就是需要做几百年 就是需要慢慢的做 但是我现在意识到了 可能如果还是靠我们古法科研 就是我这个怎么勾出来 我就我不是凭空说的 对吧 因为物理学从亚里士多德时代到现在就是2000年 对吧 从牛顿到现在400年 那我们现在倒没到亚里士多德时代 [00:30:35] 我其实也不确定 这就是对于AI的物理学来说 对当时在MIT的时候 那个时候我是特别乐观 乐观的意思就是说 我相信在学术界靠几个聪明的脑子 我们就可以把AI的物理学写下来 然后就可以save the world 或者kill the world 我不知道 对那就是不需要那么多的试错 我们就可以把这个模型 就是给它设计出来 给它训练出来 对 那个时候其实我的实验已经做了很多了 就是已经有大量的这个 这个是做什么实验 这个实验就是AI的实验 对 但是慢慢的后面呢 我觉得一方面是 我们在这个就是AI的物理学这条路径上面 走起来发现没有那么的顺利 就这么让你绝望了 也没有绝望吧 是我仍然相信它最终是能够做成的 但是我是会觉得 这个时间线不是我在有生之年可以看到 就如果我们不是用 AI for这个Physics of AI的办法 [00:31:36] 而是用古法科研 去理解Physics of AI 最多我说我招10个学生 就是我招100个学生 但是我仍然觉得这个不是特别scalable的一个方向 对 所以这个也是我现在参与到创业中要做的是 要去scale insight 就是因为我觉得AI的物理学追求的是 understanding和insight 对当然有了understanding和insight之后 最后还是会闭环到 它告诉我们应该怎么去提升模型 但是第一步是understanding and insight 就是我们不能够跳过这一步直接到提升模型 当然了你能直接提升模型那是最好的 但是现状是可能你想100个想法 可能有一个想法 somewhat work 但是如果我们不跳过中间的步骤 我们先有了这个understanding and insight 它能够更快的帮助我们去去更好的设计模型 从那个不想跟工业界同流合污的你到Stanford以后决定要创业的你发这个变什么变化 你在Stanford多久 我在Stanford其实只待了6个月 [00:32:37] 对但是我觉得对我来说是像开智了一样 对我觉得也不想就是说哪边更好吧 但确实Stanford就是我身边有很多人都在创业 就是有一个是我一个很要好的朋友叫高温浩 对他在湾区那边现在也在创业做的是AI for chemistry 他跟我一开始也都是在MIT去读博士的 所以我们一开始我们的话风还挺相近的 就都是瞧不起创业 瞧不起大厂 但是去了Stanford之后我们是同时开始做博后的 然后他就在那边大了两周就跟我说 哦 子明我要创业了 我们之前是每周吃饭嘛 每周吃饭我们就是聊的学术聊的什么 然后他开始创业之后他就开始教我这个创业 应该怎么创业 他的变化来自于什么 才两周 他的变化可能他也有类似的朋友给给了他这样的一个刺激 我不知道 他让你受到刺激的是什么呢 就是在你们吃饭的过程中 我觉得主要还是就是你特别相信你的peer [00:33:38] 就尤其是你觉得跟你风格很像的peer 当你看到和你风格很像的peer 他做出一些改变 他做出一些你之前觉得很危险 你之前觉得你做不到的事情的时候 你就会去想是不是我不够激进 是不是我太在舒适区里面了 这个是一个 然后另一个也是我在Stanford待的那个组里面 我在Stanford博士后我做的是Neuroscience加AI 老板也是特别有名的这个Andreas Tolias 他也是全球做Neuroscience Foundation Model 最顶尖的几个人之一 我虽然只有六个月 但是弯曲的这个节奏确实非常快 就是我刚去的前两个月 他们那个startup还可能在秘密的筹划吧 也是个New Lab 算是New Lab 但是他们更偏Neuroscience一些 他们是希望能够从Neuroscience的一些principle 来去解决AI防这些model的问题 就更像Neuro for AI 对神经科学 就比如说猴或者说老鼠 他们脑子里面的一些表征 [00:34:38] 能不能够用来去约束我 这个artificial neural network 这种人工神经网络中的这些表征 然后人脑子中的一些结构 能不能用来去约束 这个人工神经网络中的一些结构 等等等等 大概做这样的一个事情 然后我也是就目睹他们从筹划 到最后announce的这样的一个过程 然后基本上 我觉得对我来说也是一种教育 基本上我刚去的时候 他们可能在开始筹划 然后当我离开之前的一个月 他们就announce了 对我觉得对我出动也挺大的 就是因为我觉得Andreas 他也是一个特别pure scientist的一个人 然后我是目睹了 他也是从pure scientist 往entrepreneur转的这样的转变 对 然后当时当时我跟他说 我有创业的想法的时候 他也说那你就带我们公司好了 反正我们公司也想做这个 AI scientist 也想做AFA 对 但是后来想了一下 还是觉得就有点寄人理下的感觉 为什么 [00:35:39] 我觉得我们的路线也不太一样 就是我们approach AI for AI的路线也不太一样 就是我还是希望能够 至少早期的科研R&D这方面 按照我的意愿 按照我的想法去退 后面这个东西怎么去做产品 怎么去商业化 这个我觉得就我也open 但是他的DNA得是你的这个方案 是的 对原生的想法 是的 他这个技术 他的这个想法 得是我原生的想法 对 这个可能也是 学术圈的人会有一种控制欲吧 会有一种 就是很强的 就是说这个想法得是我原创 这个想法得是我提出来的 当然 这个也还是我现在的想法 或许我过段时间之后 会发现这个也是一种长生 你的那个导师 他有跟你说 他为什么要从一个Scientist 转成Entrepreneur吗 其实答案很简单 他跟我说的答案很简单 就是因为他们要做大量的 这种老鼠跟猴子的实验 那这些实验他是真的需要去 用到很贵的仪器 所以他在公司做的事情 [00:36:41] 其实跟在学校做的事情 是差不多的 只不过就是说 公司那边会更多的去思考 就是这个东西要怎么去商业化 当然他说的是他们的投资人 跟他们说三年之内 你们不用考虑商业化 这个三年你就安安心心的做R&D 因为确实你做这些猴子的实验 你确实这个东西急不得 你去采数据 你就是需要人去养猴子 这个周期你是避免不了的 这里也说到了一个 我们今天很想聊的话题 就是今年出现特别多的New Lab 你年初的时候 可能还是在硅谷经历这一波New Lab 包括也亲身的经历了 他们整个的筹备到发布的过程 然后回国你又组建了自己的New Lab 为什么在今年这个时间点 中美两边都出现这些New Labs 他们大量涌现背后的本质 可能是什么呢 我觉得这个地方就是一个人才选择的问题 就是对于顶尖的人才 你的选择无外乎就那么几个嘛 [00:37:42] 就是要么在学界 当然现在AI其实 在学界的人 其实绝大读书也会在业界跨一下 就你要么就去大厂模型厂 可能做一个大头兵 那你要么你就自己出来单干 我觉得这个也是 就是能有这么多新的New Lab 也是就是现在的这个范式逐渐收敛的一个过程 就是现在的人才 他不太希望去大厂里面去当大头兵 也是下一个范式 下一个Transformer 会是用我的这个路线 还会有下一个Transformer吗 我觉得他不一定是Transformer 他不一定是一个新的架构 我觉得他可能是一种新的范式 就像我们刚刚聊到的 就是其实现在AI 不管你是Transformer还是什么架构 他最大的一个问题是没有办法做抽象 所以他就只能够说 要么你喂给他的数据 就已经足够的抽象了 比如说像语言 要么你就是给他喂大量的数据 强迫让他涌现出抽象 像VLA像世界模型 其实就是这个样子 但是so far仍然不是很好 可是因为抽象实在是太差了 [00:38:44] 对于视觉来说 这个抽象实在是太难涌现了 我的意思说 还会有下一个Transformer吗 我觉得当然肯定会有 但是我想说的是 他这个时间周期的问题 就是为什么不是 就是已经有Transformer架构 已经有了现在这样 已经部分好用的模型 是不是就应该在这个模型基础上 去做工业化 就是把它推到应用场景里 还是说我们要继续 在这里探索新的范式 然后涌现出新的一种结构也好 或者创新也好 就是为什么大家现在的选择 是出现了这么多New Lab 而不是一门心思 就往前面推进 就是基于现在这个范式之下的 这个应用 嗯 我觉得是 对于一些方向 是还是需要一些Research 它并不是完全已经 路径清晰的事情 就比如说我们这里 在做的这个Research 就AFO Research Auto Research 这个事情 它不是一个路线已经完全清晰 甚至说在非常早期的 这样的一个事情 对 当然了 就是说 Coding其实已经非常成功了 就AFO Coding也非常成功了 [00:39:45] 那下一个范式 其实自然而然的 就是AFO Research 但是我是认为 Research和Coding 有很大的不同 就是Coding 它是一个高度结构化的 这是第一点 第二点是 它是有大量的数据的 就是我们已经有了Github 在Github这个上面的这些数据 是远比其他互联网上 其他的部分要更高的质量的 结构化更强的多的 但是对于Research来说 Research它不是一个被结构化很好的 这样的一个数据结构 就是我们现在还大量的在说 我们需要研究的直觉 我们需要研究的这个品位 就是当我们说这些词的时候 其实就默认了研究 它不是一个可以很好 被结构化的东西 就是一旦当一个东西 可以被结构化 可以被标准化 可以被规模化 大家就应该会对这个东西驱昧 但是我们现在还没对Research驱昧 说明它还没有被 结构化 被标准化 被规模化 那我们要做的 就是我刚刚说的三步 第一步是首先要结构化Research [00:40:47] 因为我们有的时候 我们自己做Research 好像是乱的 我们脑子里是乱的 就是我这里蹦一下 那里蹦一下 那这些数据其实是没有被沉淀下来的 那未来我们要沉淀下来的 这个关于Research的结构 就比如说我们先观察到了一个什么东西 观察到了一个什么现象 这个现象预示着这个系统里面可能有什么样的问题 然后关于这个问题我有什么样的一个假设 然后这个假设告诉我们 下一步我们应该去做什么样的一些操作 然后我下一步做的这样一个操作 是不是真的能够对我带来训练的提升 就这样的一个闭环 这个是我们应该最近会release的一个博客 就是我们会讲我们的这一套方法论 以及它的一些初步的一些结果 那我们这一套方法论呢 缩写叫做Office 就是O-P-H-I-S 这个O呢就是observation P就是problem H它是hypothesis I是intervention S是speed up 就是说我们认为所有的research paper [00:41:48] 都应该按照这种结构去对它进行结构化 然后我在做科研的过程中 当然它所有的科研不会是说那么顺利的 我这样的一个思维链就下来了 我可能是在不同的节点当中来回的去跳 但没关系 但是所有的东西至少 我们要对它结构化成 它是O 它是P 它是H 它是I 它是S 然后有了这样的一些结构化的东西之后 我们相当于创造了一门研究的语言 当然这个说的有点玄学 就是我是认为研究的语言 它大体上是基于自然语言的 但是它背后的结构是需要我们自己去做抽象 自己创造出这样的一个结构的语言 那一旦我们有了这个research的语言之后 我们就可以像训大语言模型一样 我们训一个research language的一个language model 那那个时候这个research它就能够被自动化 能够被规模化 但是首先第一步是我们要结构化这个research 这你在说你现在在做的事情对吧 是的 我的意思是说为什么现在出现这么多new lab 你有没有一些观察 [00:42:48] 嗯 就我觉得new lab也是就是找到了现在主流的范式的一些痛点吧 然后auto research 是其中的一个例子 就是说现在用coding agent的这个范式接着往下去做 其实它会有一些missing part 就像我刚刚说的 它这个结构还没有被structure的很好 然后还有一些痛点 就比如说世界模型 那世界模型它就是需要设计一些比较新颖的架构 那对于这样的一些方向 它也是现在的这个范式所达不到的东西 对所以简单来说 我觉得new lab的出现就是因为当前的范式 一个是你不想去做大头兵 第二个就是说当前的范式有一些明显的一些痛点 就是明显打击不到的地方 而且那些地方呢 有的时候可能需要一些早期需要大量的research 而不仅仅是说我上来我去兑资源 我去兑工程就可以做成的 对然后我刚刚举的两个例子就是说 auto research 和这个world model 我觉得是我认为两个我能看到的比较重要的 就是现在当前范式不能立马解决的问题 [00:43:50] 嗯 简单来说auto research 或者说AI for AI 它其实都在讲一个事 就是我们要训练一个AI researcher 对 把它训练成一个AI researcher 能够自主的去做研究 然后世界模型的本质是在说 它要给机器人训练个脑子 它其实是for robotics那个赛道的 对 这也是当下所谓的new lab融资 资本涌入最活跃的两个方向 啊 是的是的是的是的 你们实际融资感受怎么样 在今年这个市场上 能不能给大家说一些体感 你是三月份回的国 对 我是三月份回的国 然后大概是四月底入职的清华 然后五月底开始参与融资 然后这个过程 我的体感是就太疯狂了 怎么说 就是我觉得像世界模型 当然更大的还是AI for science 我觉得很多投资人会把我们归类到AI for science 其实就是因为AI for AI最后它for的还是一个 [00:44:51] 要for的一个东西 可以是AI for AI for世界模型 也可以是AI for AI for science 你们for的是science吗 可以for的是science 但是我们现在还没有定 对 但就是说 其实很多投资人会把我们去画在AI for science下面 然后按照AI for science去聊 但但反正不管是AI for science 还是世界模型 还是这个AI for AI 我觉得都是一个 就一级市场是一个非常formal的一个状态 有多formal 因为我也没有一个比较吧 对 所以我也很难说 但确实就是说 大家都在这个相互打担消息 然后大家都投项项目的动作就都非常的快 嗯 因为close也非常快 而且从种子轮到后面就是 种子轮加轮 加加轮 加加加轮 可以无限的加下去 这个是现在融资的一个 比较常见的一个策略吧 就是说上一轮的投资人没进来 对 那我下一轮 那我就开一轮 但是我开了一轮之后 下下一轮的投资人又没进来 然后就相当于是一个连续的融资的一个状态 [00:45:54] 对 你当时为什么没有想在美国创业 你为什么做着这个合国的动作 就是我觉得我Auto Research这个事情是需要 比较多 然后高质量 高智商 就是高人才密度的这样的一个 对 因为我就去观察嘛 因为我在MIT其实也带过 二三十个本科生 我的体改是 其实平均水平是远不如清北的本科生 那我要做的这个事情 我是要带小天才的 就是我们这个事情是需要小天才加入的 对 然后我要需要很多的小天才 那就回到 就加入清华吧 也不叫回到 因为我之前是北大的 就是加入清华 然后顺便也能从北大那里豪欠学生过来 那就相当于能聚集我觉得不是全国而是全世界最聪明的学生 得偿所愿的用 对啊 就是现在我在七次研究院我带了十几个学生 就跟我在七次研究院这边 就都是我觉得是非常非常顶级的学生 当我们说AFOAI和New Lab的时候 我们自然的会想到田园栋在贵国那家公司 [00:46:57] 对 RSI Recursive 你跟他的方向有什么不一样吗 就是当我们在说AFOAI你们在做的是一个事吗 嗯 我的理解啊 我基于对他们最近 他们最近发布了一篇博客嘛 他们博客就是显示了他们的第一步的一些努力 我感觉他们做的更多的还是说偏Coding Agent的改进 就是我的理解是Coding Agent的这个路线更像是说吧 做一个更勤奋的AI for AI 就是我有超强的行动力 我可以不停的在这里迭代 但是我们这里想做的AI for AI是一个更聪明的AI for AI 比如说我提三次想法 可能你们有一个就work了 之前的话你Coding Agent可能是你提100个想法 他你们只有一个能work 对 当然最终了这个勤奋更聪明都是需要的 所以我觉得我们是两个正交的方向 然后in the end最终我们会在某一个地方 去对两个approach进行一个整合 你跟他们也聊过对吧 在回来之前 对我跟田园栋也聊过 当然田园栋其实 他本人是挺支持Science of AI的 [00:47:58] 所以这个我其实 说实话我也有一些危机感吧 就是如果说他们的路线 最后会变得和我比较相似 那就一定是田园栋做的 对 对因为我跟田园栋就是关于Science of AI 关于以及就是说 就之前那个 他做的那个grokin的研究 我们之前也有研究嘛 对所以我们taste其实还是非常相近的 对但是之前的话就是怎么说呢 我觉得还是吧 就是不完全一样 所以我还是想按照我的意志 按照我想象的这个东西去推这个事情 对 我发现了你对你这个原生的想法非常的在意 你这个原生的想法来自于哪一刻 就是AI for AI 或者是Fixes of AI 的这个想法诞生于哪一刻 我觉得最近AI for AI 的想法诞生于我把自己当成一个模型去做训练 这个是我从今年年初开始做的一个事情 就是我每天会随机的去拉一个数据集过来 随机的拉一个模型过来进行训练 [00:49:00] 然后呢我会在我做实验之前我去问自己 现在你来预测 这个训练曲线会长成什么样子 我就日复一日的做这个 我大概做了60天 就是我每天做 然后这个你如果去看我个人网站上面 我个人网站上面是有个博客专栏的 然后你会发现我早期是跟得非常平函 我每天都跟 甚至有的时候一天两跟 就是因为我在那段时间里面 我基本上就是闭关 然后把自己当成一个模型在做训练 就是我今天做了一个实验之后 我就去训练我的大脑 这个场景 然后把这个模型 这个数据集 这个优化器 它会产生这样的训练曲线 然后呢我做这样的一个训练 我发现我一开始预测能力非常差 我可能连确实都预测不对 但是我大概自己训练 自己训练了四五十天之后 我发现我开始变准了 就是我在做实验之前 我大概能预测 它这个实验的结果是什么样的 甚至可能有的时候 我前几天做的是Language相关的实验 我今天做的是一个Vision相关的实验 [00:50:01] 我也能给它预测准 这个是为什么呀 怎么预测的呢 我不知道 就是我只是训练我的脑子 就是我现在还没有办法 把我脑子里的东西给它给写 写成自然语言 它可能是一种视觉的 reasoning 然后可能还有一些 就是可能它在浅空间有些 reasoning 但我其实也说不清楚这些浅空间 reasoning 是什么 就是我在做实验之前我就能够部分的去预测 这个实验的结果是什么 然后就是因为这样的一个 在自我身上 在自己身上这个人体实验 让我相信存在的原模型这个东西 就by the way 原模型就是说 我的输入是一个模型 以及可能还有其他的数据集是什么 优化器是什么 然后输出就是这个模型的训练曲线 所以我在今年年初那两个月时间里面 基本上就是把我自己当成一个原模型的训练 训练到四五十天的时候 我突然grock了 我突然顿悟了 然后是因为这样的一个 [00:51:02] 我就是这样的一个 近似于苦行僧似的一种修行 让我意识到原模型是可能的 你为什么想来去做这个事 我觉得motivation还是AI的物理学 就是说如果我能够去 预测清楚接下来会发生什么 那相当于我脑子里其实是有一个世界模型 其实是有一个关于AI的世界模型 或者关于AI的这个物理学 因为物理学就是说 我拿来我的物理理论 我不用去做实验 我就能够通过simulation 通过计算 我就可以预测出来之后会发生什么 对 所以相当于是一种先知的能力 就是你只要能够预言之后会发生什么 你就一定是掌握了某种世界模型 基于你自己做这个人体实验 你相信是存在原模型的 然后呢 但是呢 这个问题就是说 我没有办法把我的这种knowhow写下来 因为so far我的这些知识都还是 以某种脑电波的形式存储在我的脑子里 那我下一步很自然的 [00:52:03] 我就要想我要把这个工具外化 就是我要把自己给拷贝一份 就我要做一个原模型 它能够取代我 就是因为我每天最多就做一个实验 把一个实验做得非常的仔细 这是人的bandwidth 这是人的带宽 最多做两个吧 但是一个模型 它其实可以一个batch 你就可以见到几千组东西 对 这个还是回到我之前说的 如果我日复一日 把我自己当成原模型去训练 我可能要训练1000年 可能需要训练几千年 但是我活不了那么久 所以我要去加速这个过程 我要去做一个原模型 这个原模型 它不像我一样需要睡觉 它不像我一样需要吃喝 会有情绪 它的任务就是去看各种各样的实验 然后去预测它们的结果 然后在我自己的人体实验上面 我发现四五十次 就基本上能开始有grock的迹象了 那对于原模型来说 当然可能原模型没有我那么 [00:53:03] 就是抽象能力那么强 所以它可能需要四五百次 但是可能无所谓 可能这个地方多消耗一点 这个计算资源也无所谓 所以这里想法主要还是说 我想把自己给外滑 我想把自己的脑子给外滑 它的AFOAI的关系是什么 我觉得原模型是AFOAI的一个 一条技术路径吧 就一旦你有了原模型 它可以做很多事情 比如你现在有100个想法 你不知道该是哪一个 更具体一点的吧 你有100个架构 你不知道该是哪一个 那么你原模型说的是 你把架构作为我原模型的输入 这个原模型就能够预测 这个模型 它的性能是什么样子的 那么你现在就不需要做100次实验 你就只需要用原模型全传100次 做100次预测 那这个是非常便宜的一个事情 当然了 最后我们还是要真的去做这个实验 但就是对于筛选想法这个事情 这是个原模型能够帮助 迭代的这个AFOAI的迭代的系统 [00:54:03] 更快的去迭代想法 就之前你如果没有这种好的直觉 你如果没有原模型做辅助 你可能需要 比如说100个想法 你需要都尝试 但是现在的话 这个原模型 它能够给你在你事前就去做一个排序 就能告诉你哪个想法 比其他的想法是更promising的 然后这个地方的想法 更多的还是说做AI的research 所以是一个AI for AI的一个东西 我觉得AI for AI 可能有的时候有点bus words 有的时候我会也会管它叫做Auto research 但是因为这个地方 我们Auto的research是AI的research 然后我们这个地方的Auto 也是用AI去做的这个Auto 所以Auto research 它其实也就是一个AI for AI的概念 对 世界模型说是预测下一个state 原模型是预测Next Token 你们这个算是预测一个实验结果 对我们是预测Next Curve 我们的实验结果就是一个训练的曲线 那你们的训练预料是什么呢 你们需要训练自己的模型吗 需要多少那种算力 怎么开始做这件事情呢 对 我们会先从Demo做起 因为这个事情 [00:55:04] 我觉得是一个三到五年 比较长期的一个事情 对于我们原模型来说 我们的数据是模型 这个地方有点绕 因为我们这个原模型 它是一种关于模型的模型 或者说关于模型的世界模型 所以我们这个地方的训练数据是模型 所以我们是要训练这些模型 拿到这个模型的训练曲线 这样我们就获得了我们的一个Data Point 然后我们再生成另一个模型 然后另一个模型 它会有一条对应的训练曲线 然后有了这样的一个Pair之后 模型和训练曲线的Pair之后 我们去训练这个原模型 就是用这个监督的方式 就是我的输入是这个模型的时候 你这个原模型应该预测 它的这个训练曲线 对用这种监督的方式 去训练我们的这个原模型 那这个它贵的点 就是说我们也是需要挺多的计算资源的 但它不像大模型一样 需要一个很大的集群 需要卡之间communication做得很好 因为我们这个地方 我们是要做大量的这种小模型 [00:56:07] 但是这个地方的我们小模型 不是说就是Transformer的小模型 而是我们强调的是多样性 我们强调的是要让这个原模型 见过很多人看起来非常奇怪的架构 但或许就是这个架构 能够帮助我们去跳脱出 这个Transformer 现在的这个Local Minimum 目标是什么 目标是发现下一个模型结构 这个是一个终极目标吧 最终我们是希望下一个Transformer 不是人发现的 不是人拍脑袋发现的 而是说通过我们这个原模型 这个原模型给我们预测出来的 那中间呢 中间要实现的是什么呢 中间阶段 因为你说下一个模型结构 也许是最终目标 那中间的目标是什么 对 中间目标还是 就是我们刚刚聊到的 去结构化research 然后去收集这种结构化的数据 然后训练一个 我们自己的这个research的这个模型 就是为什么我会这么去划分 因为好像中间目标 听起来它也是要训练一个模型 对吧 原模型是一个模型 我可能借用这个 [00:57:07] Rich Sutton 的这个Bitter Lesson Bitter Lesson 说的就是说 在短期当你数据不够的时候 你需要去引入结构 但是当长期当你数据特别多的时候 你就不需要结构了 对 所以说我觉得在短期 因为研究的结构化数据还是偏少的 对这种情况下 我们需要去引入结构 到我们的这个整个框架当中来 所以这个是短期我觉得比较偏 就更务实的一个事情 但是长期这个原模型 它是一个端到端的东西 我觉得这么说 或许有点像我们现在是要做一个 世界模型 就是短期 中短期是要做一个世界模型 长期是要做一个VLA 我觉得可能有点 我觉得可能有点 和这个趋势反过来了 但是 但是我觉得可能不重要 重要的是我们最终要做成FAI 那至于中间的路径是什么 我觉得这个就看着半倍 就是就边探索着 边往前去拱吧 为什么短期是World Model 中间是VLA 就是World Model in the sense 就是它有更多的结构 然后VLA in the sense [00:58:08] 就是它更端到端 对 所以现在这段你们还不训练自己的模型 现在这段其实更重要的是结构化 结构化research 然后以及收集相关的 就是结构化research的数据 怎么结构化research呢 因为你也说你们的目标 并不是说去做一个paper agent 不是说我就训一堆的论文 让它比如说发现下一个科学原理 因为论文其实是整个研究探索的结果 过程中的灵光一线 或者它的曲折 然后它的点点呈现 草舌辉线都是没有被记录下来的 你这个怎么来做这个结构化呢 因为论文都只是最后的一个结果 或者你可以说它是某一种公式 但是它可能还没有那么的被符号化 是的 我可以这么说 可能1%的AI论文 其实结构化做得不错 举个例子就是 朱泽源他们做Physics of RMs 那这个Physics of RMs就是结构化比较好的 就是说我关注到了什么事情 我决定做下一件事情 他的这个做实验的这个所谓的chain of thought [00:59:10] 就这个reasoning chain 配理链是非常清晰的 但是可能99%的paper吧 它可能就不会包含这么清晰的 这种研究的思维链在里面 我感觉在很长的一段时间里面 大家把展现思维链当作一种耻辱 为什么 你要显示你很厉害 你就要让别人觉得不可琢磨 对你就要直接把这个公式写下来 就是说这是我梦到的 这是我梦到的 不是我推出来的 这是我梦到的 那这样别人觉得你最牛 然后当然我写paper 我觉得也是受那个Max Techmark 这个的影响 就是我们写paper 一个是很平铺直序 第二个是也会把思维链写进来 但是毕竟这种会包含思维链的文章 虽然不多吧 但它也不少 OK 因为本来论文的基础就已经挺大的 第二方面是说 我们会收集我们自己的一些数据 就我之前 比如说和学生去讨论project的时候 会经常有一种感觉 就是我们的思维链 其实并没有被很好的记录下来 [01:00:10] 而正是这些数据 是我们做Auto Research所需要的 那之所以现在Auto Research还做得不好 其实可能跟架构 跟这个路线没有太大的关系 其实就是这个数据 现在还没有保留下来 对 那我们第一步是 首先我们要构造一个device 或者说一个software 这个是我们最近在 就是在做的一个东西 就是它能够更好地去采集 就是说我们整个思维链 采集就是说话 比如开会讨论 这个是思维链 对 最后要做得这么智能 现在还就是说 我在做下一个实验之前 我必须要强迫你去写一段话 去评价 你之前干了什么 然后你得出什么结论 你才能进入下一个实验 是一个很流程化的系统 目前来说还是个偏流程化的系统 这要多大规模的数据呢 如果是采集你们这几个人的肯定 太少了吧 我觉得这个地方分几种 一种就是说paper是有大量的 但它质量不一定高 然后人的话就是说 这个是我瞎说的 因为我们还在构建这个采集系统 就我们还没开始采 但是我预计 比如说我一天采十条 [01:01:10] 二十个学生加员工 可能每个人每天也能采十条 这一天就能采两百条 然后两个月就能采一万条 我觉得就是差不多可能开始够用了 就是可以开始训练这个模型 来振留我们自己某种意义上 台阶版数据接着你要做的下一步是什么 下一步就是训练一个这个模型 原模型吗 它不是原模型 原模型是一个特别终极 我们可以把它当成是一个 北极心意的一个目标 这个模型它就是去预测 我的下一个动作是什么 就是我们这个数据收集器 其实它不仅是个收集器 它也是个环境 就相当于是我是在类似于一个我的世界科研版 我可以在我的世界里面做各种各样的操作 记录下来我的这些操作 之后会有一个next action prediction 就是它就会预测 如果是子民 就比如说我学生 目前做了这些动作 然后卡在这个地方 它就可以调用子民model 如果是子民现在做 它会怎么去做 它就能够不需要我在场 就能够获得我的这个同样水平的这种反馈 但这样的话就是需要去训练一个子民model [01:02:11] 然后每个人都要训一个model 或者说把所有人的东西混成一个model 就是要训练一个model 对 当然这个也是我们在探索过程中 不断的在pivot 因为一旦开始做一个事情之后 其实想法以及路线每周都在改 甚至每天都在改 甚至每个小时都在改 只要你迭代的足够快 就比如说采访如果是上周发生的 我就不会讲这一趴 因为这一趴是我们这一周在迭代的事情 那如果你下周在采访 可能我们这个东西就已经做出来 就已经开始收数据 就已经开始有些初步的结果了 还有什么人有一些其他的AI for AI的路线 还包括现在的模型公司 他们也会说自己在做AI for AI 或者说他们觉得就是AI能训练 AI的时候会是一个标志性的时刻 就是现在主流的绝大多数人做的 还是说基于现有的coding agent 我不觉得说我的路线跟他们是矛盾的 或者怎么样 我觉得是互补的 可能如果细分的话 可能有些人更偏就是说找到下一个架构 就比如说我的梦想是说用AI能找到下一个架构 [01:03:11] 我相对来说不那么care生产paper 因为我在博士期间我就是个paper machine 然后我也知道这些paper写出来 其实真正有价值的可能就那么几个点 对但是写paper呢也是有它的价值 但只不过就是paper是一个 我觉得是一个研究的一个副产物 第一性原理就是研究的第一性原理 是拓展自己的知识图谱 paper只不过是说 当我的知识图谱足够大的时候 我一出了 就是我的脑子里装不下那么多东西 我必须要把它写出来 我必须要把它和我的同事去进行分享 不然我憋不住 就是我觉得我很多时候写paper 并不是说我真的需要一个paper毕业 或者怎么样 我真的需要一个paper干嘛 而是说它在我的脑子里 我就想把它给扔出来 我就想把它给dump出来 所以是有一些AI的公司 他们会像是paper agent 但这个就不太是我们的目标 我们的目标还是说 积累尽可能多的这个 AI的物理学的insight 这些insight它不一定是paper 当然我们想也能写成paper 但就是说这些insight 它能形成这个AI的物理学的知识库 [01:04:13] 能够帮助我们系统和科学的 在未来帮助我们去设计 更好的模型架构 这个是我们的目的 我看到你把physics of AI 拆成三个方向 空间上更细 时间上更细 平静宇宙间看的更细 这三个分法是怎么想出来的 我是喜欢从我们所居住的这个宇宙 角度来思考很多的问题 这是你尝试来解释AI这个黑核是吗 这是你的解释方法 是的 是的 在空间上看的更细呢 指的就是说 我不仅仅是关注这个模型 它端到端的行为 我也会去关心它这个模型 内部的某些神经元 然后它的内部表征 会有什么样的一些特性 这个是空间上看的更细 就有点像是 我们去做检剖 我们不仅仅是去看表面上是什么样的 我们也去看它内部 它的这个工作方式 工作模式是什么样子的 这个是第一个 就是在空间上看的更细 在实践上看的更细呢 这个就是说 我不仅仅只关心这个模型 它最后一个时刻 它的表现 它的这种性质 我也关心它是怎么样演化来的 [01:05:13] 这个其实在生物上面有一个对应 叫做 Nothing in biology makes sense except in light of evolution 它说的就是 如果你不从进化的角度来理解生物 其实在生物里面 没有东西是可以理解的 就是是make sense的 也是黑河 也是黑河 就是因为生物也是黑河 但是你从演化的角度来说 你至少能有一些理解吧 对 你可能会看你的这个祖先 他可能在某一时刻 他没有上陆地 对吧 然后他就一直在水里待着了 你就通过这种历史通过这种自然进化 你会有一些启发 看湿北环境 对 第三个呢 这个平行宇宙 我为什么这么叫吧 我觉得还是因为我的博士导师Max Tagmark 他是平行宇宙理论 他是提出者之一 当然这个地方平行宇宙说的很玄学 其实就是控制实验 什么意思呢 就比如说我有两个培养米 都有些细菌 然后这些细菌可能在不同的环境里面 对于一个培养米里面的细菌 他就觉得另一个培养米 它就是一个平行宇宙 那这个对应到我们人的科学上面做实验 [01:06:14] 那其实就是去做一些控制实验 在一个环境里面 我能训出来一个什么样的模型 这个环境可能指的就是 比如说我的超参数该怎么调 调成了另一个超参数 我就能得到限制不一样的模型 这个其实是朱泽源 他的这个Physics of R&M 里面其实很重要的一种方法论 就是他会去扫一个像图出来 就是Face Diagram 那这个像图其实也是物理学中 其实比较常见的一个概念 像图说的就是说物质它可能有不同的形态 它在不同的状态下 它可能有这个不同的像 同样的物质都是HRO 都是水 但它可能不同的压强 不同的温度 它可能就有不同的像 这个AI里面也是有很多的像的 不管是训练动力学还是什么 这个AI里面也是有非常多的像的 那我们很多时候会有一些know how 就是说什么trick它work了 什么trick不work 其实很多时候是针对这个像而言的 就是只有当你的实验是在这个像里面的时候 它才是work的 当它出了这个像 当它进入了别的像 [01:07:15] 它这个trick可能又不work了 那可能另一个trick才work 但我们现在之所以很混乱 是因为所有的人都在说 我的这个trickwork 但是没有人回答 我的这个trick在什么时候work 我的模型 我的这个系统在什么像里面它才work 所以这个其实也是 这个science of AI 或者physics of AI想要解决的问题 就是因为我们知道 no free launch theorem 告诉我们没有一个模型 没有一个trick 能够在所有的数据集 在所有的任务上 都比其他的方法更好 physics of AI的任务就是去理清楚 每一个trick 每一个架构 它的适用条件是什么 这个才是一种做科学的态度 而不是说 你做出来一个东西 你就在那里去卖 这个哎呀我们这个东西好 但是全然忽视掉了 可能它好是有一些适用条件的 嗯 Physics of AI 其实你想做的也是AI的可解释性 你试图把它的原理搞清楚 是的 就是我会比较警惕可解释性这个词 因为可解释性现在 就是不同的人 可能有不同的这种诠释吧 [01:08:17] 我们认为物理 其实就是在解释 我们的这个自然世界 那么是的 就是我是在做可解释性 Physics of AI 是在做可解释性 但是我们的这个可解释 要解释到什么程度 就我们不一定要像Athropics 一样解释到neuron level 当然我们 其实二十年底二三年 二十四年初 我们其实做了大量的这种工作 嗯 因为我们自己做了大量的这种工作 去解释神经网络背后 是在做什么算法呀 去理解一些neuron 我们自己意识到 这样的一些故事 其实有的时候没有那么的robust 就是你可能换一个随机数种子 它这个故事就完全不对了 或者说我们解释的有点过于微观了 好处是说它非常的具体 坏处是说它不一定鲁霸 我觉得大体来说可以说是可解释性 但不一定就是我们要非得做到像anthropic那种 机智可解释性的那种level 嗯 我有一点矛盾啊 你一方面在做fixies of AI 我理解它是试图理解AI的原理 理论化 我不知道这个理解对不对 是的 另一方面你要做的是AI for AI [01:09:19] 这两个是怎么联系起来的 就是你做AI for AI 需要去理解AI的原理吗 AI更像是一个它自己能够自动化 去做的事情的一个系统 一个机器 这中间需要人去把它的原理搞清楚呢 我觉得这个地方有一个gap 就是说之所以AI能够帮助我们去做一些自然语言相关的事情 是因为我们已经有大量的自然语言的语料 但是我们才创造AI几十年 我们其实并没有太多关于AI的语料 嗯 这个地方可能稍微有点confusing 就是说怎么建模型这些我们都是知道的 但是关于模型 我们训练一个模型 拿到它的训练曲线这样的一个映射关系 目前还非常不轻浮的 所以也就是说连这样的一个语言 连我们现在都还没有把它进行规模化 嗯 AI for X 它能成功的前提是X得有大量的数据 但是AI for AI 根据我刚刚的逻辑 或者说AI for AI research 其实AI research它其实没有大量的数据 至少没有大量的这种结构化好的这种高质量的数据 [01:10:22] 而结构化这个事情本身就需要physics of AI 对这里可能稍微有点绕 而且我需要显示的去说明我的这个想法是挺非主流的 这是因为AI for AI绝大多数人都想到说 我直接用AI去提升AI就好了 但我说stop 就中间其实还有一步 我们是先要做physics of AI 这个东西能够帮助我们去设计AI 但是人做physics of AI太慢了 古法科研做physics of AI太慢了 所以我需要用AI来帮助我们做physics of AI 所以我的AI for AI的全称应该是 AI for physics of AI for AI 有了AI的物理学它能帮助我AI 这其实就是我一开始问你的 就是连接主义的过程中需要符号主义吗 对你说你是连接主义和符号主义中间 是的 因为物理学相对来说是更符号主义的 那如果AI能够自精化的话 它需要中间有一个符号主义或者是 短期是需要的 就是这个短期我指的可能是100年以内 [01:11:22] 那更长期或许不需要 我觉得这个地方还是一个bitter lesson 更长期数据量大了就不需要了 更长期就是当AI research已经被结构化好了 已经有大量的AI research的数据了 就不需要了 但是像刚刚说的 我们现在连这个AI research 怎么样最好的去结构化都不知道 就更别谈说这个数据量有多大了 所以在这种情况下 我们需要很多的人的鲜艳 或者说这种symbolic的东西去做约束 Agent 某种意义上就是把这个连接主义 又往符号主义往回拉了一点 就harness 所谓的harness就是说 你不能太自由了 我要给你一些约束 某种意义上我觉得coding agent 它其实是在说明这个符号主义 把连接主义又往符号主义回拉了这样一点 但是我们做的这个autiversity这个事情 我们是希望比较第一性的从偏符号主义 为什么我要讲偏符号主义 或者我之前自己也捏造过一个词叫做结构主义 就是我会认为看它就是一种结构主义 就是我为什么不讲符号主义 是因为太多符号主义的hater [01:12:24] 就我一讲我们是符号主义 大家就说没意思没意思 老古董 但是这个事情我觉得符号主义跟连接主义 其实在历史上也是不断的在摇摆的 我们需要跳出 明司机 对对对 这一波AI是连接主义非常的厉害 那或许下一波我们又应该是往符号主义 又回摆一点 其实像我刚刚说的agent已经是代表了这样的一种趋势 anthropic做的模型的可解释 他们现在能做到什么程度 anthropic就是比较极端的 比较激进的 就是说我能理解当个neuron它在干嘛 可能这个当个neuron它是一个 比如说说脏话的neuron 那我把这个neuron给它shutoff 那它就不会说脏话了 但像我刚刚说的这种 粒子其实非常的不稳健 就可能你在一个粒子上面找到了 有这样的一个neuron 你可能换一个随机数种子 它在那个网络上面 可能就没有这样的一个行为 anthropic他们做的一系列工作 包括sparse autoencoder [01:13:24] 包括transcoder 其实都是基于这样的想法 就是说我能够 把模型内部的那些混合的表征 superposition的一些表征 给它伸到一个高维 但是很sparse的东西 这样的话 它能够把里面的一些原子的一些概念 给它抽取出来 但是这个我个人觉得 是有一些wishful thinking在里面的 我仍然很尊重它们 因为我二年底二三年初 我们做脊椎可解释性 其实也是同样的approach 所以我们知道这个东西 里面有什么样的一些水分吧 包括它们可解释性team的 像Samuel Marks Vesker Nee 然后以及我之前那个MIT带的一个本科生 最后都去anthropic了 也是最早从我们组做出来的 就比如 Vesker Nee去 anthropic做的那个怎么做加法 cloud怎么做加法的那个任务 其实也是我们组的一个paper 后面的一个衍生 对所以当我脱下长衫之后 我会觉得这些东西就都是很有趣的故事 但是what's beyond that [01:14:25] 这个其实我也一直在思考 但是最近我其实又开始 再重新在思考机制可解释性这个事情 我觉得还是因为到了一个新的 这个AI for AI的这样的一个框架下 我突然又觉得机制可解释性没有那么缥缈的 我觉得这个跟我之前的对于AI的物理学的判断是类似的 就是机制可解释性其实有一点像Biology of AI 就是AI的生物学 就是我之前也会觉得生物学我们发展了挺久的 医学我们发展了这么久 那AI的生物学机制可解释性也是需要发展几百年的呀 嗯 again就是回到了AI for AI的这个框架下来 我觉得之所以需要几百年需要几千年 是因为我们没有办法自动化 那一旦我们能自动化了 这个进展其实是可以是很快的 嗯 就是最近看到那个唐杰老师说要质朴 要投万亿级别的资源到机制可解释性上 就如果半年前的我看到 我会觉得这是在干嘛 哈哈哈 对 但是现在 就是放到了这个AI for AI的这个框架下 我觉得机制可解释性 它确实是一个好的目标 [01:15:27] 但之所以之前我觉得不promising 是因为它实在是太难了 那这个跟AI的物理学是一样的 就它是一个好的目标 但是因为它太难了 所以之前会觉得会很frustrated 但是现在有了这个autoresearch 就是至少我们在build吧 就是现在还没有 但是有了这个autoresearch系统之后 我觉得这些之前看起来非常 莫名其妙非常遥远的这样的一些北极星的东西 其实是有可能能在三到五年之内达到的 你觉得autoresearch或者说AI for AI的一个关键的节点会是什么呀 它的一个标志性的路标可能会是什么 我觉得是提出一个在一个垂直的领域 它都不需要很通用 就是在一个垂直的领域能够提出一个新的架构出来 不仅能够碾压现在已经有的架构 而且能得到人的这个endorsement 就大家都说啊 它这个架构很精妙 但或许也不需要 就是好优就行了 对 甚至不需要你看见 对 是的 [01:16:27] 我还是在想凯明 就是凯明的resnet大家为什么会用 有人说是很优美 但是我们不要忘了 当时凯明在imagenet上面是比第二名高10%的 所以我就在想 你要么就是用拳头把敌人打赢 你如果没有办法用拳头把敌人打赢 你这个时候就是需要一些口舌去说服别人 以礼服人 这个AFAI的系统 它能在一个垂直的领域提出一个新的架构出来 然后这个新的架构能够去刷榜 而且这个刷榜不是说我就涨1%的点 而是我能涨到10%的点 那这个Auto Research或者AFAI 它是AI路线图上的一个什么样的坐标 它是B经典吗 我觉得这里所有的词汇都有一点模糊 我觉得是necessary的 但是还不是充分的 我会觉得还缺一个东西 就是我们刚刚那些是一直在聊的 就是对数据去做抽象 因为我觉得为什么抽象很重要 因为人是有持续学习能力的 然后人有持续学习的能力 是因为人会做抽象 [01:17:27] 但是现在的AI仍然不会做抽象 如果说它能做抽象 最多是因为我们的数据本身已经被抽象好了 比如说像自然语言 所以我会觉得 就是要达到真正的AGI 除了AFAI还需要有一个做抽象的能力 然后做抽象的能力 是做持续学习的能力的一个必要的能力 就取决于这个我们对AFAI的定义是说 它需不需要具有持续学习能力 就因为听起来你这个AI的自迭代了 它左脚踩右脚它就上天了 嗯 就是说我说需要持续学习能力 可能是我对AFAI的定义可能更务实一点 就是说它能够在一个垂直的领域 它能提出一个好的架构出来 为了达到这个目标 其实不需要解决持续学习的能力 但是要解决AGI 它是一定要解决持续学习的能力的 现在有一种说法也是说 就是大模型的第一幕是Chatbot 第二幕是Coding Agent 第三幕就是AFAI 所以说其实AFAI 可能也是就是在这些模型公司的这些延长线上的 [01:18:31] 你觉得做一个Milab和这些模型公司的竞争来看的话 竞争优势是什么呢 我觉得就是bet a different thing 就是因为我的思路是从Physics of AI来的 然后这个思路其实在学术界其实也是非常先进的 就是相对来说比较早期的一个东西 但是我比就是学术界的那些人就更加激进 就是我是相信AI是可以加速这个Physics of AI的这个事情的 从模型上的角度来说 是一个过于risky的一个路线 但这恰恰是我们的机会 就是说因为我相信这条路线 而且我们其实有很多小天才 在我们的这个组里和在公司里面 我能把这些问题去做一些拆解 然后拆解完了之后是这些 就是小天才能够很好的去把它们给进行完成 我们是有自己的一个非常快速的一个迭代的一个东西 我们在迭代 但是我们的这个东西可能一直到做出我们的GPT-3之前 可能大厂都觉得我们是在胡闹 嗯 是 对所以我觉得某种意义上是一种基于不同的信仰吧 [01:19:33] 我们相信这个事情我们就会让它发生 大厂绝大多数人不相信这个事情 那就不会往这个方向投入资源 Physics of AI 是AFOA的手段是吗 可以这么说 就是我的AFOAI它就是一种 Automated Physics of AI 就是自动化去做Physics of AI 就是我的这个AFOAI 这个Physics of AI的Physics到底要理解到哪一层 我们是不是真的要写出牛顿领率 就是牛顿公式我觉得是不一定的 而且这个很可能也是需要几百年的时间 嗯 投资人问你最多的问题会是什么呢 在你跟他讲你的这个技术路线的时候 其实你也都问到了 就是说这个原模型要花多少算力 投资人可能也关心的是这个东西怎么样 去最后去做商业化 我觉得也是说在跟投资人交流的过程中 我们逐渐的清晰了这个产品它最后是什么样子的 对因为原模型 不管是原模型还是Physics of AI 说了半天其实都是技术 但是最后这个技术是一个什么产品背后的技术 [01:20:35] 嗯 我们最后要做的一个产品 它是一个training autopilot 如果说短期一点 它会是一个training copilot 这个是什么意思呢 就是说我们现在并不是所有人都掌握着训练的能力的 但是未来所有人都可以去训练他自己的私有模型 这个私有模型也不一定是LM 但或许是LM微调过去的 这个用户它就只需要和我们的这个系统说我的需求是什么样子的 然后我们的这个系统它就能够端到端的去给你设计模型 训练模型 部署模型 然后交付给你 你就可以直接去用这个模型 然后很重要的是这个用户说 我这里只有100块钱 我这里只有100块钱 你要在这个经费允许的情况下 尽可能的去deliver一个好的模型 最终这样的一个系统它要是能够做这样一个端了端的事情 那这个其实和现在的像 Cloud code Fiber coding 其实很像 那只不过现在是说 这个对象是程序员 就是我要去做一个什么样的任务 [01:21:35] 你给我code 出来 但是未来的话 它会是一个更加闭环的一个东西 我都不需要告诉你 这个技术路线怎么去做 我不告诉你 你要用Transformer 我不告诉你 你要怎么去训练 我只告诉你我的需求 然后我就能够端到端的去给你去设计训练 部署这个模型 其实也有投资人会问 他就为什么要训练自己的模型 对我在想 Cursor Cloud Code 实际上不会写程序的人也能写程序了 对 那你这个是让不会做AI research 不会做AI research 也开始做AI research了 对吧 对就是不会自己训模型的人 也会自己训模型 但是我觉得你这个是一个很大胆的想法 因为你这意味着模型未来 我不知道多少年以后的未来 它不只掌握在几个巨头手里 不是用巨大的模型 对吧 每个人人人都可以 用你们的系统就能训练一个模型 人人都可以训模型 然后呢 我能干什么 对 那这个地方的点就是说 现在大家不会训自己的这个模型 是因为它的门槛还太高了 那之后有了这个能力之后 [01:22:37] 我们把这个性价比弄得足够高之后 其实大家都会有这个需求 就比如说 我买了一个机械狗 让它来陪伴我 那可能我就是需要把我的一些数据 把我的一些语音的数据 把我的一些跟它对话的数据 给存下来 帮助去训练 不管是微调还是怎么样 去训练这个机械狗 让这个机械狗能够 能够让我更开心 比如说它不是只天天在那里 汪汪汪的叫 它还能说些话来安慰我 那这样的一个事情 现在不会有人说 我为了做这样一个东西 我要去自己去学 怎么去训练东西 当然了 现在可能会有一些 创业公司可能会做类似的想法 对 但是未来 我们想的就是说 有了这个系统 我们不是自己做一家OpenAI 它是能够孵化各行各业 各个垂直领域的OpenAI 当我说垂直领域的时候 我已经是谈论的比LANGUAGE MODEL 更高一个层级了 就是说我们的这个原模型 当然它也不一定是原模型吧 就是说最终的这个终极的系统 它能够去设计出 各个垂直领域的这种Transformer [01:23:39] 就是可以这么讲 就如同是LM 它统一了NLP 自然语言处理里面的各种任务一样 那我们现在造不同的模型 还是不同的任务 造世界模型的人造世界模型 造LM的人造LM 造Air for Science模型的人 造Air for Science的模型 但是这些领域现在大体上 还是不互通的 对 对 但是未来会有这样的一个God 就是vibe training的一个东西 就现在还是vibe coding 未来会是vibe training vibe training 未来会是vibe training 那就是你把你的虚手说清楚 它就能够给你端到端的去 设计训练部署这个模型 对 那有了这个能力之后 好吧 我实话实说 我也没有想太清楚 就是有了这样的一个 就是每个用户训自己的模型 能有什么样的需求 但是很多时候是这样的 就是当你技术 便宜到一定程度的时候 有些虚手它自然会涌现 只不过我们现在还没有到 这个时间点 好像很难去想象这个事情 这个是电脑从 对啊 [01:24:40] 就是怎么会有household 会想要在家里面放一台巨大的电脑 到了一个每个人人手可用的笔记本 对啊 对啊 嗯 这倒是一个挺有意思的方向 当模型人人可用的时候 我们用它来干啥 对 不仅人人可用 人人可训 当然我们是不叫人人可训 现在是一个大问号 噢噢噢噢 是 就是说这个时候 可训也不是说 你是作为一个researcher去训它 而是说你就是作为一个用户你给它提需求 它能够端到端的去给你返回一个你想要的模型 当然你可能不需要一个AI模型 模型能类比成脑子 我需不需要那么多聪明的脑子在我身边 会提供情绪价值 提供情绪价值 提供智慧 我觉得是这样的 我觉得是这个聪明的脑子它能produce一些东西 它能够生产出一些东西 这些东西能给你提供情绪价值 而不是聪明的脑子本身会提供情绪价值 嗯嗯 事实上聪明的脑子很多时候会让你很恼火 我觉得 哈哈哈 所以你对未来模型的生态 有什么样的构想 你觉得模型会是垄断于巨头手中 [01:25:42] 或者是会模型吞噬一切 你觉得有着应用公司的生态位吗 会从一个垄断的局面慢慢的变到人手可用吗 你觉得你对模型的未来的一切有什么样的想法 终极的目标 如果我们能deliver那个vibe training autopilot 那就相当于是平权了 就所有人都能够去训自己的模型 但是这个地方的问题是 还是需要钱 嗯 因为你现在训一个大约模型都这么的贵 你要人人可训 我觉得这个地方也是当physics of AI 理清了之后 其实训练的成本也是会下来 就是因为我们现在不是最优的一个recipe 很有可能还有很大的优化空间吧 我们也很希望为我们的听众能够提供一些 就是行业新鲜的动态啊 就比如说除了你在做AFOA 我们刚才也提到亭文洞老师 他的recursive他们的那家创业公司也在做AFOA 国内还有一些其他团队在做AFOA 能不能很像给大家做一个梳理 就是大家各自路线是什么样的 [01:26:43] 嗯好呀好呀 其实AFOA这个在国内还是一个相对来说比较新鲜的概念 嗯 就我觉得还挺有意思的 就我从五月份开始去融资 融了几天发现recursive就announce了 然后国内就开始活起来了 目前来说 其实还没有那么主流 当然孙天祥是很早他们就开始在做了 嗯 然后最近去百度做大模型 然后最近去百度做大模型了 对对对 孙天祥是一个特别符合你们工作室名字的这样的一个想法 就他之前的一个采访说的是language 基本上就是整个世界 所有的东西都能够被language描述 嗯 这是他的一个belief 他们之前做的像FIRS那个系统 就也是自动生产paper的一个系统 就是一个paper agent 我们AI院还有另一位老师叫陈永超 他最近也是在做这个AI for AI 他的路线呢 就也是更偏这个早期的路线吧 至少现在的路线更像是这个paper agent 能让AI自己去写一些AI research的一些文章 [01:27:44] RSI那边 这个我们其实也无从得知吧 但是从他们的这个博客里面能够窥到一些技术路线 嗯 我们大概猜测 他们会强调这个auto research 系统需要维持一个比较好的memory 就比如说我昨天做了五次实验 我都是在调这个学习率 然后五次实验我全部失败了 那么我今天就会记住我昨天做过这些实验 那我今天就不会接着去调学习率 但是again就是说 那维持一个好的memory系统 但是你不理解它背后为什么学习率会失败 你之前的经验也不一定是对的 就是可能你之前学习率失败是因为A原因 但可能我第二天做实验的时候 我这个时候其实是B原因 所以这个时候调学习率可能反而是对的 对对 所以这个地方还是存在一个 到底我只是一个经验驱动 还是一个这个机制驱动的 当然我看他们的官网上 然后以及因为田园栋老师也在里面 所以我相信他们也是会在Science of AI 上去有一定投入的 但是目前来说还不是特别清楚 他们的Science of AI 的路线到底是什么样子的 [01:28:47] 嗯 说到研究啊 就是研究中所谓的动物时刻 而研究的直觉 这个怎么迅进模型 首先模型他得拿到这个数据 你告诉他你的思维链 这就是让他拿到这个数据的过程吗 是的 就是我们要强行的 强迫自己把思维链写下来 每一个顿无时刻都是有思维链的吗 一定是有的 如果没有的话 就是你问自己问的不够深 因为我自己的经验是这样的 就是我一开始也挺相信 研究品位研究直觉这回事 我其实现在对这个事情有点驱媚了 就我觉得 研究品位研究直觉其实是一个遮羞布 就是说因为我们聪明到可以提出一个想法 但没有聪明到可以去用语言说出来 我是怎么提出这个想法的 所以我们把顿悟这个事情给他说成是所谓的品位 所谓的直觉 所谓的灵光一线 还有句话叫善战者无赫赫之功 嗯 就是说最牛逼的人 他提想法对他来说就跟呼吸一样简单 他能够把别人觉得哇这个太神奇了 [01:29:49] 他是怎么想到的 他能把这些事情系统变成他的系统 而那些不是最顶级的人 他们也能提出一些很好的想法 但是他们可能并不知道自己是怎么提出这个想法的 嗯 我其实一直在有意的训练自己 就是我不仅是要提出好的想法 我还要去追问我是怎么提出好的想法的 然后在这个过程中 其实是尝试把我的想法语言化 其实这个事情对我来说非常难 因为我不是一个通过自然语言沟通 特别顺畅的一个人 我的思维模式可能更偏就是Max Techmark 就是我博士的老板 就我们都是非常偏视觉的 偏视觉 偏视觉的意思就是说 我们会在脑子里面会有一个图像 哦 我会特别想要把它画出来 但是我美术又不行 所以这个就很尴尬 嗯 对 所以有的时候我只能够通过 我真的把这个东西做出来 把这个东西展现在你的眼前 这个是我沟通的方式 嗯 所以我是觉得思维链这个东西 一定是能或多或少的被说出来 [01:30:49] 当然还有一条路径 当我们的脑科学发展的足够完善了 以及我们没有一些道德的问题 就比如说我们去检测一个人的脑电波 我们可以用一些侵入式的方式 去检测他的脑电波 或者我们有些更高级的方法 不用侵入式 我们也能够检测到 比较清晰的脑电波信号 到了那个时间点 我不需要用语言 我直接去测这个人的脑电波就行了 但是这个时候我需要这个人的脑电波 但是因为现在我没有办法获取这个人的脑电波 我们只能够去拷问这个人 或者拷问我们自己 就是我刚刚到底是怎么想出这个想法的 嗯 嗯 嗯 你如果说不出来 说明你还没有拷问的太深 你只要拷问的足够深 你总能说出点什么 但它不一定完全可以取代就是脑电波的价值 但是至少它能说出点什么 你刚才说你当时做博后的那个实验室 他们当时创业的时候 投资人们跟他们说 那三年不用盈利 国内的投资人也跟你说 那那是完全不可能的 哈哈哈 国内的投资人恨不得你 现在当天就能盈利 能吗 啊 能吗你们 [01:31:49] 呃 当天还是不行 哈哈哈 故意什么时候能有产品 什么时候能商业模式 你们这个roadmap是什么样的 呃我们这个六个月之内还是侧重R&D 嗯 就是去做一些demo呀 然后以及就是说做一些产品的出行 六个月之后 根据我们这六个月的一些成果 去决定这个之后到底要怎么去做 肯定是在一年这个时间节点 肯定是会开始去产品化跟商业化的 但是比如六到十二个月 这个我觉得六到十二个月的这个 research and development 这个对于一个neolab来说是非常重要的 嗯 不能过早的去投入到一个 其实不是那么好的一个方向 只是为了短期能够去交差 短期能够去做商业化 就要六到十二个月的探索 去找到一个更好的方向 你用lab的本质 你觉得应该是lab还是公司啊 他之所以我们起了一个新的名字给他 就是因为他既不是lab也不是公司 他就是应该像我说的 你六到十二个月去按照一个lab的形式 按照一个research institute的方式去运转 嗯 一旦grok了 一旦顿悟了 这个事情就应该按照公司的方式去运转 [01:32:50] 就是前open ai 时代 和后open ai 时代的感受 是的 那会不会给他做lab的时间不够长 open ai 毕竟慢慢做了很多年 你觉得现在这个生态或者机制 有那么长时间的探索器吗 还有这个包容度吗 还有你们的现金流够吗 现金流肯定是我们会 也是持续会募资的 我个人是觉得 就是现在的路线已经相对来说比较清晰了 六到十二个月 我觉得是能够画上一个逗号 然后开始去做产品 如果说你一年前问我这个事情 我可能觉得我们需要做三到五年的 research and development 我觉得也是我在不断的思考 我自己意识到这个圆模型的可信性 之后 我说我要快速的推荐这个事情了 那像之前我确实也是挺犹豫的吧 就是因为我没有找到一条清晰的路线 对 当然这条清晰的路线在做的过程中 实际上也是会不断的进行调整 你们这个路线也可以描述成原模型 也可以描述成 afai auto research 可以描述成physics of AI [01:33:51] 你觉得哪个词是最精准的 如果只选一过了 我觉得auto research 是最接近的 但是我觉得我们得创造一个新的词汇 专门给我们这个路线起个名字 但是我们so far 还没有太思考这方面的问题 我觉得未来是需要 就比如像AI的物理学这个东西 就是我们自己起的名字嘛 因为现在所有mewlaps都是 他说他形容他在做一个什么事情 那创业者和投资人脑子里 就不是一个事 不是一个事 对 对不是一个事 就之所以用这些clayshare words 是因为投资人他要得听懂 对 也是不同的 但是你现在信不动构思 其实也没有找到一个 最准确的词来描述它 所以也在套一些词汇 是的 是的 从投资人的视角 我的理解是他们投的方向 其实也蛮广的 在他们接触到的广度里面 AI for science AI for AI auto research 其实都算一堆 就像机座模型 世界模型都算一堆 嗯 你觉得今天处于一个 [01:34:52] AI发展的一个什么样的时期 它收敛清晰了吗已经 我觉得对于大语言模型 它收敛已经比较清晰了 嗯 但是新的机会是来自于就是 其实我们一开始也聊到 就是关于世界模型 然后关于auto research 嗯 这两条赛道我认为 还处于相当早期 代言模型可能辐射不到 辐射不到 但辐射不到的原因 我觉得我也不是说 transformer的hater啊 我觉得更多的还是说 Mold model那边 其实我觉得更像是说 要找到一个更全新的架构 它能够更好的去抽象 和找到这个物理世界 真正的latent space auto research这边 我觉得更多的还是说 大语言模型没见过这种数据 所以第一步是首先要去结构化 然后第二步是 收集这种结构化的 research的数据 这个是最重要 那有了这些数据 其实大模型也能吃 其实它做的 其实可能也不赖 当然了 这个原模型的这个路径 它是一种关于模型的模型 大模型也是因为 没有见过关于模型的这种数据 没有见过太多 关于模型的这种结构化数据 所以大模型也做不好 [01:35:53] 你这创业几个月什么感受啊 节奏非常快 多快 基本上就是除了睡觉 都是在工作吧 对 但是我觉得也是一种挺新的体验吧 一方面是你有了更多的资源 你认识了更多的人 你好像就是突然接触到了一个更大的世界 但另一方面技术上的事情 研究上的事情 还是得踏踏实实的去做 是一个不小的一个挑战吧 因为之前的话 就是说踏踏实实的做研究 但是现在的话 不仅是做当下的研究 你还要和很多的人去做交流 而且你还要去想 不仅去想当下的事情 你还要去想几年之后的事情 根据几年之后的目标去倒推 那我们这个路径到底该怎么去走 所以这个我觉得 是个有一点out of my distribution的东西 也是我在学习的事情 如果只能选一个做professor 和做企业家entrepreneur 你会选哪个 我都要 就是我现在都是我都要的状态 如果非要选一个 [01:36:54] 我觉得这个再看吧 做做看 做做看 对 今天这个创业的时代 好像跟以前变得特别的不一样 因为很多都是学术背景 或者是像你是有了教职以后也创业 那也有的是学生开始创业 就是好多都是research背景的人在创业 对我觉得还是取决于做的事情 它是一个是否需要早期去研究驱动的 就像auto research跟world model 我觉得至少需要6到12个月研究驱动的时间 那这个时间是不能够被跳过的 那至于比如说6到12个月之后 当我把我脑子里的这个东西给它荡不出来 比如说荡不成一个雏形 它摆在我的眼前 然后之后也会再引入一些有这个产品经验 有这个商业化经验的一些联创进来 帮助去把这个东西的影响力打出来 而不仅仅是一个小而美的一个东西 但是我觉得还是需要就是说 6到12个月的时间是首先把这个圆形打出来 所以理想状态是6到12个月这个研究探索的成果 及某个产品 [01:37:54] 是的 那我最后几个快问快答 全球范围内里一个你喜欢的食物 反正我不管在哪里去读书还是旅游 我都是会想吃这个热干面的 一个全球范围内你喜欢的地点 只要有江河的地方我都挺喜欢的 包括武汉 包括上海这边 就是在这个黄浦江边上 在MIT就是在沃斯顿那边 就是查尔斯河 我喜欢没事就去河边走走 一本影响过改编你人生的书 人类简史吧 就是我其实就一直都比较nerd 就是不是很懂这些social science的事情 然后我有的时候会觉得 这个事情明明不合理 但是为什么大家都相信这个事情 然后读了人类简史之后就知道 我们的这个社会其实就是故事驱动的 所以叙事非常重要 不仅仅是技术重要 这个背后的叙事也是非常重要 在你心目中影响AI进程的几篇论文 这个太常规的就不说 就比如像Skilling Law这些文章 我觉得对我个人影响来说 最大的就是干这篇文章吧 [01:38:54] 因为它相当于是为我打开了这个 AI世界的大门 基于你当下的认知 一个关键的重要的but是什么 可能就是我们刚刚一直讲的 就是AI for coding 下一个会是AI for research 但是是需要用Physics of Fire的方式去做 好了今天的节目就是这样 这里是商业访谈录 是一档由语言及世界工作室出品的深度访谈节目 你可以到公众号关注我们的工作室 获取更多的信息 我们的公众号是语言及世界 Language is World 也欢迎你在小宇宙的评论区 与我们有更多的互动 [01:39:55] 我们希望和你一起从这里探索新的世界 中文字幕志愿者 李宗盛 请不吝点赞 订阅 转发 打赏支持明镜与点点栏目