朱邦华: SGLang，强化学习，英伟达收购，二次创业，清华，伯克利，LMSYS，Chatbot Arena，善于放弃
[00:00:00] 甚至本科生有的会干的比PhD更好 在去年就是八九月份的时候被英伟达收购 然后去年12月又跑出来做第二家公司 相当于是提了一些 这个比当时OPI的RL-12 稍微更好一些的算法 一旦到了比如说前卡甚至外卡 level 其实对于系统 整个Infra的要求其实是完全不一样的 其实说句实在话 就是见了足够多的人之后 你会发现政治商量真的很重要 其实国内的同学 其实Infra的水平其实都很高 其实在我的视角当中 就是一个判断力超强的人 遇到了一个判断力超超强的人 所以我就特别擅长考试 比如说就不管是当时高考 但是在清华我基本上也都是系列第一 大家好这里是月球大叔 今天我们请到了朱邦华 也就是RealisArc SG浪背后的公司的CTO 来接受我们的采访 RealisArc最近拿到了1亿美金的融资 可谓风头震盛 先让邦华来自我介绍一下自己吧 大家好我是朱邦华 然后现在是RealisArc的 [00:01:00] co-founder和CTO 在这之前我本科在清华电子系 然后在Berkeley ECS读PhD 后面我毕业以后创立一家公司 NexoFlow AI 主要是做这个 Enterprise Agent Post Training 和强化学习相关 然后后面这家公司 大概在去年年中被NVIDIA收购 我就加入NVIDIA 去做Nemotron RL的一个tech lead 然后最近的话 就是我们 我和我的long-term collaborator 摄影一起 这个创立了RealisArc 对 很高兴认识大家 就是在去年 也就是八九月份的时候 被英伟达收购 然后去年12月又跑出来 做第二家公司 因为我之前创作业 所以我知道 这一波肯定损失了 很多很多被收购那一波钱 是什么驱使你 在损失这么多钱的情况之下 也要出来干第二次创业 我觉得最重要的就是 一个是社区的技术和人 [00:02:00] 还有一个就是公司的使命 和要做的事情 我觉得这两点加在一起 可能就是非常吸引我的点 这个我们可以之后 也再展开讨论讨论 对 那么能方便透露一下 你当时差不多放弃了多少钱吗 这个具体不太能说 但是可能就是 也算是足够躺平生活了 然后但肯定不如 这个我们引老板 从XIA这个放弃的多 好的 行 那我们就正式开始 今天的访谈 我们先聊一下创业这一段 好吧 就是聊聊Redisark 最近这家公司 风头特别特别的旺盛 刚拿到了一亿美金的融资 然后估值有四个多亿 和国内的Deepseek等等 都有很多的合作 和北美的Thinking Machine 也有很多的合作 就是能不能跟大家介绍一下 Redisark和这家公司 在做什么 你们的愿景是什么 Redisark其实本质上 就是在做一件事情 其实就是把Frontier AI Lab 这种级别的 甚至是比他们更好的 [00:03:00] 这样的一个AI基础设施 去这个Democratize 变成更多这个公司 开发者 他都能用上的一个 更加open 更加reliable efficient的 这样的一个AI infra 然后把它做好以后 share给所有人 然后所以 本质上来说的话 我们其实是一家 AI infra的公司 然后核心的话 是围绕 大元模型的 这个训练和推理系统 然后在训练这边 我们现在在做一个 RL的强化学习的框架 就是Miles 然后在推理这边的话 我们做一个 都有很多开源的 上的adoption 然后包括北美这边 基本上头部的几家 这个Google Microsoft Oracle Avidian AMD等等 也包括国内的 阿里 腾讯 字节等等 其实大家都有 很深的合作 对 你刚才提到了 你们既做推理 也做强化学习 在创立这家公司的时候 [00:04:00] 是怎么让你们 定了这两个方向 一起开始做 对 其实因为我们是一家 基础设施建设的公司 所以其实我们希望的是 把AI的整个life cycle 其实都能够cover的比较好 这个其实就包含了 这个目前 AI最相关的infra 其实就是pre-training 到post-training 以及最后到inference 就是先把模型训完 然后再去做它 拿它去做推理 然后pre-training这块的话 其实这个需要的公司 因为它投入的成本很大 所以想做pre-training的公司 其实不多 然后post-training 就是RL这块 其实它反而是 这个会有更大的需求 因为相比pre-training来说 它的成本会更低 同时你又可以通过RL的方式 能在某一个特殊的任务 或者是你感兴趣的一个 agent task上面 能够把模型提升的 非常非常好 然后当然推理这边 就是最大的需求 因为所有的 基本上所有地方 如果需要使用AI 都是需要 这个talk to AI 然后使用一个inference engine 去做推理 所以这个需求来看的话 [00:05:02] 其实是pre-training 是小于RL 小于推理 所以我们现在是 先从推理开始 然后一步一步做到RL的inference 然后甚至一步一步 有可能的话 也会做到pre-training的inference 刚才你说了 你们帮了很多公司 打算做post training 也就是强化学习 因为前一段时间的时候 有一个公司叫做Cursor 他们用了国内的 KIMI的模型 进行了post training 你觉得这种方式 之后会成为主流是吗 因为你们选择了 这样的商业模式 我们是想 我们的愿景 或者是我们的压注 是觉得这样的事情 会越来越多的发生 是因为之前大家 有这么多的开源模型 大家大部分的需求是 直接去和这个开源模型交流 但随着越来越多复杂的 agent task 这个不断的涌现 其实这个 如果你做很多推理的时候 其实naturally会有 会产生非常大量的数据 然后这些数据 其实是非常有助于 去在这些agent task上面 [00:06:03] 进一步提升模型的能力的 尤其是一些private data 一些private vertical sector的data 其实是非常 对于RL来说非常有用 所以eventually 如果大家为了 从一个降本增效的角度考虑 是肯定更愿意去 先把这个模型训练一下 训练到自己 这个更满意的状态 然后再去做influence 所以就像cursor一样 他们也会 比如说先把Kimi 进一步提升在 cursor内部的能力 就是cursor 比如说 自己的agent 相关的能力上 然后再去做influence 对 所以说整体来看的话 在你们的视角 这就是一个很好的闭环 对 我帮他们提升 私有模型的能力 他们用我的推 推的同时 又能拿到数据 继续帮他们提升 私有模型的能力 对 可以这么说 那么这两个方向的话 你们觉得商业模式 之后的发展 你们是怎么看待了 这个问题 目前其实最直接 也是最大的需求 有些商业上的需求 肯定还是推理侧 强化学习这边 [00:07:03] 我觉得是 或者是所谓的 这种post training for agent 其实是刚刚起步的状态 就是慢慢有 越来越多的人 会意识到 就是说你可能 需要训练一下模型 这个事情 它最开始的时候 只发生在frontier lab 大家会说 我需要训练模型 然后给大家用作推理 然后慢慢的会传到 一些new lab 和这个AI native的公司 比如说cursor 然后再往后 我们觉得 也会慢慢会传到 这个更 离AI稍微更远一些的公司 就是传统的企业 包括Fortune 500 如果一旦他们意识到 他们需要用的AI的能力 其实是 这个bar是超过了 这个他们 现在AI能提供能力的时候 他们可能就会选择去 自己再做一些post training 然后再去 把这个 再去做influence 明白 这个new labs 等等这些 这个话题 我们后边可以再慢慢展开 好吧 对 然后因为我是比较了解 AI这个社区的 一开始的时候 你就参与其中了吗 还是后来 有成立公司的时候 才慢慢加入 我其实 这个 一直都 一直到了 加入公司之前 [00:08:04] 其实也都不算是 Achelan的 社区的人 对 这里面其实是一个 比较长的故事 我其实和 盛影和郑联敏 然后他们两位 是Achelan的 这个 co-creator 我们三个 其实是在 读PHG的时候 就是比较好的 伙伴或者是 collaborator 然后当时 是我在读 读PHG第五年 GPT刚出来的时候 我在这之前 我一直在做 这个Machine Learning Theory 和这个 Statistics 这个 Rainforce Learning Theory 等等 然后 然后 当我用 ChairGV的 一刹那 我觉得 这个 感觉 这个可能会是 一个划时代的东西 所以我在 22年年底 23年年初的时候 决定要 这个 就是做一些 和Language Model 和GPT 更接近的一些 的方向 所以当时 我就 就是在找 到底应该 做什么样的方向 所以我当时 [00:09:06] 其实非常积极的 Outreach 非常多的人 就是想和大家 一起去合作 理解一下 大家在做什么 然后当时 Outreach 比较 比较responsive 其实是 两拨人 然后一拨是 张舒曼 然后他是 这个OpenEd 当时的co-founder 然后也是 相当于 Berkeley的师兄 然后呢 当时 我 我们当时 做了一篇 RLHF theory的paper 然后相当于 是提了一些 这个比当时 OpenEd的RLHF 稍微更好一些的算法 所以我当时 email给John 说我们可能 有一个更好的算法 我们可以一起 讨论讨论 然后John回得非常快 然后我们其实就 讨论了非常多 关于RL怎么设计 关于Laura 甚至是关于一些 其他系统上的问题 对 然后我们 就至今也还会 经常一起 交流想法 然后另一份邮件 其实就发给了 这个盛影 因为当时 他们有一篇 最早期的paper 叫Flexhan 是一个 讲在 大概是 [00:10:06] 大概是在CPU上 怎么做 LM inference 一个非常早期的 Inference paper 我当时读了以后 就觉得非常有意思 然后就直接 Richard到盛影 然后盛影后来 又把当时 在Berkeley的 正联名一起拉过来 所以我们三个 就开始做了 很多很多 在research上的合作 然后后来 他们 他们两个 是非常非常有想法的人 然后当时 就是连续做了 包括 Almsys 这样一个 Non-profit organization 然后在下面 有很多开源的项目 包括这个 Vicunia 是一个最早期的 distilled language model 然后也是 Hugging Face上 大概有千万量的 这个download 在那个时候 然后后来做了 Chairball Arena 然后也是一个 这个非常非常火的 一个model benchmark 比较的一个 这样一个tool 当时Operian Athrope 然后XCI 就大家都在 刷这个榜 来去证明 自己的模型 是最强的 然后 这个后来 也变成了 Alm Arena 然后现在也是一家 大概1.5 billion 左右的公司 然后后面 [00:11:07] 盛影和联名 就开始做 这个Asceland 然后当时 其实这个 就不得不提 在Asceland之前 还有一个competitor 或者是一个 另外一个 非常popular的 Open Source Inference Engine 叫VRM 然后他们 其实当时 做得非常好 然后也已经 做了将近一年 然后我其实 个人当时 不是特别看好Asceland 因为我觉得 如果你在一个 Dominate 已经有一家 做得非常非常好 Dominate的情况下 你再去做一个 完全一样的 或者是非常接近的 一个产品 和一个Open Source Software 他可能就没有办法 去说服别人 去使用Asceland 而不是VRM 然后所以 那段时间 我其实就是在 和我的导师 做第一家公司 Nexus Flow AI 然后呢 我们也没有 我也就基本上 没有参与 Asceland这个project 然后但是经过 那一两年 其实Asceland就是 经历了各种各样的事件吧 但是eventually 就是这个 它的adoption 变得越来越好 然后呢 就是社区也 越来越活跃 有很多人 都愿意去贡献Asceland [00:12:08] 甚至有很多人的 这个职业生涯 或者人生轨迹 都是因为Asceland 这个有所改变 所以就是大概在去年年底的时候 我和摄影和 又非常多的聊了一下这个话题 然后catch up了一下 所以我是觉得这个数据变得越来越好 然后同时 大家也想 不光是只做推理 而是做更多 和frontier infra相关的东西 包括训练 然后这个就是和我的expertise 可能也就会更match一些 所以我大概就是 在那个时候 我就决定 可能可以 就是和大家一起做 做更多的开源 然后做更有意思的 frontier的system research 妈呀 这个信息量这么大吗 这刚才这个 太长了 没事没事 OK 然后LM Arena 然后SJLINE VLM等等 各种社区 各种名人 对吗 我在听你刚才讲述这一段的时候 我就发现 你的反应非常非常的快 在那一瞬间 就是因为当时 [00:13:08] 我也是PRD刚毕业 也在做一家公司 但是当那个JBT出来的时候 其实身边的很多人 都是在质疑 幻觉太多呀 然后这个东西 可能只是昙花一现呀 等等等等 你当时有多笃定 这个事儿一定会是下一波浪潮 我其实当时 我当时完全没有接触过NLP 所以其实我在GPT出来之前 我其实都不知道 有GPT2GPT3的存在 我也不知道 对 所以当时的时候 我就觉得 我就试了一下GPT3.5 它这个写code 就其实写的 现在来看非常非常烂 但当时就是 我从来没有想到 就是说一个 这样的一个 Next Token Prediction的machine 它能够把一个 比如说简单的 Leet Code Question 它能够给你写出来 我说这个事情 当时确实是让我非常震惊 然后我其实当时的导师 这个Michael Jordan 其实我跟他说过这个事的时候 他其实也是比较质疑 他觉得这个在统计上来说 其实就是一个 Next Token Prediction Problem [00:14:08] 它和以前的东西 没有任何区别 然后他觉得这个可能只是 就是另一次OpenAI的炒作 但是我个人是觉得 就是说如果在那个阶段 在就是说并没有做很多 非常仔细的这个 Training的情况下面 他就已经能达到 这样一个水平 那如果你接着Scale的话 不管是Scale 当时是Scale Parameter 后面是Scale 比如说更多的Data 更多的这个Response 就是这个Test Time Thinking 这种 我觉得可能它的潜力 会非常非常大 所以当时这个试用完 我就觉得可能 必须要投身这个方向 你这个认知有点太深刻了 在当时那一瞬间 你能反映过来 这个东西做的还比较糙 然后只要慢慢的 慢慢Scale更多 然后做的更精细化 接下来效果一定会更好 然后上线可能短时间都看不到 你在当时就已经有这种认知了 准确来说的话 是这个 就我们是做理论的 所以其实我们当时看了一下 比如说当时他后训练 RL里面做的一些这个算法 [00:15:08] 就发现其实就非常的 ad hoc 就是说他不是特别的principle 然后有很多方法是可以 把他这个算法提升的很好 但他当时没有这么做 所以我就知道可能这个东西 可能也是就是比较 比较着急的堆下来的一个东西 但是他确实 对我觉得其实当时 比较surprising的一个点 其实就是这样一个 R2F算法 就是看起来非常 trivial 非常streetforward 他居然能够让这个模型 能够变得如此的 那个自然的和人交流 这件事情我觉得就是 如果你让我去predict 我会predict出来完全是相反的结果 我会觉得这个算法不可能 对 这一点我觉得其实 至今我都觉得非常神奇 就是你刚才说这张话 确实让我很震撼 因为怎么说来着 就是前一段时间 不是姚春雨在采访的时候 说不要相信老灯 然后自己要求自己的判断 就类似于这样的言论 而你在那一瞬间 把这个事看得这么清楚 因为本身你也有很 因为本身你就是 强考学习的prd 强考学习理论的prd 然后你就发现这么操 [00:16:09] 然后结果还这么好 那如果是真的做对了 或者做的更精细化 那还了得 是吗 就这种感觉对吧 对 是的 太厉害了 太厉害了 就是这波浪潮 就是应该就是你这样的人来 就是怎么说来着 这波浪潮 就是应该由你这样的人来引领 反正我刚才听完 那一段话的时候 我就这样感觉 就是你准确地判断出来了 接下来的一些发展 同时又跟很多目前的当红的人 都有交集和沟通 然后你就all in了 对吗 差不多 但是我其实觉得 现在还非常早 我觉得其实就是说 这个在这么一个早期 其实谁都有机会 所以这个游戏才刚刚开始 在2026年5月份 你觉得游戏才刚刚开始 对 是的 行 那我们后边再展开一下这个话题 对 OK 那就是因为 你刚才也提到的教书曼 教书曼不仅是OpenAI的Cofounder 还是Think Machine的Cofounder [00:17:10] 对吧 然后Think Machine最近也发布了 他们自己的新的那种多模态交互的模型 然后在X上也发现 它和你们的互动特别多 而且说了 也是你们提供了一些infa的支持 然后你能跟大家介绍一下 你认为这是一个不同于OpenAI Athrobic和Gemnet的一个怎样的模型吗 以你的认知 对 Think Machine他们发布的是这个interaction model 然后他们其实 放了很多大量的这种演示的视频 确实非常的impressive 其实它就是一个更加real time的一个 voice的交互的一个模型 也是他们一直 我的理解 他们一直想做的一些 就是说 更偏multi modality的一些 human AI interaction的一些新的尝试 所以我其实一直觉得 很喜欢Think Machine的文化 在于就是他们 很愿意去让人 让大家允许researcher 去尝试各种各样不同的东西 然后就算这个里面有些尝试的结果 可能是不是特别好的 但是他们总会有一些尝试的结果 它能够最后flourish 成为一个 [00:18:11] 就是比如说 引领下一个时代的一些东西 所以我自己还没有玩过 这个interaction model 但是我觉得 看到他们的这个很多demo 我其实觉得非常期待 能够这个适用一下 那比如说在SG Run和Think Machine 模式合作的过程当中 有什么比较有意思的事情 你觉得可以分享给大家吗 这个目前暂时还不可能 但是只能说敬请期待 明白 那么你觉得对于接下来这种新的交互模型 对于大模型Infra 比如说SG Run 这样的推理Infra的范式 会有所改变吗 我觉得它 首先它是一个 已经是一个非常multi modality的模型 就是它会有语音的input和语音的输出 然后呢 这部分就是尤其是对于比如说 这个怎么去准备这样的data 比如说你看到 你会看到Think Machine自己的release block里面会说 它这个模型它知道该什么时候去等你 它什么时候去回画 然后这些其实都是在text里面 它可能不太会出现的这种非常自然的一些这种multi-turn的对话的形式 [00:19:16] 所以这个其实对于这个整个data pipeline来说 它会有一些很不一样的这个东西 和和纯text很不一样的东西 然后呢 同时当然这个语音模型的话 它其实就包括这个token的设计 以及就是说这个整个这个Infra的设计 对于就Omini model的支持 其实都会是一些新的挑战 那么当然了 不只和Think Machine 和国内的很多公司 大家都知道 其实SG Run就是永远都能在day one 当这个模型发布的时候就做出支持 在这个过程当中 你觉得实际上付出了怎样的努力呢 对 做这个生态其实是需要很多这个 这个call dev小伙伴夜以继日的这个努力和支持 然后这个尤其是在于 有非常非常新的architecture出现的时候 这个它对于推理的Infra 甚至是训练的Infra 其实都会有更多这个挑战 比如说Deepseek v4 其实它在modelarchitecture上做了非常非常多的创新 这个就导致了这个在做推理和做这个训练infra的时候 [00:20:19] 其实大家要针对他们的特殊的architecture 做很多新的优化和改动 比如说 Ashland 这边提出的一些shadow radix 是针对于这个preface cache的一些专门针对Deepseek v4的一些改动 然后和优化 以及就是说这个甚至是一些high sparse 针对这种sparse tension的一些优化等等 所以当时比如说做Deepseek v4 approach一个project 就划了大家这个可能有一半的co-dev的事 甚至公司一半的人大部分的精力去支持这个事情 对 当然结果也是非常rewarding 就是对于这个Deepseek v4 在刚开始拿到的时候的performance 和最后这个Ashland Deliver的performance 他们真的就优化了非常非常多倍 那在整个过程当中作为一个CTO 你觉得你的角色主要的作用是什么 我目前来说的话 其实做训练还会更多一些 然后Deepseek v4这个事情 其实我也是比较后期才参加 所以其实就是说前期的一些工作 [00:21:21] 很多时候都是由公司的另外一同学在调度 对 大家都非常的靠谱 对 就是大家都太强了 就自发了就这个事就能搞定 对吗 对 是的 那就是因为和这么多的中美不同的大模型公司都有合作 你觉得体验上最大的不同是什么 我觉得体验上的话 其实国内的同学 其实infra的水平其实都很高 然后大家可能写code 然后都写得非常快 非常reliable 然后美国这边的话 其实我觉得大家这个 做从零到一的事情的能力 其实觉得更天马行空一些 就是说大家其实更想的会更有更多 更crazy的idea 有很多可能不会work 但是一旦有一些work 它其实就能创造一些非常更新的东西出来 但是一旦这个 比如说大家知道这个事情大概是怎么做的时候 我觉得就是国内的小伙伴从做到100 也是做到perfect 这个能力是非常非常强 对 我在贵国也采访了很多 AIinfra的同学 [00:22:22] 然后大家都说如果一个社区里边 当一个框架基本搭起来之后 尤其是对一个AIinfra的project 如果说中国人的数量不能超过一半的话 这个项目的代码质量会急剧下降 你同意这个说法吗 我只能说这个美国人也有很多很多非常强的 但是我觉得现在这个时代就是因为 因为AI这个事情 它其实是主要就是看coding 和或者是一些math的capability 就是说是人的这个能不能去比较好的理解 怎么去写最好的system 或者是这个做最好的data和算法 然后在这方面其实我觉得都是中国人比较擅长的 对 那我们继续聊一下这个就是刚才说的那个对比 就是Deep Seek和WayFord这些开源 大模型包括thinking machine 还有open AI Athrobic这些币源大模型 因为你们是第一线在支持这些模型的选手 你们觉得模型的差距有多大 6个月一年 我其实觉得你得看地域 [00:23:24] 就是如果你比较的是中国的开源和美国的币源 我觉得大概是6个月 如果你比较的是美国的开源和美国的币源 那大概可能是更接近于一年 对 就是美国的这些neolabs的开源和美国的币源 长达一年 美国现在倒还没有什么太多neolabs 这个还在做这个开源模型 然后就是就是我只是说release这些 比如说比如说NVIDIA的NEMOTR model 这个我知道因为我们我们之前送NVIDIA NEMOTR出来 所以大家是在这个还是在走一个cash up的一个路线 但是最近的进步是非常非常快 所以可能这个我觉得这个差距是在慢慢缩短 所以说美国的开源大模型 距离中国的开源大模型 查理会也中国的开源大模型 比美国的币源大模型 查理会也大概是这个两级 我觉得差不多 对 因为你亲自就是做过这些模型 那你觉得这些模型的差距主要来自于哪些方面 infra数据算法调优 对我觉得这个也分中美 [00:24:25] 就是从开源大模型的角度来说 我觉得国内的话 其实大家的infra其实做的还是挺不错的 挺solid 但其实可能数据这边是一个比较受限的地方 我其实反而觉得就是说 因为国内可能for some reason 这个大家其实对于真正的复杂的 rl environment投入 可能不会比美国这边多 所以其实这个在美国这边 就是说大家不断的去invest in 这个更复杂的这个agentic rl infra的时候 国内这边它就会稍微有些落后 刚才聊到了强化学习环境这一块 能给大家深入讲一下这一部分吗 就是强化学习环境是一个比较容易被忽视的一个 但是也是非常重要的一个 AI infra的一环吧 就是说它这个 尤其是在现在这个 大家agent环境越来越复杂的情况下面 其实很多时候这个大家的bottleneck 这个甚至是整个turning的bottleneck 很多时候是在这个function calling [00:25:26] 它的一些这个latency没有办法控制 然后甚至就是说这个concurrency不够高上 所以这也是为什么最近大家这个 突然发现CPU非常重要 因为很多时候这个 比如说在做code execution 一些其他的这个multi-docker的这个environment里面 这样子一些CPU上的调度 其实变得越来越重要 然后这块的话就是一方面是这个AI infra 这个也带来一些新的 对于针对AI infra的挑战 然后另一方面的其实也就是说 构建真的非常高质量的这种环境 尤其是怎么去设计这个reward 是一个艺术问题 所以就是说能够去把这个reward设计好 同时就是说能够让这个模型 在复杂的环境下接着涨点 甚至就是说你在多轮的这种 像cloud code这种environment里面 怎么去simulate一个非常好的user 这些都是一个非常open的一些问题 所以就是说如果能把这些数据都做好的话 其实强化学习应该还有很大的路可以走 那所以说你觉得比如说硅谷有很多 这种强化学习环境公司 比如说E2B我知道的 [00:26:26] 你觉得很有必要对吗 有的是强化学习环境的infra 有的是就是专门构建这个强化环境 强化学习环境的这个数据 也就是这个prompt和这个对应的这个reward 然后去卖给这个frontier lab 然后我觉得两者都很重要吧 对 这一点又比较奇怪的一点 就是在国内的创业者当中 好像这种公司相对比较少 但是硅谷的话感觉已经有很多很多这样的公司了对吗 对因为我觉得可能这个美国这边 大家为了去更好的push frontier 就是对于很多frontier lab来说 他们唯一让模型接着变强的方式 其实就是去构建更复杂 然后模型现在这个会fail的一些环境 然后让它模型在这些环境上面变得 就是成功起来 所以这部分他们的需求会更妄神一些 对 所以说你们在开发自己的强化学习 infra的同时也会跟这些公司合作 然后去让你们的强化学习infra 和这些environment更好地去适配 对吗 对 这个也是我们的focus之一 对 那我们大概聊完了SJ lab [00:27:28] 我们先回到第一次创业吧 就是你们第一次创业这个Nexus Flow 的契机是什么 是怎么想到和你的导师一起创这个业 当时Nexus Flow的创业 其实有几个当时的想法 第一个也Nexus Flow的创业 其实也大概是二三年年初年中的时候 也是GPT刚出来 然后我决定要这个转行的时候 然后呢 那个时候这个 一个是我们当时做了一个开源的模型 叫Starlene 是一个7B的 当时用这个比较多的这个开源数据 去做了一个这个rlhraft的这个开源的版本 然后呢 当时这个模型 在chatball arena上面 刷的分数刷的非常非常高 然后呢 就是是确实是demonstrate了 如何通过这个rlhraft 能够让这个模型和这个 就更接近于和人交流的 然后同时就是会给出的结果 更让人满意 然后所以我们当时觉得就说 我们可能是当时唯一一家 [00:28:30] 把PPO在开源这边调通的一个地方 然后我觉得这个事情 如果你能把就是rl这个事情 做得非常非常好 其实你是可以就是拿这个同样的inside 去把agent做好 所以当时二三年的时候 我们就想说这个应该把rl这个东西用在function calling上面 用在甚至是这个verifiable的一些那个path 比如说mass 甚至是coding 然后甚至就是后面的这个function calling 所以这是当时做nexosflow的一个契机 然后后面其实就是我们也尝试去scale up到 比如说在当时还是比较大的30B甚至70B的模型 然后也去帮各种企业去做这种rl as a service 就是post training enterprise agents 然后这个当时确实是有很多人非常关心这个话题 然后也是有一些这个非常好的early signal 所以这个就是一个主要创业的motivation 对 也就是在2023年的时候 你们就把PPO在自己的环境 自己的数据下调通了 对那个时候其实就是说 [00:29:32] 因为OpenAI说他们把PPO这个做的做得很好 然后呢我们其实就是很多人在试的时候 其实发现PPO其实不work 然后呢当时比较流行的是比如DPO 一些更简化的版本 然后同时也不需要比如说value function 但是其实我们当时的believe其实就是说这个 这个其实更多是更多是因为你这个没有把PPO真的调通 调好 这个里面它有很多的trick 然后如果你能把这个trick都做好 那你其实PPO的上限会非常高 所以我当时是一直有这样的believe 然后当时在各种conference上面也会和人各种battle 然后呢但是eventually确实证明了 就是说就如果你们把PPO做得很好的话 它的上限是很高的 当然最后面就是在后面就有grpo这些 就是相对来说更简单一些的算法 然后现在慢慢的做PPO的人就会少了一些 然后用grpo的人也会多一些 对 那你觉得你们当时调通的话最重要的因素是什么 是你的rl强化信息背景 还是你们构建了更好的数据机 更好的infer它们方便分享吗 [00:30:33] 我觉得infer其实是有比较大的权重在里面的 因为它有很多地方是implantation和这个真正trend的时候 它可能会出错的地方 如果你做的 就infer它并不是一个fancy的东西 但是如果你很多东西做的不仔细的话 那其实就会会在各种地方有暗坑 然后就让你这个就让你得出完全不同的或者错误的结论 然后当然就是说另一方面其实说就是说PPO它的 要把PPO条对它要做的东西太多了 就是比如说critic就是value function该怎么去训练 然后呢怎么去design这个所有的这个discount factor 然后以及就是说整个的这个PPO里面所有的hyper parameter 所以这个事情是需要比较多的这个调参的一些经验吧 对这种调参的经验你觉得是你通过五年的学习积累下来的是吗 呃其实并没有因为我这些是传作理论的 所以其实当时这个上手做language model也是在这个也是在差不多同一时期了对 那最终你们是怎么样挑出来这个过程是有多艰辛呢 呃到底不是艰辛其实很多时候就是做这种模型训练 [00:31:37] 这个因为它这个搜索的范围一直在太大了 所以你其实很难就是非常principle的去找到这个东西 而更多的就像是一些intuition 如果你觉得intuition你觉得这个方向是对的 你就就朝这个方向去尝试 然后呢你觉得如果它这个方向 就如果你valid一些你的assumption 你就会你就会就是valid其中一部分这个intuition 然后你再去propose新的intuition 因为它这个问题dimension太高 所以导致就是说你没有办法就是grade search but instead你就需要用自己的这个呃 非常非常直觉吧 用自己的直觉去把这个是就是探索出一条路来 大概是这个意思 是不是说的有点太抽象 对就是说的有点太抽象 能给大家举一个特别准确的例子吗 一个就好 对比如说一个例子 就是说这个critic 就是说在train value function的时候 这个呃就是一个很很简单的trick 就是说你如果一开始直接上来 initially randomly initialize一个critic [00:32:37] 或者甚至就是说你这个critic 是从reward function initialize出来 然后加一个hat 然后你会发现它这个上来的这个loss function 都会非常非常高 它可能就会从这个什么就个位数开始 什么二三但平时loss function可能0.0几几种 然后你要串一段时间 它才会这个往下走 然后在这个时候如果你拿这个critic function 去直接去optimize你的policy 也就是language model本身 那它其实就会让这个language model这个 位置就会被改变的非常的多 而且非常的因为这个direction 这个update的位置都不对 就是说或者轨点的这个都不是特别正确 所以可能更好的一个做法 就虽然它mathematically其实是错误的 但是是你可以先拿这个一些data去warm up这个critic 去把它先train一段时间 让它这个loss降到针对当前这个policy 降到比如说一个比较低的位置 让它convert 然后你再去用这个critic去initialize整个ppo的train 像这种就是这样的trick可能有非常非常多个 但是你如果不把这个 [00:33:38] 比如说你如果你没有做这个的话 它可能上来就会把这个model给破坏了 然后你后面怎么就救也救不回来 对就像诸如此类的trick 所以说你们当时从2023年开始 就通过自己的直觉 一步一步把这些trick刷出来了 最终能够在LM Ariana上那个榜单上拿到一个很高的分数是吗 对那个是当时这个做的比较有意思的一件事情 大概调通这个7B是吗 对当时最开始是7B 大概调通这个7B的模型花了多长时间 这个其实倒也没有花特别多时间 可能就不到一个月 但是其实包括准备数据的时间 其实是比较久 因为当时开源那边 其实没有太多这种multi comparison的data 就是你一个问题 然后有很多个不同的response 然后呢这个response 你还要给它让人去 或者让模型去给它做一个ranking 这个当时开源是不太存在这样的数据 因为这个RHF本身的概念很新 所以其实我们当时是也花了很大精力 去准备这样一个数据集 [00:34:40] 对然后把它这个数据集 和这个pipeline都开源 这个确实做的太牛逼了 因为你当时说 就是说你从来没有接触过RM 但是从知道XLGBT到创业到迅速这样一个 RHF的模型 就花了这么短时间 是不是有点天才的成分在里面 我觉得倒也不是 这个其实就是说 现在如果让一个比如说本科生 他有一个对应的想法 可能也可以非常快的做出来 然后我其实觉得更多的像是就是说 这个在二三年那个刚开始的时候 其实属于是这个百花齐放的一个阶段 就是所有的LM相关的东西 其实都是非常underexplored 所以你当时做inference engine 做model evaluation 做RL 其实都能做出来非常非常多 很有意思的impact for the world 对但是当时你们通过做这些工作 已经预见到了function calling agent接下来一定会成为一个趋势 并且已经开始帮一些企业来 部署这些东西了是吗 对 比如说我们当时其实也做了一些 [00:35:41] 包括function calling的benchmark 以及就是function calling agent synthetic data generation 的一些pipeline 当时其实也和Lama team 有过比较多的交流 然后后来很多trick 都是用在了Lama2 Lama3的post training里面 这是不是也是促成你们最后 被英伟达收购的一个重要的原因 我觉得NVIDIA这边 当时的一个契机主要是因为 Deepseek这个V3的release 让大家慢慢意识到的 RL这个东西其实是非常重要的 因为在这之前可能很多人都 还是觉得我只做SFT 或者从FST 直接SFT一下GP的output 就可以把模型开源模型做得很好 那我可能就不需要做RL 但是Deepseek V3 这件事情证明了就是说 你做RLVR 它是能把模型的这个 Intelligence提升非常非常多 甚至你直接从一个pre-trained point 做RLVR就可以 那这件事情其实引起了很多方面的关注 也包括NVIDIA的关注 所以其实当时NVIDIA 确实希望大家做这个更好的 这个就是说有更多的人来去做RL这件事情 对明白 [00:36:42] 其实你刚才说了两个比较关键的单词嘛 一个是RLHF 一个是RLVR 能跟大家大概介绍一下这两个概念吗 对 RLHF的话就是Renforced Learning from Human Feedback 所以它这个它主要的思路和目的是说 让这个模型这个说话更像人 然后就是说更容易被人喜欢 所以它的想法就是说这个先学习到 什么样的response能够更让人喜欢 然后它这个方式就是它训练一个reward model 然后这个reward model 然后这个reward model是从这个一个response 生成很多个 一个prompt 生成很多个不同的response 然后呢让人去打分 就是说哪一个response更好 哪一个response更不好 然后通过这个里面 这些数据里面训练出一个打分的模型 然后拿这个打分的模型 再去guide这个大语言模型的训练 然后这个的目的最后就是让这个模型说话更讨喜 所以就是说如果你和GPT聊的时候 之前你会觉得它 你问它一个问题 [00:37:43] 它可能说话非常的简洁 然后同时没有给你足够的信息 但是在GPT3.5之后 它就会变得这个是更有人味 然后呢说话也会更详细 然后这样的话大家可能就会更喜欢这个给出的回答 然后RLVR呢 它其实更像是它的全程是R Renorm Force Learning with Variable Reward 所以它其实是这个 主要针对的是可以真正被验证的这个领域 比如说你有个数学题 然后或者有一个代码题 然后它可以直接你可以直接算出来 它这个数学题到底对不对 或者这个代码写的好不好 这个是否写的正确 所以在这种情况下面 其实这又是一个客观的Reward 然后你通过这个 你就可以直接在一些更客观的领域去做一些更好的Improvement 也包括最近呢 包括更多的一些Agentic的一些Task 其实它都是可以通过Verify的方式去直接Verify 它这个是否达成了最终的目的 然后这种方式的话也会更Objective一些 就是更客观一些 所以说可不可以这样理解 [00:38:44] 就是RLHF让模型 就是在Chatboot那个环节做得很好 但是真正变得工具化 变成CodingAgent 变成各种什么WebAgent 它更需要的确实就是新一代的翻式RLVR 可以这么理解 对只不过RLHF 比如说在现在的时候也会做一个模型 最后一个Stage的这样一个训练 就让它变得更Align 比如说和人类价值观更Align 然后呢比如说更Safe 然后这些也都是通过RLHF 这样Reward Model的Signal 会给出来的 对 明白 刚才给大家科普了一波这重要的两个RL的范式 OK我们回到一个创业的过程当中 你觉得Nexus Flow这段创业 最艰难的一刻是什么 是怎么走出来的 我觉得第一段经历还是太短了 所以可能很快就结束了 所以其实倒也没有特别简单的时刻 我明白就太顺利了对吧 可以 那么你在第一次创业当中 有没有学到一些创业的 比如说认知 想应用在第二次创业当中 [00:39:45] 我觉得一个想法就是说 很多时候做这个做最正确的事情 它一定要在最正确的timing 其实就是说当时比如二三年的时候 其实我们很多时候在给大家讲 说我们在做agent的时候 大家会问什么是agent 是不是就是什么reg 就是retrieval augmenting generation 是不是就是我search一下这个文本 然后就去给你一个response 所以我们其实当时需要花很多时间 去educate这个market和这个市场 告诉大家agent 其实是model可以take action 可以用tool 然后他可以在multiturn的时候 把这个tool用好 那这件事情 其实整个market在当时 是不是特别buy 所以这个事情 虽然我们relatively来说的话 可能predict对了它这个trend 但是可能这件事情发生的时间 还是会稍微晚了一些 所以因为这样的一个错位 所以其实导致了就是说 你可能没有办法 一下子进入最火的这个market 所以在这件事情上面 这个可能是我们第一次创业的时候 学到的一个比较有意思的lesson 因为我也创业 我特别是特别认同这句话 [00:40:45] 创业其实就是在对的时间 找一拨对的人 干一件正确的事情 对对 exactly 对所以说就是 其实很多技术大牛 他们一开始的时候 可能过于的有先见之明 然后过于的进入这个市场 但是呢就是要过于的去 自己亲自去教育这个市场 那后来的发现 其实第三第四名进入这个市场的 反倒能够活下来 而且活得很好 对吧 对是的 对很多时候都是这样的 那就是说聊一下 你们被收购的整个过程 比如说在收购 那个offer签了的当天 你的心理状态是怎么样的 然后你干了怎样的一些事情 嗯 其实这个收购并不是个surprise 其实我也是比较早就知道了这个事情 然后呢 所以当时这个当天还是比较比较淡定 然后就是觉得有一个新的开始吧 然后呢也确实当时是很期待 从GPU pool变成一个GPU reach的一个状态 对那你们当时做这个创业的时候有多少GPU 嗯 当时可能有什么2到4个node [00:41:45] 就是比较比较奢望的奢求的状态了 什么4个node 1100 就是32张卡 对 就把这个30笔的模型也训出来了 对 当时其实也能训70笔 对 太厉害了 那你们被收购之后 加入英伟达那几个月 你的个人体验是怎样的 英伟达还是非常不一样的体验 然后也非常有意思 那我在里面其实当时 嗯 主要是initial的一个effort 就是NemoGym 然后呢 当时的想法就是说这个AVIDIA 其实是一个非常大的组织 然后呢 其实每个地方 其实大家都会有各种各样的好的想法 和这个好的data 然后我们希望就是做 做这样一个类似OpiGym的一样 一个NVIDIA的Gym 使得就是我们把所有的这个 内部的一些agentic data 大家想做的东西都收集起来 然后用在自己模型的训练里 然后这件事情 其实这个一开始的时候是 只是我们这个小team组织的一个effort 但后面慢慢的就变成了一个这个公司外 这整个公司的一个effort 就是每一家 就是每一个组都会想把自己的data放到Gym里面 [00:42:47] 然后把这些进入的data 再用去trainnimo成络的 然后之后参与这个项目的人 大概就非常非常多 然后大家都贡献了各种各样的 非常有意思的这个强化学习的环境 以及就是一些甚至一些SFD的data 然后我觉得这个当时 这个体验还是非常positive 然后觉得大家其实 这个就算在这么大的公司 也可以有很多人一起去做 一件非常有意思的事情 那么能跟大家介绍一下这个项目 具体应用来干什么的吗 对 NemoGym的话 其实主要是一个就是 目前是一个 agent data的一个collection 我们eventually本来是想做成一个更solid的一个agent infra 然后保证就是说你在做post training的时候 你其实只需要和NemoGym交互就可以了 然后NemoGym会把所有的data都collect起来 然后帮你去决定到底怎么去这个用什么样的data 来去训练现在这个模型 然后怎么去optimize整个这个agent inference这一块 当然这个是一个比较ambition的target 目前他大概只做了这个data collection这一部分 [00:43:47] 但是已经对于这个NemoGym的这个RL这部分 就起到了很大的帮助 明白 那么在英伟达那几个月的话 你觉得和你之前的创业相比 最大的区别是什么呢 那当时卡就卡 卡太多了 这个虽然其实不如Frontier Lab 但其实和startup相比 确实是天差地别 那对于你这种头部的research来说 卡多意味着什么呢 其实就是很多时候 从比如说系统的角度考虑的话 你的系统很多系统这个搭起来 如果你在这个几个node上面 这个做training其实是比较容易的 然后或者你train一个比如说100B左右的模型 其实都会特别特别复杂 但是一旦到了比如说training level的这个parameter count 一旦到了比如说千卡甚至万卡 level 其实对于系统整个infra的要求 其实是完全不一样的 你需要做很多不一样的fault tolerance 然后你要保证就是说 在这些都做好以后 你的accuracy也还是能match 然后你要去保证比如说整个这个fleet [00:44:47] 它对应的MFU都是比较好的 所以这个里面它需要做的 对于系统的challenge是会大很多 对所以说这个只有在大规模的卡 在大公司里面能感受到 然后在之前的串业公司的话 是没有怎么体验到的是吗 对这也是为什么 就是我觉得现在很多这个所谓的frontier lab 大家其实都这个就是说 大家觉得从frontier lab出来的人 都会是一个比较稀缺的人才 这因为其实人都是被卡养出来的 然后很多时候如果你摸过很多卡 你其实就大概知道这个 这个该怎么去训 这样一个很大规模的模型 那如果你只是做一些 非常小规模的训练 那其实你这个经验就没有办法 generalize到大规模 你这个话和前段时间 姚思雨那个访谈也是遥相互应了 只要把本科生放在这个 大规模的卡的环境之下 本科生也能干这些事对吧 我觉得是这样 甚至本科生有的会干的比PhD更好 因为有时候PhD他经过太多这种训练以后 反而就是说可能会过于严谨 [00:45:47] 或者是这个不太愿意去YOLO 但其实这个很多时候这个真的好的run 可能就是YOLO出来 跟大家仔细说一下 什么是YOLO出来的 你之前 YOLO意思就是说这个 我觉得这个就是拼直觉 我觉得这个run他就是好 然后我又直接launch 然后我不会 我不会说这个就是我一定要精打细算 我去做很多opulation 因为这个就是就还是之前的那个 就是靠intuition来做一些比较正确的选择 然后去在这个非常high dimension的search space 里面去找到最好的data 然后算法和infrared combination 对 所以说你也是支持那种给小灯足够的卡 让他们去YOLO那种人是吗 就我觉得training这边的话是这样的 对 明白 那么你这么快又出来创业 你的家庭呀创业伙伴呀 英伟大那些同事怎么看的分别 家庭的话 我老婆和父母其实也都非常支持 对他们其实理解就是说 [00:46:48] 我这个motivation其实也并不是从前的角度考虑 而更多上是说我们觉得就是这件事情非常值得被做 然后如果做的话它可能会有非常非常大的impact 然后以前的创业伙伴其实这个当时也是有些挽留吧 但是这个大家也都非常理解就是说在怎么说感觉实在在召唤 这个确实是需要做一些这个更有意思的事情 对然后emilia这边其实也都非常支持 对 太棒了整个是一场很精彩的第一次创业实际上来说是吗 嗯很有意思吧 对就是收获了很多体验 明白 那我们创业这段就暂且聊到这里 我们进入第二段就是邦华的研究 因为邦华其实是强学习理论的博士 这个博士圈其实有一个不成文的鄙视链 不知道你听过没有 就搞理论的鄙视搞算法的 搞算法的鄙视搞infra 你当然就大家都会说那个理论仪怎么会过来一直在开始搞这个infra这件事情 [00:47:53] 而且你一直在强调infra infra 到底是怎么让你 到底是怎样让你发生这样的一些转变 其实我觉得呢 就是这个转变其实就是在GPT release之后 就是以前大家其实做Machine Learning的时候 其实这个规模都比较相对来说比较小 就是可能最最重要的infra可能就是recommendation systeminfra 那这种模型的大小其实相比于现在的模型来说 其实小的非常非常多数量级 这个导致就是说infra里面的问题它没有那么的复杂 没有那么的就是大 没有上升到那么大的规模 然后在以前那个时代其实就是很多时候算法 然后和这个理论还是能guide很多这种model training 以及就是说整个Machine Learning的一些发展 所以在那个时候 尤其是比如说我刚进Bertley的时候 比如说Michael Jordan 就是我现在的我当时的老板 或者Martin Wernwright 其实都是这个比如说进Bertley的时候 一个大家都想跟的一个导师 对 然后呢 在LM出来以后 其实这个问题就发生了非常本质的变化 [00:48:53] 因为这个LM它的size越来越大 大家发现就只要scale data scale这个infra 而scale整个这个model parameter size 它就能让这个模型变得越来越聪明 那这个时候你其实做太多的理论 你说我predict它能变得多聪明 这件事情其实意义不大 反而是说这个问题变成最难的问题变成了 就是说我到底怎么去让这件事情 用最小的cost发生 因为我如果花10个billion 能训一个非常非常大的模型 但是如果我有非常好的infra 我能把这个cost降成5个billion 那这个其实相比于我这个可能做一些这个理论上的证明 可能会对于这个世界带来的直接的硬派会大上很多 所以就慢慢变成了就是说这个做system人的做的东西就会越来越重要 然后所以我觉得本质上其实也就是一个供需关系的问题 哦就是你也是那种希望自己做的东西能够对真实世界产生影响力的那种研究员 嗯对这个是一定的对明白 [00:49:53] 那么肯定波克里这段PGD经历有很多故事 我们先从最开始讲起我们先讲一下你是怎么考入清华的 然后在清华的整个的求学生涯是怎样的 在清华做了怎样的研究 嗯对我考入清华我是江苏江苏的领导人 然后我们当时那边这个苏北这个比较落后 然后呢所以其实就是说这个一个学校能考上清华的也不是特别多吧 对然后江苏考上清华的不是特别多吗 就江苏竞争比较激烈 然后苏北属于是相相对来说落后一些 对然后当时就是运气比较好 就是去了清华电子系 对然后就是在里面做一些通信相关的研究 然后大三的时候去了Stanford交换做UGVR 然后是一个这个在Stanford访问的一个项目 然后就是那个暑假在跟Stanford EE的一个老师叫David Sheer 他本来是做通信的人 然后他应该是通信领域的鼻祖 然后呢当时做了很多非常奠基性的工作 [00:50:56] 然后但是他在那个时候呢 他的方向兴趣突然转上了Computational biology 就是计算生物学 然后呢所以我当时就去跟他做了一段时间计算生物学 然后这个就导致我后面的兴趣也发生了一些转移 我就去这个申请的时候就去申请计算生物学 甚至当时差点拿到了Stanford医学院的一个offer 对然后但是anyway反正就是 我最后其实在进入Berkeley的时候 其实也是通过Computational biology这条路 对 那为什么等一下就是这个信息量有点大 对我们先说一下那个UGVR是什么东西 UGVR其实是一个就是 是Stanford的一个undergrad research program 然后呢其实当时就是国内的几所学校和Stanford合办 就是让大家这个就是有机会能够去Stanford 进行一个暑假的summer research 对这里也非常感谢这个UGVR的老师们和赞助 赞助商们提供的这个帮助 对明白 那你当时说就是你们苏北考上清华的不多 [00:51:58] 那你觉得是什么让你考上清华的 是天才的智力 然后业逸继日的学习 还是家庭氛围比较好 你觉得 就首先这个我觉得我不算特别努力的那一档 然后可能智力上来说我之前参加各种竞赛 其实也都不太行 但是我觉得我有一个比较特殊的一个点就是 就是我的我的如果以大元模型来举例的话 就是我的处理long contest能力会比较强 就是比如说这个所以我就特别擅长考试 比如说就不管是当时高考还是 但是在清华我基本上也都是系里第一 然后呢但是就说这个我是属于是比如说当时第二天要考固体物理 然后我一般前面没怎么学 然后比较比较滑水 然后最后一天晚上我就会去 或者前一两天我就会去这个抱个佛奖 然后去把这个书看一遍 然后第二天我就考就应该考的比较好 但是考完以后我就会忘 所以就是说我很难去内化和做一些训练 [00:53:00] 就我的脑脑里的位置其实不怎么变化 所以我现在就是说虽然当时上了很多课 但其实现在基本上已经完全忘记电子系学了什么东西 但就是说如果让我现在再去重新学固体物理 我可能再过两天晚上我可能又又能把它 pick up 起来 所以我就是属于是那种这个能够处理比较大的 contact 但是大概基本上都训不进去脑子的那种人 这是为什么这是怎么办到的呢 我也不太了解 对 真的实在讲了 对 那么我们回到那个你从清华到了伯克利这一段 怎么一开始就做了计算生物学 而又怎么又从计算生物学跳到了当时非常非常出名的麦克尔交代 那个统计系算是对吗 对 是 其实这个做计算生物学的契机也是因为我当时觉得 如果要产生impact的话 其实说不准通过deep learning方式 来去做一些genome prediction genome assembly 甚至就是说最后怎么去做一些这个 [00:54:03] 对于人类和这个生物的一些这种基因和医疗方面的探索 其实可能会有更直接的硬盘 所以当时又刚好有这个契机去和这个 斯坦福尔这些老师进行一些交流 所以我其实当时就是这个在做 在本科期间去做这个觉得会比较有意思 当时也是比较早期这个alpha fold那个刚出来的时期 所以其实那段时间还是非常exciting 然后去接触到这个统计和积极学习理论 也是因为当时我刚进berkeley的时候 是我当时的老板交建涛 然后呢他也是这个这个刚进berkeley当faculty 然后呢我之前和他认识 因为他也是我们电子系的学长 然后呢我们就跟他聊 就是说这个要不要一起做一些科研 然后他是这个做统计做信息论的 当时一个非常强的人 然后所以我就跟着他一起合作了一些这个统计 信息论相关的内容 然后当时还有一起的是另外一个 差不多同一时期进berkeley的faculty [00:55:04] 然后这个就是和他们一起合作了很多这个统计啊 以及这个机器学习啊就是相关的一些paper 然后后面也就是通过这个契机 就是慢慢走向了理论的不归路 那你觉得在伯克利这段求学生涯和清华 最大的不一样是什么个人体验 我觉得清华或者是国内的学校 其实大家一般会这个 大家measure一个人的方式会比较low dimension一些 就可能就是几点 比如说你这个gpa多少 然后比如说你有没有拿过特奖 然后比如说你这个 你参加了多少社工等等 但其实你到berkeley这个开始读ph的时候 就发现其实大家都有自己的绝活 然后大家没有说 我就把你压到一个感伴生 说比较这个人他就是比这个人什么分数高一些 反而就是说你其实能够更 更更多的去接触各种各样的怪才 然后大家其实每个人都会有一些自己的绝活和擅长的东西 [00:56:07] 然后然后你其实会发现就是说 通过和这些口号的人相处 你会发现你可以从每个人身上都会 学到很多很有意思的东西吧 对 举一个最偏的怪才你见过了在伯克利 我可以说一个faculty吧 就是我刚刚提到那个 Jacobs Steinhard 嗯 他是一个 我觉得 很有意思的老师 就是他是统计系的 然后呢 他当时在第一年的时候和我做很多 他自己的 PHS项目叫 Robust Statistics 有什么 这个翻译 翻译中叫鲁棒 统计学习这种 然后呢 我们当时写了一篇大概将近200页的paper 然后投到了那个Annuals of Statistics里面 当时也是统计系最好的一个期刊 然后 但是他第二年他就 这个 我本来想接着和他合作 但他突然说他这个 他的兴趣转移了 他要做Science of Machine Learning 然后 在我当时看来就是玄学 他做什么Interoperability 然后做什么 这个什么 一些Language Model Evaluation 在那个时候 我觉得这个东西 doesn't make sense [00:57:07] 他的当时一篇paper 是做这个所谓的MMLU 然后这个东西就是说 他问语言模型一些常识问题 然后让这个圆模型回答 我当时觉得这个圆模型是个什么东西 你这个不好做理论 跑去做这些东西 我觉得这个真是无法理解 然后Tensile 后面这个MMLU 就成了这个 大圆模型 这个Evaluation的一个Golden Standard 然后 就我觉得其实 就是现在Invirtual Strike 我觉得他们其实是非常有远见 那么像 比如说跟这几个老师 Micro Jordan 焦剑涛 在合作的过程当中 你觉得他们影响你最大的是什么东西 我其实主要觉得就是说 是能够大概 观察到就是说这个领域里面最顶尖的人 大家都在思考什么样的问题 大家Taste是什么样子 大家觉得什么样的问题 会是重要的 会是甚至会是影响未来 比如说五年或者十年的一些问题 但他们的判断不一定对 但是他们会有自己的一套逻辑 就是说怎么去这个 用通过这种自己的一些逻辑来去推导 未来到底会发生什么 我这个可能是 [00:58:07] 其实是一个最重要的一个技能吧 对 但是技术上来说的话 就是从他们这样 当然学到了很多 就是因为我完全不是一个做理论背景的人 其实基本上 如果没有他们的话 可能就是在这块就没有办法 甚至都没有办法迈出第一步 对 当时我理解的话 应该是深度学习大行其道对吗 对 对 当时就是 其他同学都在各种深度学习 CVPR 各种各样的地方 狂发鼎会鼎堪 然后你当时有心理压力吗 在PD的时候 其实还好 我们当时也会发一些 对 都是都是跟风 然后就是 我觉得在那个时候 已经慢慢的就是说 学术界他不会特别的看这个 就是说你到底发了多少 paper 或者多少个鼎会 但其实最终还是看就是说 你到底你这个 但就不看的是average 也不看这个number 而是看maximum 就是你做的这个 最impactful的一个工作是什么 就如果你这个一整 一整个phd 只有一个工作 一篇paper [00:59:07] 那这篇paper 让所有人都知道 所有人都在用 那这个其实就是一个start PhD 而不是说我一定要每年都会有什么 10篇CVPR或者NURBS 这样才代表你是最好 数量不重要 已经是一个大家一直在提的话题了 对吧 一定要做最好 对最star的一篇工作也可以 对是 那你觉得这比如说当时和 Michael Jordan合作这么多 因为他也是江湖太陡 对吧 就是你觉得是什么 让他一步步成长到如此 级别的地位的 我觉得有几个点我当时觉得非常 让我觉得非常钦佩 有点就是Mike 其实当时这个岁数也很大了 但是呢他其实每周组会 我们会有一个两个半小时的一个reading group 然后他都会出现 基本上就是除非有非常重要的事情 然后他都会自己去这个静下心来去读书 就是读一些这个 就是说他不懂的 然后他想带着我们一起读的东西 然后这个这个我们当时 就是那几年主要读optimization [01:00:09] 然后甚至读一些economics 就是因为当时Mike觉得 human AI interaction非常重要 然后这个里面 他就不再是一个machine之间交互的问题 而是一个machine和human怎么collaborate的问题 那这个问题本质上就是要machine去理解human 那这个其实就是个经济上的问题 所以他就开始读一些经济学书籍 然后我们当时就跟着他读了好几年 这个econ的theory 包括game theory 然后也包括一些这个什么auction theory 就拍卖的一些理论 这个其实当时也非常有意思 我甚至写了很多paper在这个方面 然后觉得就是说Mike 他的兴趣也是会经常转移的 就是他之前一开始会做 他是从这个做心理的这个phd开始 然后呢慢慢他自己学了统计 然后开始去做统计 然后开始做机器学习 然后现在其实又开始看这个econ 所以其实说他自己也是一个就是一直在不断学习 但他从来不会觉得自己是继续学习太多 所以他就只做继续学习 他反而就是比如说这个其他任何的 他都会愿意去这个在他这个年纪 还会去不断的吸收新的知识 [01:01:09] 所以我觉得这个是让我非常impress一点 就甚至我觉得我60岁或者是70岁的时候 我可能就完全不会有他这样的这个经历和这个想法去 就是在一直学下去 去一直学新的东西下去 对 Hinton是不是也是心理学的 好像是 对 他们这些人是不是就是那种一直在保持好奇 一直在不断学习 就这种状态 对是的 所以我觉得我是非常非常佩服Mike 对 这种因为这个学习的过程 其实如果说你不enjoy的话 实际上是非常痛苦的 对 因为学习相当于重塑大脑里边的神经元 对不对 对 然后他们能够到现在为止 还在一直学习这种过程当中 那确实就是天生就是应该做research那批人 对 是的 我其实就不属于这种人 因为我这个就是一旦看完就忘了 所以我其实这个当时和Mike看过的一些书 我现在其实已经完全不记得他在讲什么 但是我大概还是记得就是说那些philosophy 和一些这种principle在背后 对 但即使这样你也是论文不断的框框发 [01:02:10] 对吗 我当时倒是也没有就不算是发很多的这个人 对我是可能更喜欢静下心来写一些 对 那么在博士生涯的末期基本上要开始找工作了 然后当时你选择的是去华盛顿大学找交职对吗 对 对当时其实也就是这个就我们我们这个cohort的人就是这这这这一波phd 其实大家都是在各种工业界和学术界基本都同了一遍 然后呢所以其实包括我包括尹啊联敏啊就是大家其实都去申请了一波交职对 那么到最后的话你是没去然后就开始创业了是吗 嗯就目前还在defer的状态 嗯 对然后学校你是比较支持的吗 对吗 嗯学校还是比较支持的 对明白 那么这一波就是说推迟去入职就是因为看到了xgbt这波机会有我们刚才聊的是吗 嗯对是其实现在学术界和工业界确实这个在资源和其他方面的差距都会比较大 [01:03:13] 其实很多时候自己想做的事情如果是必须要有比较大的资源才能支撑的话 其实在学术界可能尤其是对于一个比较年轻的faculty来说可能就会比较比较有难度 对那么就是如果说你要给刚读peg的同学一个建议的话 最诚恳的讲你会给他们剩下的建议 我觉得就是不要太有压力 因为其实你现在做的和可能你五年后做的完全都不是一个方向 所以我其实觉得就是说你如果现在比如说这一两年或者两三年其实觉得完全没有成果 这个我觉得其实也没有什么大的问题 我就觉得比如说包括我我也是第五年的时候 嗯才开始决定要转这个方向才会有一些更引人注意的成果 然后甚至当时我刚提到那个Jaco 不知道今天为什么扩他这么多次 但是他也是第五年的时候才开始做真正相关 robust statistic paper 然后也是第五年的时候才找到了Berkeley 就其实就是上马克里的时候根据第五年的那个paper 才找到了Berkeley的faculty 所以我认识的很多人其实大家都是就是不断的去探索 然后在自己慢慢这个就是探索到一些比较好的机会的时候 [01:04:18] 然后那个时候就那一次或者那一篇工作 让自己变得非常非常的就是说 让自己就是拔高了自己的这个工作的高度吧 对 是不是可以这样总结就是不断的去探索 然后找到自己的兴趣点 同时等待那个机会 对对 有一句游戏里边的话叫做版本砸脸 对大概就是这个意思 对但是也需要判断什么时候是版本到来的时候 这句话怎么说呢 就说就比如说language model这一波 其实就是说有很多人会会觉得 比如说这个他并不是一个relevant 或者是不是一个特别火的东西 或者就是说他可能再过一年他就会呆到 那这样的话 其实你可能就不会去invest in这个方向 那可能确实也会错过一些东西 明白 就是看到机会的时候 还是要抓住 对 如果说现在有同学在纠结读不读pd 你更建议他去工业界还是去读pd 我觉得如果有好的机会的话 [01:05:18] 也是可以考虑去这个所谓的这个资源比较多的地方去看一看 然后因为读pd我觉得更是一个长期的过程 然后其实如果你真的感兴趣的话 可能30岁读35岁读 甚至是50岁60岁再重新读pd也都没有问题 但是反而来说我觉得现在是一个 AI革命的时代 不太清楚会不会是一个像工业革命这么大的一个影响 但是我觉得可能最近这几年会有很大的变化和变革 比如最直观的一个例子 其实就是说如果你在公司的话 你可能可以有无限的cloud code可以用 你可以一个月用2万刀或者更多的这个token 你可以去explore怎么让这个agent更efficiently work for you 但如果你在学校的话 如果你按照一个月2万刀的时候 你可能就把导师的所有经费都烧完了 所以我觉得其实在从这个角度考虑的话 其实可能这个去一些资源比较丰富的地方 就能够看一下 看一些这个AI最前沿的一些东西 我觉得其实还是比较比较重要的 [01:06:19] 对 所以说你的判断标准其实就是资源的丰富与否 GPU的多与否 Cloud Code的多与否 因为这个东西能够把人给养出来对吗 对大概就是这个意思 对待在学校里边的话 如果说一直没有这么多的资源去攻击自己的话 其实到最后的话 并不会练出来一套工业界 甚至学术圈所需要的一些东西对吗 对 是的或者尤其是针对这个AI和Language Model 这个方向来说的话 确实是这样 所以说还是回到最早的一个话题 其实就是人还是环境和一些机会养出来的 对吗 我觉得确实是 对 对感觉创业成功过一次 或者说一些比较做的比较好的人 都很难去否定这句话对吧 对对是 行 那我们进入下一个大的板块 就是对于未来的一些展望吧 就是先说第一个 大模型这波浪潮 你觉得现在是刚刚开始 因为你刚才也提到了 那么你觉得最近这一两年最重要的问题 应该是什么 其实有很多 就是如果你按照线下来看的话 [01:07:20] 其实有很多非常多的new lab spin up 都要在致力于解决continuous learning 或者是类似的问题 然后这个问题本身的定义 其实也不是特别清晰 就是到底什么样的 什么样的一个场景和这个 范式可以被定义为continuous learning 然后比如说现在有人说 他们其实in some sense 也实现了continuous learning 因为他们现在是在用cloud code 然后用最新的模型去improve自己的infra improve自己的data quality 然后再去训练更强的模型 然后如果真的存在这样一个拐点 使得就是说这个事情它会exponentially的explode 那可能就会有一家公司 它突然有一个非常大的一个intelligence上的 leap 所以这个可能是一个很有意思的问题 就是这个拐点到底会不会出现 然后如果出现的话 这个会是谁先到达这个拐点 所以说你信这波资金化吗 就是说持续学习吗 [01:08:20] 我希望它是信的 或者说我希望相信它 对 但是也有可能受制于比如说资源 比如说这个能源上的这个限制 所以它可能就算是实现了 但它也没有办法explode到这个 就是我们最想要它达成的这个AISI的地固 那么如果说再往前看一看 比如说五年之后呢 五年之后我觉得就pure text language model 可能就会less irrelevant 然后可能大家肯定会更多的走向 native multimodality 甚至omni 就是说任何的modality input 任何modality output 这样一个范式 以及就是可能robotics 也会有些更多新的这个 新的这个进展吧 所以说就不是什么纯文本 接下来就是动模态 然后巨神智能机器人这一些 对我觉得pure text scaling 它可能会就是它可能不会再需要这么多年 才去完全就是理解 但是就是说对于更多的modality [01:09:21] 它带来的一些新的data 和这个新的interaction 和新的training paradigm 这个可能就会有更多更更更多新的问题要做 明白 那么现在大模型的整个训练范式 还是预训练SFT啊 post training 这一套对吗 你觉得这一套目前每一个阶段 还有多少潜力没有被释放 这个问题其实我觉得不同的frontierlab出来的人 可能这样想法也都挺不一样的 对摄了一下你的意见 对我觉得pure training这边其实 就说洗data洗得多好 这件事情非常非常重要 然后这个事情目前来看好像还没有一个 还没有黑到一个wall 就是说你如果能把data洗得更好 你有更多高质量的coding data for example比如说coding这个方向 如果你有更多的coding 高质量coding data的话 其实它模型的能力boundary 其实还是能提升 就pure training 它以本来就是决定了你post training 这个能最好做到多少 然后它其实决定了一个边界吧 [01:10:22] 然后呢SFT或者miss training 其实现在更多像是一个对pure training 一个小的fix 然后或者就是说让它这个模型能够有一些这个 比如说简单的instruction following 或者是一些简单的这种 用coded high quality data 去把这个pure training一些noise给去掉 然后后面再去做这个真正的rl run 或者post training 其实更多像就是说 看看能不能把模型的能力推到这个边界 推到这个pure training define的边界 然后甚至就是说 现在大家做的比较多onpolicy deceleration 就是看能不能就是把几个非常好的不同领域的expert 就是merchback成一个这样一个比较好的这样一个 最后的一个比较well rounded generalist model 对那你们现在比如说 因为你们也一直在帮各个公司做rl的infra 你觉得这一套东西的话提升空间还有多大 那您说rl infra本身还是说就是 就是rl吧 rl这边的话其实我觉得有一个点就是说 [01:11:25] 现在frontierlab和open source的差别还是挺大的 所以就是说这个open source这边的话 其实可能会有更多值得做的东西 然后是可能就是说 是这个大家现在很多公司还没有的 但就是说如果一旦有的话 其实大家可能会有更有机会被empower成一个 更接近frontierlab的一个这样的一个stamp 那这一段怎么理解呢 就是差距这么大 对其实就包括比如说这个强化学习的环境 它对应的infra和data的quality 以及就是说本身的这个rl的infra的一些各种各样的细节 就是说如果你没有在非常大规模去做过验证 那其实这个infra本身它可能没有办法去非常reliably去串一个 比如说trillion parameter的一个模型 然后这个其实很多时候你需要有很多卡才能去verify这个事情 然后才能把这个事情 就是你launch很多非常各种各种各样不同case的run 你才能去理解就是说这个 它到底是否真的reliable 或会不会有些真的小的问题 [01:12:25] 非常多的conic case是我之前没有发现的 它可能就会导致你的accuracy有些偏差 甚至你就会得出一些错误的结论 对 所以说你觉得现在开源社区还不具备这样的一些条件对吗 这也是partially 为什么我们希望就是通过reliably stock来就是说 把这件事情给做起来的原因 因为本身来说的话 其实你光从一个开源社区的角度 它其实很难称得起就是说 比如说一个千卡的一个testing 或者万卡的一个testing 但是你通过一些这个商业上的这个机会 你其实是有可能去让更多的人去摸到这个千卡和万卡 这样的话这个access就可以被更好的demokratize 所以说比如说你们在通过reliably stock 帮助一些公司完成一些万卡的后续链的建设 然后这些东西你们也会逐步的放出来 在可接受的范围之内 Miles其实现在已经经历过就是千卡这个level的这个testing 就是它其实是非常reliable 当然万卡的话 [01:13:25] 其实可能需要有更多的一些这个fault tolerance 一些更多acquisition layer的一些这个优化 所以这块的话就也还是大家努力的一个方向吧 对放出这么多东西的话 那你们如何让自己的商业模式更具有延续性 对这部分我们考虑的是就是我们希望能尽可能降低大的成本 去access到一些大家这个平时生活中能用到的一些场景 但如果在非常极端的场景下面 它需要的一些极端的优化 其实有的时候开源出来 反倒不会对整个community会有很大的帮助 所以说这一块东西也是你们保证商业模式的一个技巧 嗯嗯它不一定是保证商业模式的一个技巧 只是说就是说这部分就算开源的话 其实可能也不会有太多的人他会用到 对OK 那刚才提到了比如说机器人呀 就是无论是国内还是硅谷这一块都有很多机器人这样的公司 那对于他们的话 比如说你们提到的SG浪这样的推理引擎有帮助吗 [01:14:29] 你觉得是肯定会有的 就是说当然就是说也看机器人的具体的使用场景 如果它是 比如说机器人上面的一些这个对话的形式 或者是你要机器人让他做一个VLA 然后呢让他去针对VLA做的一些推理 这些可能需要针对对应的 对应的hardware和这个新的model architecture和新的这个 比如说他prefail比较heavy的这个setup做一些优化 但是eventually它的这个推理引擎的很多的底层逻辑 比如说kernel啊这个compiler 这些其实都是可以服用 对 那么现在有类似的一些合作吗 目前机器人这边还比较早期 对 明白 那么接下来就是长期来看 那对于推理infra和强小学习infra 最终的中局会是怎样呢 是不是可以理解会 未来会有一家Data Breaks 或Snowflake这样的infra公司 [01:15:30] 帮着全世界各种各样的很牛的大公司 做infra管理 类似这样的情况 有可能 但也取决于你的中局是多多么中的中局 就是我觉得在某个state的时候 是会存在这样一家公司 它更像一个平台 然后去enable empower更多的人去build frontier level的这个AI 然后甚至是就是用frontier level的infra 去做这个training和influence 但是甚至在这之后到底会发生什么 其实我觉得才是更有意思的事情 就是会不会这个 就是如何在定义 那个时候agent到底会长什么样子 然后agent到底会和人怎么去交互 然后agent之间的交互 和agent和人之间的交互 到底会有什么样的不同 然后是不是有一家公司 他需要去empower 所有的这种personal agent 然后这所有的personal agent 他们之间的交互 以及这个和人交互的interface 是不是都会需要一家公司来定义 那这个其实我觉得 可能会是未来更有意思的一些问题 [01:16:30] 然后所以我们ready stock 其实一方面是想做这个做成为一个平台 另一方面也会希望变成一个infra first 这样的一个frontier level 去探索更多这种更前沿的一些新的问题吧 对我大概理解一下 最近有很多公司 比如说是那种做agent拍卖 我去把一个任务发布过去 然后各家build的自己的agent 去承接这样的任务 相当于就是说 由之前的外包给人 变成外包给agent 或者外包给人家agent 然后你刚才说的就是 可不可能relius arc 这样的推理infra 或者说强小型infra 最终能够支撑这么样 若干家公司的这种运行 对吗 它可能不是若干家公司 而是可能最后 就是全世界大家所有的公司的运行方式 可能都是通过agent 那这个时候其实就是 它后面也需要有个类似于电力公司的 一样的这样的一个公司 [01:17:30] 去empower server 那我们有可能希望 比如说这家公司是有点草 当然其实你刚刚说的这个 比如说人去雇agent 但其实现在之前也会有 这个open cloud的衍生的这个社区 是存在agent雇人的这种 所以这个大家其实都在探索一些 新的这种agent和人到底该怎么交互 比如说agent他会说我要出多少钱 然后说这个派人去帮我去一个地方做点事 然后这个可能也会更有意思一些 比如说让人去跑腿之类的 对 所以说我大概理解一下你刚才那种愿景 就是未来的话 人与agent的协作就跟现在人用电一样自然 然后Redis Arc这样一家公司要做那个电厂 嗯hopefully 对 这个愿景我是第一次听你讲 所以说我感觉还是挺伟大的 我是觉得这个只是一个万千未来可能性中的一种 然后这个可能也完全不会发生 [01:18:30] 可能确实发生的就是比如说 at some point anthropy或者opi一家独大 然后就把AI这个游戏给结束 只是我们其实更希望看到的是一个百花齐放的一个时代 对 对 如果说他们家做到就是模型一技绝尘 他们就是那个世界上最终极的黑客帝国里边的一个母体 和母体那样的infra对吗 对 他们既是模型公司也是infra公司 然后大家只要靠他们API 然后所有的agent他都存活于他们那个母体当中 是的 对 这是一种可能的结局 但是我们希望的是另外一种结局 对 就是有更多的不同的这个agent 在互相inter 然后这些agent都来自不同的公司 然后我们成为impower这些公司的人 所以说你参与这次创业最终的目的就是能够朝着这个方向更推进一步 无论成败于否反正你觉得你做出了自己的努力对吧 对 是的 这个东西真的是第一次听你讲真的太太棒了 这个这个比较玄学 对 但是我还是觉得就是确实是我比较相信一句话 就是因为相信所以看节目 对吧 [01:19:30] 你要是让这个世界努力去按照你想要的那方式去走一走 虽然失败了 但是最起码它是一件很有意思很有意义的一个过程 对 是的 对 甚至说可能会启发很多人对吧 可能自己不是那个成功的人 但是到最后启发了很多人继续朝这个方向努力 某一个人接力他就成功了 对 我们会觉得那样的世界会更有意思 对 所以我们其实就是希望能够大家一起去把这个这样的世界给build起来 确实好像是挺有意思的 对 那么刚才也提到了嘛 就是很多neolabs 对吧 就是无论是中国还是美国 都是越来越多的公司在自己训达模型 对这些neolabs你的看法是什么呢 我其实觉得就是说现在这个其实是我们很希望看到的愿景的第一步 也就是说有越来越多的人他去愿意去挑战Frontier Lab 比如说他们不会觉得open AI和athropia就是中局 他们反而觉得就是说我们我们现在可以创造一些新的范式 [01:20:31] 去创造一些新的AI 然后这种AI他甚至不一定是通过现在的pre training post training 这个paradigm出来 比如说David Silver公司做的这个 他们说要做从零开始做iol的这样的一个思路 这就是一个非常有趣的一个思路 但是不知道最后是否会成功 但是就是有有这样越来越多的尝试 大家才有可能在范式上做出新一代的改变 然后我们其实也希望就是说能够empower越来越多这样的公司 让让他们去推动时代的Frontier 同时我们和他们一起去合作 去推动这个让他们更快更efficient去推动这样的一个Frontier 就是怎么说呢 因为我也是一个研究员嘛 我就觉得之前从来没有遇到过这样的一个情况 就是资本大举的去推动这个实验室的成立 对吧 现在是进入到一个你只要是一个足够好的研究员 然后可以在工业界拿着很高的薪水来做研究 就是站在这样一个角度 我觉得就是真的是科学技术是第一个 就是真的是科学技术是第一生产力 [01:21:32] 然后接下来就是努力去做这些研究 然后努力去探索努力去产生实际的价值 是不是对于一个学生来说是最好的一个职业方向 对我觉得是的 其实现在就是大家都在赌一个AGI的未来 所以其实不管是这个投资人还是说公司 大家都愿意去花更多的资金或者是成本去赌这样一个事情 我觉得这个其实也对于很多做AI研究的人来说 还是非常 encouraging 对这就是好事 对吧确实是好事 之前哪有过这样一种情况 对不对 这个卡无论是Neo Labs的那个就是人才也好 还是Neo Cloud上面的卡也好 对吧这些钱全部变成了人才和卡 就这种感觉 对是的 对就是无论成与不成 其实就应该去做这样的事 你的观点是吗 我觉得是的 因为其实就是说你就算这次不成 你可能还会有下次 但是如果你一直不去做的话 你可能就没有机会会成 对尤其是OpenAI这一波 还有Anthrobic这一波就是已经逼近万亿市值了 [01:22:34] 对吧 大家也看到了 如果说你一开始投了几亿或者十几亿 然后万一出现了一次就是泛式革命 很可能你的一亿就变成了一万亿 对吧 对是的 对这种信力也是很大的对吧 对而且这个机会是就是它是真的是取决于时代的 就是如果你在倒推前十年 其实它可能没有这么大的机会 就是反而是就是说如果这个事情它 AI刚出来这一段时间 它其实是这个在一个混沌的状态 就是乱世出英雄 所以其实反倒这个时候反倒就更应该去拼一拼 就算worst case 真的就是什么东西都没有做出来 那其实还是可以回大厂养老 我觉得 这个大家一定要认真的把这段话反出一下 这就是职业的黄金建议好吧 对那么除了这些neolabs和neocloud 那对于最近越来越火的世界模型 你有了解过或者有自己的看法吗 对我觉得其实世界模型也是一个 就是对于新的modality的一个exploration [01:23:36] 所以我觉得其实是非常自然的 同时就是说如果你能做非常非常好的这个 所谓的world model 但是这个怎么定义这个world model 其实大家也都有些争议吧 但是就是说如果你能去非常好的去predict physical world 然后或者就是说你能够 generate 非常非常好的physical simulation environment 这个其实对于robotics 或者对于一些甚至是游戏领域 其实都会有非常非常大的这个帮助 这个其实就是一个和language model 完全不同的反式 那当然我自己没有太work on world model 但是我确实觉得这个是一个 也是下一个比较非常重要的一个点吧 对对我发现你在看待这些方向的时候 对我发现你在看待这些方向的时候 和你刚才说的macro交代的状态挺像的 你就是鼓励大家探索去吧 那没有像很多那种大V一样 对某一个方向进行单点的爆破 这个不行那个不行 但是我发现你就说这个大家应该试一下 那个大家应该试一下 对吗 因为我知道我这个我的观点会 就是可能会很bias [01:24:36] 就是如果我我确实会觉得比如说 当时会觉得比如说for example 非常小的点比如说会觉得DPO不行 我觉得PPO其实会更好 那这个事情我也不会去就是说把它说死 因为我觉得就是说他 他这个问题就会是没有办法一个人 通过一个人力量去predict出来 你必须要有非常严谨的observation 你才能真的把这个给说死 那我们进入收尾阶段吧 就是回顾你过去这么精彩的本科博士 第一次创业第二次创业就是你会觉得如果怎样的话 你还可以做的更好一些 比如说25岁那个阶段你会更多的去做什么更少的去做什么 我其实觉得那个时候我可能还是会多去尝试各种新的方向 就是如果我当时比如说没有去尝试过通信 没有尝试过computation biology 甚至我当时还有一段时间看了一些blockchain的theory 或者是在后面的econ theory [01:25:37] 其实我觉得我可能对于一些东西的认知 不会有现在这样比较更完备一些 就是说我大概知道比如说通信到底要解决什么样的问题 然后computation biology到底要解决什么样的问题 为什么这些问题在当时重要 然后在现在可能会less important 或者在当时不重要 但是现在变得重要 所以其实我觉得看过各种research direction的兴衰 其实反而对我来说会让我更有 更有底气去判断一些后面到底会发生什么事 对我刚才能够感觉到你说你的判断力是一个非常非常准的一个人 其实我其实我在过去一直在反思和创业的伙伴 和跟很多朋友在反思 我就发现在某一个节点你能否做出那样的一个决定 那就是一个人认知的最高的体现 对我是觉得你的那个判断力特别特别的准 然后我也特别相信你刚才说的那些 就是过去经历了这么多不同的探索之后 培养出来你这种对于一些事情的那种 [01:26:38] 判断力 对我是觉得就是做公司 也包括做各种任何事情 其实他最后其实也就是 就每一个决策 他最后带来的结果 其实就是说这个 我看到一个人其实也看 就是说比如说他make decision做决策的时候 他是否能总是 或者经常make right decision 我觉得这个其实是确实是一个非常重要的 也是体现这个人思考的一个一个一个 一个方向吧 对 你细说一下比如说你在面试过程当中 怎么能够判断出来他会做正确一幅的 decision 我倒不是面试 比如说其实我就非常佩服盛影 这个我们的这个CEO 我就觉得就是说他其实就是说他对于很多东西的判断 其实是非常非常有非常非常准的直觉 比如说他当时 嗯 嗯 做Arena这个事情 其实这个他在做之前可能他就大概有个想法 说这个事情是非常重要的事情 [01:27:38] 而且可能会是所有人都需要的事情 然后就是果然Arena这个事情就就是非常非常火 然后呢在后面在做这个Asteline的时候 其实我和他判断都是相反 我就觉得就是没必要花时间去做一个全新的推理引擎 但是他会觉得就是说如果这个推理引擎 嗯 我猜他是觉得就是说从first principle 角度来说 如果你推理引擎做的足够快 足够好 然后足够 widely supported 他就是用户就会去选择他 然后tuncel他确实是对的 然后我当时的判断其实就是完全相反 然后完全错了 然后呢他其实在做Asteline的非常早期的时候 就是拉着程阳很多人一起去做这个RL这件事情 然后因为他就是觉得RL就会是未来的一个需要byte的方法 然后tuncel就确实就是大家现在强化学习 这个尤其是对于这个agent 因为agent的原因的 所以导致强化学习这个本身这个需求也越来越大 所以因为Asteline和强化学习 Asteline和强化学习integration做的非常非常好 所以有很多越来越做training [01:28:39] 越来越多做training的人也会去使用Asteline 所以我是觉得就是我这个co-founder 其实他能够做很多在实在上面对的判断 我其实觉得这个是非常难能可贵 对 你有点过于谦虚了 其实在我的视角当中 就是一个判断力超强的人 遇到了一个判断力超超强的人 就这种感觉 因为你当时 对啊 他确实很强 对 我自己我不太清楚 但是我的视角是很强的 我的视角是很强的 因为当时做Nexus 包括能够蹚平这套RL 这一套技术站 包括那么早就把Agent和Function calling这件事情都想明白 在2023年那个阶段 对而且是一个非大模型的博士 是从强化学习optimization转过来的 这已经是很变态了 感谢 对然后其实就是刚才有一个 就是可以给大家再进一步的聊一下 就是LM Ariana 就是那大模型的那个精彩榜单 对吧 前段时间也拿到了1.5亿美金的融资 对吧 就是大模型不但要看那些专业的什么数学呀 [01:29:41] 什么长文本呀 那些榜单上那些相对客观的排名 但是也需要一种 就是说大家去打分 对吧 认真的去看一下 广大群众们到底是怎么认 就认可这个大模型的 所以说也是很早就开始做这件事情 但是最近相当于也是被 各路各样很牛的投资方看到 然后对吧 对 我反而觉得这个大家投资的时候 其实投资的还是最开始那个版本的 Arena 因为当时在那个社会 在那个背景上面 其实大家最看重的 其实就是你聊天本身是否 是否会被人喜欢 因为当时模型还没有做到 没有办法做到就是说他给你很好的很高质量的response 但是在现在这个阶段 其实大家慢慢的会往intelligence的frontier去推进 这时候大家其实看重的不是我喜不喜欢这个response 而更想说他能不能解决最复杂的问题 能不能解决coding这些问题 这个现在反而是很多时候 [01:30:41] Arena 他没有办法反映的一个这个指标 所以其实我个人是觉得就是说这个 嗯 如果Arena想再进一步的话 可能也会需要再往这个方向发展 对对就是构建更多的环境 然后很客观的去看待这个问题 能否被某个大模型解决对吧 对其实就是更像是要推进intelligence boundary的一些evaluation 而不是只是通过人的这个情感 或者是人的这个判断就能简单的判断出来的 这样的一个evaluation 感觉他们之后肯定会往这个方向去靠对吧 对希望如此 对 判断力吧就是说这个因为你也现在 天天在用cloud code的鞋代码吗 你觉得程序员这个行业 其实我觉得我不太喜欢用程序员这个单词 因为他太宽泛 因为确实是有计算机科学家有工程师 有程序员这样不同的一些角色划分的 那么你对我们计算机这个行业接下来 会走向怎样一个就业的一个就是场景 [01:31:43] 做一个构想吧 嗯我觉得因为coding agent的原因 所以他其实现在造成了两个影响 一个影响是这个对于junior的 software engineer来说 或者是cs刚刚毕业的人来说 其实确实在找工作方面会更难 因为大家很多时候发现并不就是说agent 他可以 可以取代一些更basic的一些computer science software engineer相关的work 另一方面其实就是说他会让很多资源更concentrate到就是真正强和有taste的这个有水平的顶尖的 system engineer或者是 software engineer上 甚至是researcher上 其实agent会不断无限的放大他们自己的这个能力 以及就是说加速他们的iteration speed 加速他们的iteration speed 这样的话其实eventually可能就是说可能会对cs这个行业造成的一个变化 就是说以前大家做一个非常复杂的software 要维护它可能确实这个是一个百人的effort 然后或者是千人的effort [01:32:44] 但是之后呢他可能确实eventually随着coding agent不但变强 他可能就会是一个十个人的effort 但是需要十个最强的这个system的人 最有taste的人去把这个事情做起来 然后所以我觉得这个我也没有太想清楚的一点就是这样的教育断层到底该怎么去被弥补 是不是以后学校它的作用就更多的像是 更多的像是其实是如何筛选出来能够成为这个最强的这些 这些system engineer或者是soft engineer的人 然后又让剩下的人去explore别的direction 所以这块其实我暂时想象不出来会是什么样的一个未来 对我也是觉得就是单纯从巨蛋机这个行业来讲的话 接下来的可见的工作岗位的话 基本上就会集中在你刚才说的那一类身上 对我觉得大概率是的 就是公司现在尤其是你也看到一个趋势 硅谷这边就是精兵强将 招上三四十个 这家公司基本上就能运转的不错 [01:33:46] 而且很有潜力 你知道的人越多甚至会让人觉得你这家公司可能有点人缘容易 然后不够有潜力 对吧 对就是更像是一种native的公司 可能在各种架构啊 以及就是design上可能会和之前 之前时代的公司就都会有些差别 对它整个组织架构呀一些沟通方式呀一些合作方式 就全部产生变化 对吧 但是同时呢计算机这个行业 其实要在国内读书的话 大家都知道就是它是一个非常大的一个专业 基本上每个学校计算机的人数都是能够排到前几名的 我觉得至少是前五吧 计算机 对那接下来的话 其实肉眼可见的就是真的看不太清楚 就是这么多的计算机专业毕业生 怎么能够去就是说继续在这个行业之中生存 对我也不知道 对那就是 很这是个很难的问题 对 嗯这是一个很难的问题 就是如果有可能hypothetically假设这个AI它在各个方面能力还需要进一步发展的话 [01:34:50] 那其实很多时候可能现在这么多的供给就会变成一些 比如说让AI进一步进步的一些data labeling的一个需求 对 就是说更多的人可能先从事一些data labeling 对但是但是这个因为data labeling其实变得越来越复杂 所以其实它的门槛也会越来越高 就是你是如果你现在只是标这种preference data 其实对于frontier model来说其实帮助不大 所以更多时候大家需要标的是越来越复杂的数据 那这个确实也是一个目前来看 还是一个human capital非常heavy的一个effort 嗯 但其实无论如何我个人的体验就是如果说你非常喜欢计算机这个专业 你就是应该all in 因为这个行业的大的机会其实还是在那边 如果说你不够喜欢 只是想找份工作 可能这个行业会越来越不友好 我觉得这个判断应该是可以下 [01:35:50] 对是的 但其实甚至在退一步来说的话 就是说AI也有可能导致就是说很多所谓的财富 其实可能最后就都都真的irrelevant 所以其实他可能人最后就是看自己到底喜欢什么就应该做什么 如果真的是享受CS享受coding 那其实也还可以接着古法编程 就是还可以接着自己做coding 然后那就是其实就是出于兴趣 也不是为了productivity 也不是为了赚钱 然后如果有些人他就不喜欢CS 但是因为AI的原因 他其实是可以被impower去做任何他想做的事情 这个其实换一个角度来说其实也是好事 对 这个观点就是和前一段时间马斯克说 人类的社会终将会变成一个大家财富都非常的无所谓了 反正大家都已经极大的物质自由了 大家能干点自己开心的事就干点自己开心的事 是这样一种感觉是吧 对我倒不一定觉得物质自由会那么的靠近 但是我是觉得就是说这个因为因为AI的原因 所以让大家这个想干自己喜欢干的事情 [01:36:52] 这个门槛会降低 因为假设假设我现在突然觉得competential biology是一个未来 我又想接着回去做生物 我其实可以通过AI的方式来去帮我更好的去onboard这个方向 然后让我去就是和AI配合 就降低我这个做这个从事这个方向的一些门槛 其实我觉得这样的话其实就让人这个转行 其实就会变得这个更容易一些吧 对 我之前也是采访过一些做生物学的博士在Stanford 那他们现在每天就是cloud code 就是在各种数据处理啊各种学习新的方向的时候都是cloud code 对是一个之前的话可能比如说要花很长一段时间去学编程 甚至说就没有那个时间去学编程的一个人 嗯 现在直接拿着cloud code 在做自己领域的事情做的越来越强大 对是的 所以这个tool我觉得整体来说还是会越来越多的empower更多的人去做自己喜欢的事情 只要把它用好的话 对 其实呢有单点从计算机这个行业来说这个人员肯定是需要的越来越少 [01:37:55] 但是从大的覆盖面上来说的话就是AF给人的自由度是更多的 对 是的 对 其实整体来看的话 它就还是一个更美好的世界对吧 嗯 我只能说希望如此 对 为什么说真的说希望如此 嗯 就是它确实也会让确实也会带来很多非常现实的实业的问题 因为不是所有人他都比如说他确实会有人他就是享受做computer science写code 但他可能就是能力不是那么强 然后但是他就喜欢这个过程 那这种人他可能确实会面临面临比如说找不到工作的一些这个挑战吧 所以他肯定任何社会的转型其实都会带来很多阵痛 嗯 我觉得这块就是是不可避免但是也是就是说也是比较悲惨的一件事情 对 确实就是能够看到我个人就是觉得这是一次工业革命 所以说我能够看到一些呃 [01:38:55] 呃 就是在转型的过程当中很多年轻的同朋友们都是在找工作当中很吃力很吃力 对是对对 刚才你也提到了就是说各种各样的资源和机会都会更多的集中于那些品位比较好能动性比较强的人 那么从你的视角来看的话你怎么去筛选出这样的人呢 就什么是品位好 其实很多时候我觉得在比如说看见点面试的过程中 也就是和大家交流的过程中其实很多时候就会看到 就说比如说他能不能觉得能不能发现自己在日常生活中对于code 或者是对于其他的一些这个呃方向有很大的criticism 他会不会觉得我看到这个东西就被写成这样我就浑身难受 然后会不会觉得就是说啊我这个code就不能写成这样 或者是我这个research就不应该这么做 我我会很多人其实会不太会去产生很强的criticism 他不会去criticize一些东西 然后他会觉得啊这个其实就还不错 [01:39:56] 我就觉得我就直接接受了 但其实如果你看比如说Linux就是这个写Linux这个system 他其实就是一个早期使用agent的鼻祖 就他是用人来当agent 然后呢他只要人写的不好他就去骂他 就在就在网上疯狂喷 但其实背后就是他一直在对于很多code quality做gatecaping 就是说他真的去把关就是说这个东西他到底这个 如果他真的不符合他的审美他就会直接reject 所以其实就是说很多时候这个其实更像是说大家能不能在这个现实生活中 或者是在这个写code的过程中 能够发现就是说这个code到底有什么问题 这个其实我觉得就是你在面试的时候 或者很多时候交流他平时的工作到底是什么样子 就我们就我们就能感觉到 就是真的有人我们聊的时候他就说我现在看公司里面的code 真的是浑身不自在我就希望把它重写 我就希望这就有很多地方其实都可以被improve 但是我们现在做不了这个事情 我们其实聊到这样看见的我们其实就会觉得比较开心 [01:40:57] 就是这然后在生物的去交流理解一下他 他看到的问题是不是真的问题 然后他有没有一些更好的解决方案 因为只有这样你才比如说现在在和prom agent的时候 你可以去碰这个agent 你说这个你做的这个太懒了 说我需要更高这量code 如果你觉得agent写的code已经很好 那其实你的upper bound就会是在agent写的code这个level 但如果你能去supervise agent 你能告诉他说我这个system这个写code 就是应该写的比这个 你这个现在写的比我写上中的差的太远了 而且你还能告诉这个agent 真正好的code应该是什么样子 你就可以drive这个agent 去写出真正好的code 我觉得刚才这一段可以让年轻的朋友 当做职业发展圣经来看 对就是非常就是 就思路非常清晰的给大家指导了一个 如何在工作上提升自我的一个方向 其实我之前在采访过一些人 在做开研作的比较好 其实开研作的比较好的 就包括Linux那个人 都是这样的品质 [01:41:57] 对 他们这样的品质会让他们怎么说来着 就是在职业上永远比别人要快若干个身为 直到别人追不上 实实在在就是这样 对 你要说 但实话说是讲 你要说真的智商 就是说超过180 或者超过200的人 几乎也见不到 但大多数在这种细小的差别之下 全靠这种刚才你说的这种品位以及 这个事怎么就不美呢 这个事做的怎么就不漂亮呢 这个事我为什么能够500行的代码 我们能不能有一百行写出来 而且大家看更懂呢 这种比较执拗的这种强迫症 就是那种高taste的一种体现 对吧 对是的 我们其实很很缺也很欣赏这种人 但我我其实不算是这种人 所以其实我也不太敢写扣 给他适量写扣 给他适量写扣 因为肯定会被怜悯和影喷 对 你还是太谦虚了 对 但是能够判断出这样的人 我觉得也是很重要的一个品质 就是千里马长有 而伯乐不长有 如果说有些人就觉得 [01:42:57] 哎这个人真难合作真轴 但在你的思想上可能觉得 哎呀这个人真的是精益求精 真的是太高质量了 太高品位了 那确实是他就应该和你合作 他就应该和你合作 对很多人其实就是这种性格的人 他其实在大公司可能会是格格不入 大家会觉得这个人这个迫事争夺 然后就说和所有人想法都不一样 去block很多事情的进展 但其实我们包括联名和影 做elmsys 我们去做redisark 其实背后也有个mission 就是希望就是说能让真正有能力 然后有想法 同时就说这个正直善良的人 能够被发现 然后能够被世界认可 然后能够就是说 在这样的这个大背景下脱颖而出 对 我特别喜欢你刚才说的政治善良 因为刚才我们都聊的 技术相关的话题 其实说句实在话 就是见了足够多的人之后 你会发现 政治善良真的很重要 对是的 就是人格底色很重要 对这个东西就是 你在和别人沟通过程当中 你很容易 也不是很容易吧 有了一定的阅历之后 [01:43:57] 就能够判断出他的底色 然后在这种底色之下 才能够产生一些同频的交流 才能产生共振 才能继续去深入去做更伟大的事情 如果没有这个基本的底色的话 可能后边都无从谈起 对 对 我觉得这个找创业伙伴 或者找这个 就是甚至是公司里的每一个人 其实我觉得这点 其实可能是最重要的 对 我特别特别认同这样的 我发现就是 为什么和你一直比较聊得来的原因 可能是不是就是因为这样的原因 对 我觉得这个和你也非常聊得来 感谢感谢感谢感谢 灵魂共鸣 共鸣了共鸣了 对 那么接下来就是 想想 接下来的话就是 好吧 我们接下来去 OK 那我们接下来就是进入最后一个问题了 对于 刚读本科的同学 对于刚读博士的同学 对于正在工作的同学 分别给这三类人 提出你最真诚的建议 对 对 我是觉得 [01:44:57] 这很容易说的很虚 但是我是觉得 就现在其实这个时代变化非常快 其实反而导致了很多时候 试错的成本 其实反而会变低 因为其实不管去尝试什么样的东西 只要是在比较正确的大的 大的Directing上面 它其实都会是 Eventually是会work out 所以其实就是说有些人很多很多人会纠结 比如说我是否要放弃有PhD 然后去做一些自己想做的事情 去尝试一些创业公司尝试的方向 或者就是说这个我是否要放弃自己之前做的很多年的工作经验 然后去尝试一个完全不同的方向 然后但是我觉得就是说有很多人是愿意 就你多愿意放弃 其实反而就是会让你之后多收获一些东西 然后我是觉得就是说尤其是在现在这个变化这么快的时代 就是反而是能放得下的人 [01:45:58] 其实最后才能拿得更多吧 对所以也是鼓励大家就是说如果有自己特别想尝试的东西 尤其是觉得比如说为什么这个人他就能做这个 为什么这个为什么我就做不了 那其实我觉得其实你可能就应该试一下 是不是你会发现这个人其实也没什么大不了 你可能做的其实比他还好 对说的太好了 而且你说这些话特别有说服力你知道吗 就是相当于你从一个全球最知名的导师团队 麦克尔交代那边 放弃了理论放弃了统计放弃了optimization这个方向 对吧勇于选择了这个新的大模型 然后所以说又变成了大模型时代的弄潮 对吧勇于放弃 勇于放弃他能够获得更多对吗 对那主要也是因为当时这个做理论也没没怎么做好 对再兼许了 对反正感谢方华 作为我第一个长播客的实验品 感谢邀请对对对 感谢感谢谢谢 聊得非常愉快 非常愉快非常愉快 非常愉快