对英伟达研究副总裁刘洺堉的 4 小时访谈:Cosmos 3、世界模型、武术、黄仁勋(张小珺,2026-08-13,第 150 期)¶
- 嘉宾: 刘洺堉(Ming-Yu Liu)(NVIDIA 研究副总裁 / Cosmos Lab 副总裁)
- 主持: 张小珺
- 来源: YouTube(英文配音版) · 216 分钟(人工中文字幕 zh-Hans)
- 转录稿: sources/zhang-xiaojun/20260813-zawGTDLtWFY
关于来源的两点说明: 1. 该期在张小珺频道同时发布了中文原版(
Cj_kb9nlAlE,第 150 期)与英文配音版(zawGTDLtWFY)。中文原版无可用字幕,本库按 CLAUDE.md 的既定做法从配音版取 zh-Hans 人工字幕,内容为中文原声的逐字稿。中文原版已记入sources/skipped.txt(同一期,避免重复摄取)。 2. 字幕无说话人标签。本页的问答归属按内容判断:提问、复述本库熟悉的其它嘉宾观点(杨植麟、谢赛宁、谭捷)的一方是张小珺,其余为刘洺堉。开场 [00:00:11]–[00:01:11] 是张小珺的独白式导语。说话人映射(据补做分离的 speakers.md;转录稿本身无标签,此处认人属 wiki 层编辑判断): SPEAKER_01 = 刘洺堉(嘉宾,87.5%)、SPEAKER_00 = 张小珺(主持,12.5%)。 依据:SPEAKER_00 在 [00:00:11] 开场自报"哈喽 大家好 我是小珺 今天我在上海 谈话对象是英伟达的研究副总裁刘洺堉"。
概要¶
这是本库第一份来自 NVIDIA 研究体系内部、且是 Cosmos 负责人本人的长篇一手叙述。此前 NVIDIA 只以 Jensen Huang 在 Lex 那期 的 CEO 视角、以及各路嘉宾口中的"卖铲子的一方"出现。刘洺堉带来的是中间层视角:一个在英伟达十年、从 GAN 时代做到世界模型的研究者,如何在一家基础设施公司里争取算力、如何被 Jensen 管理、以及 Cosmos 3 具体是怎么做出来的。
本期最该被单独引用的六条:
- ⚠️ 他明确不接受"智能会指数增长、一家公司会遥遥领先"的叙事([01:17:45]):"历史上从来没有这样发生过——一家公司掌握所有的科技,其他公司都没有办法去追上。我不觉得 AI 会是一个例外。" 他给的机制是人员流动会让 knowhow 自然扩散,并称"这本身就不是一个稳定的社会状态"。这是本库第一条来自算力供给方内部研究负责人的、正面否定 winner-take-all 的表述。
- ⚠️ "模型能力会收敛,靠模型自己不会是区分"([01:13:45]、[03:18:10]):他说自己"运气比较好,早期就认为模型会收敛",因此一直坚持模型必须与公司生态结合。终局判断是软件类比——"现在能活下来的软件公司都有自己的区分方式,我觉得没有理由模型会是不一样"。
- ⚠️ Cosmos 3 把 reason / predict / transfer / policy 四个模型合成一个,理由有两条:"这些讯号都是描述同一个世界"、"foundation model 的核心概念就是纳百川"([01:53:27]–[01:56:29])。促成决策的是 Jensen 的一个类比:他原本算出需要 22 个模型,Jensen 讲了 LV 减少陈列商品数反而销售提升的故事([01:54:27])。
- ⚠️ 他把 action 列为 first class citizen,作为物理世界模型与数字世界模型的分界([02:00:35]–[02:01:37]):"大模型思路基本上有两个,一个让 language 当 first class citizen,另一种让 video 当 first class citizen……我们认为一个好的物理世界的 Foundation model,也要把 Action 当成 first class citizen。"
- ⚠️ 他对"Physical AI 的 ChatGPT moment"给了可证伪的判据([03:23:16]):人示范一两次,机器人就地学会——"如果我看到这样的一个产品,我就觉得说 Physical AI 的 ChatGPT moment 来了"。他把核心问题归到泛化,且说时间"也许今年,也许明年,我不知道,但我觉得它必然会发生"([02:37:03])。
- NVIDIA 组织文化的四条一手观察([02:50:27]–[03:00:49]):不裁员(疫情期砍差旅和 Slack 而非砍人)、无末位淘汰、不赛马、mission is the boss + top-5 email。他还给出了不裁员的代价:技术换代时员工转型比直接换人慢。
核心观点¶
一、履历与三个转折时刻¶
- 十年前的求职报告就是今天的方向([00:05:16]):2016 年加入英伟达时的 job talk 主题是——"有一天最主要生成视频的运算将会是 deep learning,不会是传统的 computer graphics。" 他在 [03:12:06] 回看这件事:"这事情真的发生了。"
- 加入英伟达的理由极其朴素([01:03:33]、[02:47:20]):在三菱电机研究院时反复跟 manager 吵着要买 GPU,"我这么缺 GPU、这么想要 GPU,为什么我不加入一个生产 GPU 的公司"。⚠️ 他补了个细节:那位 manager 每次被他吵赢批了 GPU 预算,同时就去买英伟达的股票,退休后才告诉他。同期他还有一个投资公司的 offer,"不管我去哪里、对方给我多少钱,我都给你四倍",他拒绝了([02:49:25])。
- 他自述的三个关键转变([00:43:07]–[00:46:13]):① 从追求漂亮数学转向贴近问题本质——早期 CV 做优化要证 bound,为了让数学干净就加假设,"假设也让你离现实比较远";② 从"做出来"转向"让别人懂你做了什么"——"我自己做了 100 分,但是我的解释只有 10 分,所以别人看到只有 10 分";③ 从个人产出转向团结合作——他用复杂度类比:N 个人点对点沟通是 N²,"N² 在那个复杂度来讲是一个不好的复杂度",所以必须把事情讲到所有人都懂、目标一致。
- ⚠️ 两次"决心不够"的自省,是全篇的暗线:DALL·E 出来时([00:10:24])他意识到"我的野心不够大,我不够勇敢,没有这个决心去把这东西做出来",因为他一直以为 text-to-image 缺数据和算力,"其实是有的,就是因为没有去做,所以做不出来"([00:52:18]);Sora 出来时([00:15:33])他再次觉得决心不够——而 Sora 的作者 Tim Brooks 正是他带过的实习生([00:14:33])。这两次都直接导致他给 Jensen 写信要资源:第一次要到 1000 张 A100([00:13:29]),第二次促成了 Cosmos 立项。
- 在英伟达要算力的方法论([01:08:42]–[01:09:43]):"你要懂公司要解的问题是什么……让这些不懂 AI 的 leader 理解到这东西对公司重要。" 他说研究员本质上 very high ego,"文人相轻,自古皆然",但公司的本质是为股东获利。
- ⚠️ 他从三菱电机学到的那一课,是本页最有制度性意味的一条([01:10:44]–[01:12:44]):三菱电机研究院 90 年代能与微软研究院一争高下,后来公司开始怀疑 blue sky research 的价值,大批著名学者陆续被裁。他的结论不是"研究该自由",而是"blue sky research 跟公司的兴趣也是可以 align 的",且他明确指出这个周期普遍存在——"不管是 Google 不管是 Meta,都是有这样一个过程",上行期给自由度,下沉期就收缩。
二、技术路线:GAN → diffusion → 单一世界模型¶
- 为什么放弃 GAN([00:56:25]–[00:59:29]):他一直担心 GAN 不 scalable,专门找实习生做 scale GAN 的课题——余家辉(现 Meta)试过给每个 GPU 放一个权重不同的 Discriminator,Jeremy Bernstein(后来 Muon optimizer 的发明者)试过从算法上稳定训练。"这两个最后方向最后都没有成功",但两人各自做出了重要工作。2021 年他跟团队宣布不做 GAN 了,转向 diffusion——理由就一句:"不 scalable 的东西最后做不远。"
- ⚠️ 他把这条上升为个人判据([00:55:24]):deep learning 时代的教训是不要 handcraft feature,"所以就常跟自己讲,你在做选择的时候,要找更加 scalable 的"——即 bitter lesson。
- 一个 2016–2017 年的旧预测([00:53:21]):他当年就跟朋友说第一个产生突破的 AI 领域会是 language,理由是"影像的讯号太多杂讯……text 已经很纯净,比较接近 symbol"。但他自己喜欢视觉信号,所以留在了视觉生成这一侧。
- Cosmos 3 的双塔设计([02:08:41]–[02:09:42]):一塔处理离散(understanding,源自 Cosmos Reason 的 vision-language model),一塔处理连续(generation)。⚠️ 他给的首要理由不是性能而是客户可用性——两塔可以把梯度影响切开:客户想只用自己领域的 video-action pair 做 post-training 时,不会把 understanding 那侧的能力冲掉。他坦承"它相对起来还是不够 elegant",并直接预告下一步目标是回到单塔,但"我们要考虑到这些使用者是不是容易用上它"。
- 模态之间是互补的,有实验依据([02:04:39]–[02:06:41]):在 Cosmos Policy 的工作里发现同时预测 action 与 action 之后的 observation 会帮助 action 训练;声音帮助视频生成("当你知道'咔'一声碰到的点,你就知道接触的时间是那个点");文字描述越详尽越容易生成好视频。
- ⚠️ 他被追问"secret sauce 是什么"时的回答([02:07:41]):"其实做大模型没有什么 secret sauce。做严格的实验、假设实验、看到结果、累积知识,再做下个实验……我不觉得有什么不可告人的秘密。" 与之配套的是他的另一个比喻——"deep learning 就很像中医一样,就是试出来的"([02:16:48]、[03:19:10]),关键在于做详细的实验记录、控制变数。
- ⚠️ 迭代速度 > 算法,且明确受 DeepSeek 影响([01:51:26]、[03:30:28]):做 Cosmos 时他强调迭代要快,"我那时候深受 DeepSeek 的影响,因为 DeepSeek 是很惊人的公司,它可以一年内迭代三次"。他的排序是:"如果一个问题可以用 data 解,你就用 data 解就好,不用开发算法,因为 data 简单多了",而支撑快速迭代的是强大的 infrastructure。
三、世界模型:定义、定位与 Cosmos 3¶
- 他拒绝给世界模型下统一定义([01:44:20]–[01:48:22]):"我是个很讲究实用性的人……因为用途不同,所以你 model 这个世界的方式不一样。" 用途至少四类:预测、理解(解释工厂产线为什么卡住)、三维重建、以及作为 policy 的基座。他把这场定义之争类比成 AGI:"我认为去定义 World Model,很可能会走向同样的道路。我觉得这不是很重要的一件事情。"
- Cosmos 的自我定位是 world foundation model([01:48:22]):"我们希望我们是一个更底层的东西……不是每一个想从事 Physical AI 的公司,都有足够多的资源去做自己要的世界模型。"
- 黑客帝国愿景的三个落点([01:37:16]–[01:40:18]):给 Physical AI 提供 ① 更好的数据(生成真实世界采集不到的数据)、② 更好的起始点(世界模型的 representation 可以衍生出 policy)、③ 更好的环境(同时产生多个可交互的真实环境)。⚠️ 他自己指出第三个最难、且"还没发生"([03:25:20]),短期真正管用的是前两个。
- 为什么选 Physical AI 而不是内容创作([01:43:19]–[01:44:20]):Cosmos 这个名字是 Jensen 定的,而名字反映定位——"我们目标就不是产生 content,不是为了要做创作,是为了要解物理世界的问题";另一层理由是 NVIDIA 走 developer market,"我们自己不会经营一个社群网站,也不会去经营一个创作工具,这有点太 to C 了"。刚需侧的论证是老龄化、劳动力短缺与危险作业([00:26:42])。
- Cosmos 3 的合并决策([01:53:27]–[01:56:29]):从"我预计需要 22 个模型"到单一模型,两条理由——同一个世界 + foundation model 纳百川,加上执行成本("只要每个模型出来,我们就要维护、要解决问题……备多则力寡")。3 从 2025-10 开始做,做了半年多([01:56:29])。
- 数据侧的关键选择:ego-centric([02:24:56]–[02:25:56]):因为服务的每个机器人都不一样,只能找最通用的东西。navigation 数据相对好做(都是空间位移),manipulation 复杂;而行业正在收敛到接近人手的机械手,论点是"人类的世界是建出来给人类用的"、且采集数据的是人。所以 Cosmos 3 特地加入了第一人称视角 + 人手操作物件的数据。
- ⚠️ 他对"Cosmos 3 创新不多、只是工程验证"这一评价的正面回应([01:57:32]–[01:58:33]):主持人转述一位中国世界模型创业者读了一周论文后的评价。他没有反驳工程性的定性,而是重新定义了标准——"Mixture Transformer 之前也有人提出,Policy Model 之前也有人提出,我们是第一个把这个 Mixture Transformer scale 到这么大的模型,把 audio video action 都合在一起";随后是本页最该被引用的一句:"所有的这些大语言模型都是 Transformer 架构,你可以讲大家都没有创新,但是它的那些细节会让某些模型比另外一些模型好很多……我越来越不重视这些东西是不是一个革命性的原创。对我来讲,它有用、产生 impact、解掉大家想解掉的问题,是它的重点。"
- 满意与遗憾([02:26:58]–[02:28:00]):满意的是"把过去的所有模型合在一起,还会做得比全部之前的模型都要好——那时候很多人不相信";遗憾的是时间限制下模型没有完全收敛就必须推出。
- 评测方法([02:22:53]–[02:23:54]):三步——benchmark / arena style A-B / 跟着真正有痛点的 expert 去解问题。⚠️ 他强调在 Physical AI 里第三种特别重要,因为"每个 Coding Agent 大家都在解 Coding 的问题,但 Physical AI 每个要解的问题又不太一样"。
- 算力规模([02:19:51]):不便讲具体卡数,但"我们希望我们已经在万级了"。
- Cosmos vs Nemotron 的架构分叉([02:30:01]):Nemotron 走 hybrid 架构(部分层是 Mamba style,接近 RNN),理由是 agent 要产大量 token、推理成本敏感;Cosmos 走比较传统的 Transformer,再走到 Mamba Transformer 并把 action 加进去。两队紧密合作(Cosmos 3 论文有不少作者来自 Nemotron)。
四、开源立场与生态观¶
- 为什么开源([00:22:41]、[01:58:33]–[01:59:35]):他的表述是"这世界上如果每个想有抱负、有理想的人,都有这个工具,可以做出他们想做的事情,这世界会是一个更好的世界";操作上不只开源模型,还开源训练框架和部分合成数据——⚠️ 并且明确对照了当下:"我们这几年看到的现象就是这些 Frontier Lab 很多都走向闭源,即使写 paper 也不愿意讲出那些关键的环节。我们决定走不一样的道路。" 他补了一句:"我不担心别人可以做出一模一样的东西。"
- 与 DeepSeek 的关系([01:59:35]):不算直接因果,但称 DeepSeek "第一个把 MoE 开源的公司"、"它的用心把这个逼到极致",影响深远,"从这影响的角度来看,我觉得是相通的"。
- 对"你们是不是竞争对手"的连续回避与解释([01:49:24]–[01:51:26]、[02:42:17]–[02:43:17]):NVIDIA 同时投资了 Yann LeCun 的 AMI Labs 与 Fei-Fei Li 的 World Labs,他的定位是 enabler——"凡在我们的 GPU 的 ecosystem 上建立的公司,我们希望帮助他们成功"。⚠️ 他对同行的喊话很直接:"如果说你用我们做出比我们更好的模型,这模型也是开源的……所以你就比我们好,我们也觉得这是一件好事。" 面对"英伟达又想来卖我卡了"的反诘,他的回答是"对,那你需要做运算嘛"([02:43:17])。
- ⚠️ low ego 是自信而非姿态([03:02:50]):被直接追问"这真的 low ego 还是一种隐藏"时——"我觉得是一种 confidence,是一种自信……我对我自己做的东西要求很高,但我的目标并不是击败对手。" 他把这归因于 Jensen 的影响,并给了研究员为什么天然 high ego 的解释:论文要被接收就得 state-of-the-art,而 state-of-the-art 代表你要击败所有的人。他现在的表述是:"具备做 number one 模型的能力,但是做出对这个世界贡献最大的事情。"([03:11:04])
五、模型竞赛与产业判断¶
- ⚠️ 对 exponential growth 叙事的正面否定([01:17:45]):见"概要"第 1 条。他的理由链是:人会流动 → knowhow 会扩散 → 一家独大不是稳定态。
- 能力趋同之后大家竞争什么([01:18:45]):大公司比生态整合(他举 Gemini 与 Google Doc/Search 的一整套平台);创业公司比"走大公司不能走的问题"——他引《创新者的窘境》,并给出 NVIDIA 自己的门槛:"对 Nvidia 来讲,任何生意只要是小于一个 billion 就没有兴趣去做。"
- ⚠️ 对创业者的具体劝告([01:19:47]):"你如果现在开一家公司,要跟 OpenAI 和 Anthropic 做一样的事情,很危险……你要去解一些痛点,是他们没办法去解的——不是他们不想解,是他们没办法去解,他们不能 justify 为什么要去解这件事情。" 他用 Anthropic 当正例:早期被认为落后 OpenAI,但它是最早相信 Coding 的,OpenAI 在做分散式投资时 Anthropic 做集中式投资。
- 对当下 Coding Agent 同质化的判断([01:20:47]):"同质化竞争是很辛苦的一件事情。我觉得他们做这件事情可能是被迫的,因为这本身是一个重要的 technology,任何人都不希望自己核心科技是被掌握在别人的手里。但我不觉得这个是他们计划的全部。"
- 他对 OpenAI 关掉 Sora 产品线的解读([00:19:40]–[00:20:40]):不是因为 Sora 不好,而是Anthropic 在 Coding Agent 上产生的经济效益构成了巨大竞争压力——他给的机制是 token 量:"跟 ChatGPT 聊天可能一分钟就生成完了,Coding Agent 可以工作 24 小时、48 小时,这个 token 量非常的大。" 落点是孙子兵法"备多则力寡"(这句在全篇出现三次,是他的核心思维工具)。
- 是不是每家公司都要训自己的大模型([03:31:31]):"如果是 commodity,你需要建自己的电厂吗?" 早期电厂不充裕时自建可以保证 24 小时运行,现在不需要了——"就是看合不合经济效用"。
- 模型公司上市的影响([03:17:09]):"2026 年会是巨变的一年",会产生很多富翁、旧金山房价在快速飙涨;他认为这是对早期相信 deep learning 的人远见与决心的认同,"完全值得",但"100 年前强盛的公司跟现在强盛的公司是完全不一样"。
- ⚠️ 不必神话模型公司([03:19:10]):"我把它当成中医啊,就是一个 black box,这么多人不同尝试,最后就是一套学问……关键是你要拿它干什么。"
- 落后两三年的新公司还有机会吗([03:20:11]):有——"我是觉得会有一段时间大家会觉得算力不够,我觉得算力慢慢就会起来"。他点名 Kimi 与 MiMo 都算比较晚出来的。
六、Physical AI 的时间表与形态¶
- ChatGPT moment 的定义与判据([02:37:03]、[03:23:16]):他先把 GPT moment(东西可以 scale)与 ChatGPT moment(大家清楚看到这对生活会产生什么变化)区分开,再给出物理侧的判据——人示范一两次,机器人就地学会。他明确说那个时刻的应用当时可能还不赚钱("ChatGPT 刚出来的时候是赔钱的"),但趋势会被看见。
- 人形机器人([02:38:03]–[02:39:09]):优势是能利用大量人的数据;但越像人复杂度越高,很多人在做轮式底盘 + 人形上半身。他的判断是人形终究是关键,但"多像人形"大家都在试,"最终可能就是全人形是最适合各式各样的操作,因为人类的环境就是设计给全人形的",⚠️ 但关键还是营运成本、经济效益最高,"这就超乎我的专长,我其实不知道"。
- ⚠️ 对谭捷"2035–2036 是人形机器人拐点"预测的回应([02:39:09]):"哦,是吗?我希望早一点,但我不确定。" ——本库把这条作为同一预测在不同从业者处的回声记录。
- 泛化是核心问题([03:24:18]):在 Physical AI 里的具体形式是"怎样从有限的讯号里面,学到需要的操作,应用在一个没有看过的场景里面",即 observation-action pair 的泛化。
- sim-to-real gap 也是泛化问题([03:25:20]):短期管用的是 better data 与 better starting point——"你拿一个懂这个世界的 physics 去预测 physics……也不能说真的懂 physics,但抓到那个模式",其 prior 更适合泛化。
- 市场规模([02:22:53] 前后、[03:33:31]):他不便代表公司估值,但机制上给了一条——"现在家家户户都没有机器人,但如果有机器人的话,我家可能会买两三个。那每个机器人都需要算力,等于整个世界对算力的需求会大幅的成长。"
七、NVIDIA 的组织与 Jensen(本页最独家的一节)¶
- 不裁员,且给出了代价([02:50:27]–[02:53:37]):疫情时经济不好、很多公司裁员,NVIDIA 的会议上决定砍的是 travel,并讨论是不是可以不用 Slack("反正我们有 email")、两三个 cloud 是不是可以取消一个。他在英伟达期间没听到任何裁员消息,也没有末位淘汰。⚠️ 优点:员工敢讲真话、愿意合作,"当没有所谓的末位淘汰的时候,大家也不会真的这么担心被淘汰而强出头;在一个全部都强出头的地方,反而不容易促成团结合作"。⚠️ 缺点他自己说了:技术换代时员工需要时间学新东西,"如果你直接 lay off 再 hire 新的一批人,你可能可以直接 hire 到一些已经会这些东西的人,所以这些经由转型做起来是会比较慢一点"。
- 不赛马 + torture you to greatness([02:55:42]、[03:07:56]):"你去 take 这个 mission,我们就相信你,但我们一起是给你很高的 bar";Jensen 的原话是 torture everybody to greatness。他对这件事的评价很具体:"你愿意花时间去 torture 别人,这是件不容易的事情……你自己心里也要产生很大的负担。"
- mission is the boss + top-5 email([02:59:48]–[03:00:49]):top-5 email(每人写自己最重要的五件事)让公司各处的微小讯号扩散出去,"可以看到很多两个团队在做一模一样的东西";mission is the boss 让公司像有机体而非固定框架——"当公司要走向这个方向的时候,各种不同组织的团队但有相对的技能,就会自动 align……Cosmos 就是这样子一个案例"。⚠️ 他点名苹果可能是反例(追求资讯透明 vs 不透明)。
- Jensen 的决策法则([01:28:59]–[01:31:05]):first principle + prioritization。他的推想是 Jensen 靠每天强迫自己读大量 email、快速判断什么重要什么不重要来练这个能力,"看清楚之后接下来都是执行,而很多人执行的时候会把自己的个人情感放在里面"。他还引了一条计算机科学的隐喻:"Computer Science 最重要的一件事情就是懒惰——不用算的东西不要算,可以晚点算的东西晚点算,可以直接 ignore 就全部 ignore。"
- ⚠️ "每天都觉得公司只剩下 30 天的现金流"([00:02:12]、[02:51:31]):这句被剪进片头,他确认 Jensen 每次开会都这样提醒自己,目的是"要求自己做出对公司最正确的决定"。
- zero-billion-dollar business([00:28:45]、[03:33:31]–[03:34:31]):"你可以是不赚钱,但当这个生意成功的时候,必须是很 influential 的,是很巨大的。" 他把这条与"造市场,而不是在存量竞争"连起来——"CUDA 就是造市场,造出了现在的 AI 的市场。我们想的是怎么造出下一个大的市场。" ⚠️ 关于风险他的表述是反的:"你不这么做……你做这件事情很 risky,你不做这件事情更加 risky"——不做就渐渐变 commodity。
- ⚠️ Cosmos 97([00:01:11]、[01:36:15]–[01:37:16]、[02:29:00]):做完 Cosmos 1 时问 Jensen 要不要继续,Jensen 说"你就做到 Cosmos 97"。刘洺堉的解读不是字面数字("他是随口说说的")而是决心与 commitment;他自己算了一下:"你看我们如果每半年一代的话,还要四十几年",但补了句"也许不需要到四十几年"。
- ⚠️ 他最记得的一句 Jensen 的批评([03:08:58]):他在会上说竞品用的 setting 不公平,所以自家表现不如预期。Jensen 回:"Are you a quiet baby?这世界上没有什么是公平的。" 他的领会是——写论文可以说 setting 不同不能比,但你的目标如果是解决问题,就该去创造解决问题所需的条件,"没有这条件,你就想办法拿到"。"我后来就不再找理由了。"
- 对 Jensen 的整体形容([03:06:55]):"我们叫他六边形战士"——会上能深到 register 级的计算机架构细节,同时能教大家怎么做 marketing、怎么定价、怎么处理客户关系。
- 他自己的作息与团队运作([02:34:01]–[02:35:01]、[02:58:43]):4–5 点起床(运动、武术、ice plunge),10 点左右睡;一周开十次以上会;管 200–300 人的核心矛盾被他讲成一个组织架构命题——"你希望所有人目标一致,但你又希望所有人可以自主做决定。" 只有他能决定 data 比例和架构的话"这个模型就不会成功,因为我的知识有限、我的时间有限";反过来目标不一致就会发散甚至赛马。方法是资讯透明 + 提供容错空间("当一个人害怕他决定错误的时候,他是不会做决定的"),以及先把成品的样子讲给所有 leader 听——"就像你在罚球之前,你都会想象这个球空心落网。"
- ⚠️ 对"OpenAI 自下而上 / Anthropic 自上而下"的回应([02:36:01]):"我们是都有……天下分久必合,合久必分,物极必反。"
- 他保留研究员身份的方式([01:25:57]):"我可能是少数还继续在看 code 的 VP",会 review 代码、读论文、challenge 每个人的 idea——理由不是要亲自实现,而是"我如果不做这些东西的话,我自己会不理解痛点在哪里"。
八、对中国与中美对照的看法¶
- 对中国模型的评价([03:14:07]):"非常的 impressive",逐一点名 DeepSeek、千问、豆包、MiniMax、Kimi、MiMo、混元、智谱。
- ⚠️ 他给出的一条中美结构性差异,本库此前没有([03:14:07]–[03:15:09]):美国的 Frontier Lab 现在很少招实习生,很多 knowhow 和科研结果只留在自己内部实验室;中国这些公司招收很多实习生,帮助把 knowhow 传递出去。 他把这称作知识的 diffusion,并明确定性为"对人类整个知识扩增……是一件好事"。这与他自己的方法论一致——他反复讲 "研究的茂盛程度应该是根据 idea 多快从一个人的脑袋流到另外一个人脑袋去"([00:01:11]、[01:01:31]),并说自己走业界这条路,idea 的多样性靠实习生补([01:01:31])。
- 对"硅谷已经被 LLM 催眠了"(谢赛宁语)的回应([03:15:09]–[03:16:09]):不认可"催眠"这个说法。理由是①最领先的公司确实是从 LLM 出发的,而且"我现在已经不知道没有 Coding Agent 我要怎么过下去";②"你很难想象一个人、就这么聪明的人,一辈子就只做 LLM",当一个东西被充分理解,大家自然会找新的突破。⚠️ 他留了半句保留:"我知道领域里面有些人是把学术变成信仰"。
- 中美机器人产业对比([03:22:13]):美国做本体的公司很少——就 Tesla 和 Figure AI;中国"好多家公司在做这个本体"。他的分析是做本体能控制模型与软硬体整合,操作空间更大,而中国强大的制造业构成优势条件,"可以让这些公司做一些在美国不容易做到的事情"。⚠️ 被追问美国是不是不够重视硬件时他很谨慎:"可能是错的,也很难说……如果说这种软硬体整合是一个机器人的一个趋势,那没有硬件当然是处于被动状态。"
- 他每年来中国 2–3 次([00:03:13]),目的是理解 Physical AI 开发者的痛点;这次的观察是灵巧手方向进展非常快。
九、其它值得单记的¶
- 武术与自我锻炼([01:33:09]–[01:35:10]):18 岁起练中国功夫(师承徐纪,其师刘云樵,再上溯李书文一系的八极拳、劈挂掌),起点是金庸小说。⚠️ 他自己给出了与研究方法的连接:打拳要把力量从脚一路协调到手,"你要经由不断的练习、不断的自我修改"——"这个跟我喜欢一直自我检讨、一直追求,都有很深的原影响";并强调"我学武术的目标不是为了打架"。另有 ice plunge 的习惯。
- ⚠️ 对"机器人觉醒"的回答([02:41:14]):他先说黑客帝国只是为了帮大家具象化。对 take over 的担忧,他的回答分两层——①"这个社会是人去建立的,这些科技是人在背后操作,我觉得只要大家是有共识,这件事情不会发生";②更哲学的一层:"pain 跟 suffering 是一种驱动人去进步的一个重要的关键。我不是很确定这些 silicon 做成的 intelligence 是不是有同样的 pain 跟 suffering,我心里是存疑的。" 他同时承认需要做相应的 guardrail。本库标注:这是一条直觉性表述,没有给出论证或证据。
- 给年轻研究员的建议([03:28:22]):"不要紧张"——针对的正是"会不会明年 AI 就结束了、AI 自训练了"这种焦虑。"冷静下来,看清楚什么地方是值得你投入精力,不要被这些大家的宣传,觉得好像自己路越走越窄。" 他认为现在进 Physical AI 是好时机。
- 他希望被历史怎么记([03:26:20]):"不要讲我吧,我觉得就是讲 Cosmos 吧"——希望 Cosmos 是帮助几家重要 Physical AI builder 达到 ChatGPT moment 的推手。
与本库其它观点的关系¶
- 与 Jensen Huang 在 Lex 那期 的关系是"同一套世界观的两个层级":Jensen 讲 install base、四条 scaling laws、token 工厂;刘洺堉讲的是同一套逻辑在研究组织内部怎么落地——怎么要到 GPU、怎么被 prioritization 训练、mission is the boss 怎么让 Cosmos 这种跨组项目自动聚人。⚠️ 但有一处值得并列的张力:Jensen 的"智能只随算力 scale"与刘洺堉的"模型能力会收敛、靠模型自己不会是区分"并不完全同调——前者讲能力上限,后者讲竞争格局,本库不裁决二者是否冲突,但认为读者应同时看到。
- ⚠️ 与本库所有"winner-take-all / 指数起飞"叙事的直接对立:他的"历史上从来没有一家公司掌握所有科技"([01:17:45])与 Ryan Greenblatt 的 RSI 论证 是同一时期两条正相反的判断,且证据类型不同——一边是能力外推,一边是人员流动导致 knowhow 扩散的社会学论证。这条与 Garry Tan 的"20 年 white pill" 属于同一阵营的不同理由(Garry 的瓶颈是组织带宽,刘的瓶颈是知识不可垄断)。
- 与 沈宇军 / 蚂蚁灵波的"具身原生":沈宇军主张具身不在数字世界的延长线上;刘洺堉的"action 必须是 first class citizen"是同一主张的架构版本,且他给了具体做法(三塔合一 + ego-centric 数据)。这两条应互相引用。
- 与 Fei-Fei Li / World Labs 的空间智能:他直接谈到 NVIDIA 同时投资 World Labs 与 AMI,且定位为基座提供方而非竞争方([01:49:24])。本库此前收录的世界模型讨论都来自"做世界模型的公司",这是第一次从"给做世界模型的公司提供 foundation"的位置发言。
- 与 柯丽一鸣 / Physical Intelligence 和 何小鹏:三者拼出"模型层 / 机器人公司 / 整机量产"三个位置对 Physical AI 时间表的看法。刘洺堉的独特处在于他拒绝对形态与时间下注("我也不需要做选择,我就是聆听他们的声音")。
- 与 游凯超 / vLLM、Simon Mo 的开源线:刘洺堉给的是芯片厂商侧的开源动机——不是理念也不是社区可持续性,而是生态成功即自己成功。这补上了本库开源条线上缺的一个位置。
- 与 张小珺此前访谈中的杨植麟与谢赛宁观点 的三方对照([02:01:37]–[02:04:39],本页最有价值的一次交叉):主持人把两条对立摆到桌上——杨植麟担心加入 Vision 会拉低语言模型智商("傻的多模态"),谢赛宁担心语言对视觉的污染("语言才是人类的脚手架,并不本质")。刘洺堉的回答是拒绝在这条轴上站队,改问目的:"我的目标不是去追求 AGI……当你定义的 AGI 就是纯粹要去了解人类的本质、或者去做 Coding 的时候,可能这些视觉信号会影响到你,那是必然的。" 他甚至部分同意谢赛宁的哲学版本——"遥远的古代是没有任何语言的……也许你就从视觉讯号里面直接去学世界怎么运作,得到一个 intelligence,然后发展出另外一个文明。那你从角度看,也许语言讯号是一种干扰。" 但因为他要的是能与人沟通、能改变世界状态的物理 AI 基座,所以三种模态都要。本库认为这是目前对"多模态是否互相污染"这一争论最清晰的一次拆解:它把一个技术争论还原成了目标函数之争。
⚠️ 本页应标注的限度¶
- 数字与内部故事全部为自述,无外部验证:1000 张 A100、200–300 人团队、每天几百万美元算力成本、"万级"卡、Cosmos 3 论文 290 多位作者、"3 从 10 月开始做半年多"。
- 人名与专名按中文字幕照录,其中可交叉验证的(Tim Brooks、余家辉、Jeremy Bernstein、Tero Karras、Rama Chellappa、Bill Dally、谢赛宁、杨植麟、谭捷)本库照记但未逐一核实拼写;
Dwight(他现在的汇报对象、英伟达第一位软件工程师)、Greg Estelle(GauGAN 命名者)、Oncel Tuzel未核实。 - 该期是中文原声、英文配音版的 zh-Hans 人工字幕。人工字幕质量明显好于本库多数自动字幕,但仍存在少量重复句(如 [02:02:37] 同一问题被记录两遍)与断句问题,本页引用时按语义整理,不改动
sources/中的原文。 - 锚点密度约 60–68 秒一个,本页所有
[HH:MM:SS]均为转录稿中真实存在的行首锚点,标注的是约一分钟的文本块,不代表秒级精度。