跳转至

柯丽一鸣（Kay Ke）：Physical Intelligence 内部视角与美国机器人全景（张小珺，2026-07-16）

PI（做"机器人大脑"的硅谷明星创业公司）一线 RL 研究员的 4 小时长谈，系统梳理美国机器人的叙事、学术族谱、公司格局与技术路线——本库首个成体系的美方机器人视角，与中方的 何小鹏（产业操盘手）、阳萌（硬件/端侧）、Eric Jang（RL）构成互补。

说话人映射（据补做分离的 speakers.md；转录稿本身无标签，此处认人属 wiki 层编辑判断）： SPEAKER_01 = 柯丽一鸣（嘉宾，88.5%）、SPEAKER_00 = 张小珺（主持，11.5%）。 依据：SPEAKER_00 在 [00:00:00] 开场自报"哈喽大家好 我是小珺 今天我们的嘉宾……柯丽一鸣"。

概要

从美国机器人 50 年学术史（CMU 传统派 vs 机器学习派）讲到当下公司格局（PI/Skild/Figure/1X/Tesla/Google/NVIDIA 的不同 bet），再到 PI 的三篇主线论文（π0 能力 / π0.5 泛化 / π*0.6 表现）与 RL 的本质（探索、归因、奖励设计）、数据之争（真机 vs 仿真）、评估难题，最后落到中美机器人对照（中国硬件/供应链统治力 vs 美国大脑/研究领先）。

核心观点

美国机器人的两大派系与族谱

  • 传统派（path planning + control）vs 机器学习派（data-driven / 端到端）：传统派讲究先规划再控制、每步不出错，投入产出线性清晰（波士顿动力后空翻靠工程师逐个调参）；ML 派信仰"让专家从系统中消失、机器自己从数据学"（[00:44:22]–[01:11:40]）。Kay 出身传统派实验室（导师 Sidd Srinivasa，CMU 系）却是 ML 信仰者，博士做"筷子机器人"（从模仿学习转到强化学习）（[00:54:30]–[01:19:46]）。
  • CMU 谱系：Matt Mason（"灵巧的关键不在手而在大脑"）→ Sidd Srinivasa（Kay 导师）；Marc Raibert（做极致电机）→ 波士顿动力；Sangbae Kim → MIT Cheetah（现代机械狗奠基）（[00:53:30]–[00:56:33]）。
  • 机器学习谱系：Andrew Ng → Pieter Abbeel（伯克利，把 ML 引入机器人先驱）→ Sergey Levine + Chelsea Finn（PI 联合创始人，把 RL 发扬光大）；Fei-Fei → 朱玉可 & Jim Fan（NVIDIA GEAR Lab）；Shuran Song（diffusion policy）；Deepak Pathak & Abhinav Gupta → Skild AI（[00:57:34]–[01:04:35]）。
  • Sergey Levine 趣闻："SergeyGPT"——ChatGPT 之前伯克利就用他改论文，又快又好；PI 论文每篇都有科幻小说引用（他是重度科幻迷）。Chelsea Finn 每天 4 点起床游泳、对动作/数据有极强 sharp intuition（[01:00:34]–[01:01:34]、[02:53:45]–[02:55:46]）。
  • 一句点睛（Jitendra Malik）："Robotics is far too important to be left to roboticists"——机器人的成功一定需要各行业（视觉、大模型、硬件、产业链）群策群力（[01:22:50]–[01:23:50]）。

公司格局与各家的 bet

  • PI：做通用大脑，聚焦双臂操纵（"能解决 pick-and-place 就能干掉所有家务"），明确不做人形——Kay 说"他们要做人形我就不来了"，因为人形会把研究重心从"更好的任务"偏移到"更好的人形协同"，是 taste 问题（[02:31:32]–[02:32:33]）。通用大脑的"通用"= 一个大脑适配多种构型（在不同形态数据上训、可在不同机器人上用），而非"做人形就是通用"（[01:43:04]–[01:45:04]）。
  • 人形 vs 非人形之争：人形派信仰"世界为人设计，人形最自然/最通用"；非人形分实用派（现阶段人形非必要，简单构型也能做很多事、更快落地）+ 狂野派（车有轮子、自然界没有，但世界为车改造了道路——最优形态未必来自生物演化；Kay 自认实用派 + 狂野派，尤爱"机器人动态自组装/机器人造自己"）（[01:41:03]–[01:43:04]、[03:24:05]–[03:26:06]）。
  • 各家 bet：Tesla 专押人形、硬件强（"最火的工厂在上海"）；Google 把机器人当多模态 Gemini 的一部分（空间理解/规划）；NVIDIA"做所有事都为卖卡"、押世界模型（卡多数据多效果就上去）；Figure（电机）/1X（绳驱）押人形；Dyna/Generalist/Sunday 更靠商业落地、后两者重 UMI 数据采集（[01:38:00]–[01:40:02]、[01:25:53]–[01:32:56]）。
  • 2023 年"黄埔军校"：Google 机器人部门因 ChatGPT 冲击被削减、抽人做大模型，反而催生一波创业（PI 创始人来自 Google，Skild 来自 Meta）（[01:29:54]–[01:31:55]）。

PI 三篇主线论文

  • π0（2024-11，关键词"能力"）：叠衣服、叠箱子、清理桌面（bussing）——"之前想都不敢想的任务"，奠定大模型能在这些任务上表现如何的基石（[01:54:12]–[01:55:12]）。
  • π0.5（关键词"泛化"）：开放世界泛化——进 ~100 个 Airbnb 别人家收杂乱真实数据，发现泛化曲线会放缓：不需要收遍全世界的家，达到某个数量后新家也能干活（"in-distribution 数据有一个够用的尺寸"）（[01:56:12]–[01:58:14]）。中间的 FAST（动作 tokenization 的更优表达空间）、HiRobot（分层 policy：高层把语言任务拆成可执行短任务）为泛化铺路（[02:10:18]–[02:11:22]）。
  • π0.6（关键词"表现"，Kay 参与最深的 RL 团队首篇）*：回答"什么都能做但都半吊子有什么用"——让智能体在真实世界收集自己的体验数据（experience data）放回训练池，超越固定的人类演示数据。提出 throughput（固定时间内成功量）作为评估指标；结果是机器人叠衣服超越了最好的人类数据收集员（[01:58:14]–[02:00:14]、[02:08:17]–[02:09:17]）。这对数据成本是重大启示：去掉遥操作员、让训好的模型自己 rollout 收数据**，成本可大降（[02:00:14]–[02:01:14]）。

强化学习的本质

  • RL = "一个人如何通过体验变得更好"（巴甫洛夫的狗）；三大模块：探索（选大改动还是小改动——大模型目前缺乏主动探索能力）、归因/credit assignment（π*0.6 从大量部署数据里找"哪一步是精华"）、奖励设计（[02:45:38]–[02:50:43]）。
  • "奖励函数"的再框定：与其说是写奖励函数，不如说是向智能体传达你要它做什么；奖励函数只是一种表现方式，可验证任务（如代码能跑）可独立于奖励函数存在。奖励易被 abuse（超级马里奥 RL 找 bug 直接通关触发最大奖励）（[02:50:43]–[02:52:45]）。呼应 洪乐潼 AI for Math 的可验证性，也与 Google DeepMind 谭捷"RL 需奖励信号但难写奖励函数"同题。

数据之争与评估难题

  • 真机数据信仰派："黑猫白猫，抓到老鼠就是好猫"，但最本源相信真机数据——同样 10 万美元预算，真机数据量少但质量/意义更高；柔性衣服/摩擦力/黏性等复杂物理"仿真器里可能都搭不出来"（sim-to-real gap 之外还有"仿真场景本身难造"）（[02:02:14]–[02:04:15]）。修正数据（错误后纠错）很重要，但也可由机器人自己 rollout 收集（[02:01:14]–[02:02:14]）。当前大头成本是"管遥操作员收数据"，机械降价 + 模型自采可大幅降本。
  • 评估是机器人的前沿难题：不像 NLP 有跑马场/英雄榜，机器人要在真机上跑才知道好坏，还受物理扰动（光照、背景、桌高、杯子角度等无穷初始条件）影响——评估难导致"前沿"难定义、方向分散、各公司内部 eval 标准不一（[01:47:05]–[01:50:07]）。
  • 零样本泛化 vs 具体场景优化是"左脚踩右脚上天"：在一个场景做到完满能提升整体模型能力、迁移到相似问题；两者相辅相成（[03:00:49]–[03:02:52]）。

中美机器人对照

  • 中国硬件/供应链是最直观的统治力："很难想象一台机器人组装好后没有一个零件是中国的"；制造业优势太大、迭代快、离商业落地近——"美国人要追不知道该怎么追"（[03:15:01]–[03:16:02]、[03:18:04]–[03:19:04]）。宇树春晚表演在 PI 公司群里被热议、Kay 想请人形/locomotion 专家来读书会讲（[03:20:05]–[03:21:05]）。
  • 美国大脑/研究领先且论文开放：中国团队可 follow PI 的公开论文（Google/Tesla 不一定开放），但随公司积累"就算告诉你怎么做，你不一定有那么多东西可 match"（[03:20:05]）。
  • PI 的纯研究定位有历史教训：Pieter Abbeel 的 Covariant（2015/16 创立）过早深耕物流仓储商业化，回头看是对通用大模型的"分心"——PI 因此刻意不碰商业化、纯粹追求研究表现（与"更强调实用主义/商业回本的中国公司逻辑不同"）（[03:16:02]–[03:18:04]）。
  • 硬件劣势 vs 软件劣势哪个更好抹平："过去几年看都好抹平，大家永远在卷"；硬件不是已解决的问题（搭起来能动，但"做完了"还早），美国只能寄希望于创新（[03:09:55]、[03:19:04]）。

其他判断

  • 机器人更像大模型而非自动驾驶：自动驾驶 stake 高（人命）故要求极致完满、但决策空间较小且无操纵难题；机器人像大模型一样"可以犯错、不需自动驾驶级完满"，动作空间高度抽象需多样性（[03:07:54]–[03:10:56]）。机器人与自动驾驶是平行关系、可互相学习（自动驾驶的仿真器用得多，机器人操纵还没有对等仿真器）（[03:10:56]）。
  • 北极星指标 = 谁做出第一个进家庭的机器人；家庭难在环境复杂性（要强泛化）、动作复杂性、硬件稳定性与人机安全性（Optimus 在家摔了修地板/砸到人的担忧；宇树 G1 小孩身高给人安全感）（[03:11:57]–[03:15:01]）。
  • VLA 架构还很原始：Kay 成为 Claude Code 重度用户后反而更认可"用语言给机器人提要求"——语言提供 context、逻辑推理对机器人很重要，但当前 VLA 对 language 与动作的细微关系探索不足（[02:55:46]–[02:56:46]）。下一代架构可能是世界模型（尚无定论）（[03:02:52]–[03:03:52]）。
  • Claude Code 让她的工作流两周内彻底改变、效率约 3–4 倍；PI 是自发性长工作时间、开放研究氛围（读书会、无打卡、CO₂ 检测器爆红警报的老办公室）（[02:29:29]–[02:30:30]、[02:24:28]–[02:28:29]）。

相关主题