跳转至

Yunzhu Li

  • 背景: SceniX 联合创始人、哥伦比亚大学助理教授。MIT 博士 → 在斯坦福做 Fei-Fei Li 的博士后（当时已拿到教职 offer，只待了一年）→ 哥大任教。2026-07 SceniX 被 World Labs 收购，本人搬去旧金山（视频页 [00:03:03]、[00:08:07]、[00:37:29]）。
  • 另两位联合创始人：Changxi Zheng（哥大教授，仿真领域资深研究者，VFX 背景，做过 Weta、腾讯、创业）与一位工程负责人（早年所在创业公司被 Amazon 收购，计算机视觉背景）（[00:07:06]–[00:08:07]）。
  • 本库定位: 机器人仿真与评测的主来源。本库第一份把"评测速度本身就是机器人行业瓶颈"讲透的一手论证。

自述的北极星："让机器人能工作。我是个非常实际的人，我要机器人在真实环境里工作。"（[00:14:09]）

核心框架

real-to-sim-to-real

把真实环境映射进数字世界，并保证对齐——"数字世界里发生的事，在真实环境里也会发生"，从而用可规模化生成的数据替换真实环境中的训练与评测数据（[00:04:04]）。重建覆盖三层：外观、几何、动力学（施加动作后环境如何变化）（[00:10:08]）。

平台对模型不可知、对本体不可知（model-agnostic / embodiment-agnostic）：单臂、固定臂、移动操作、双足、各种末端执行器都能接；既能用生成的世界从零训模型，也能对已有的 VLA / world-action 模型做后训练（[00:27:21]–[00:28:22]）。Martin Casado 逼问出的定位是："你们不是在造机器人，是在造一个环境，让别的公司把自己的机器人大脑放进去。"

⚠️ 评测是被系统性低估的瓶颈（本库该主题的最强论证）

  • "评测是机器人领域里经常被忽视的东西，但你要调机器人模型，就必须知道它工作得多好——那是你能用来迭代的唯一信息源。"（[00:22:16]–[00:23:18]）
  • 行业口径极具体：关键指标是 walk time——要区分一个 90% 的 checkpoint 和一个 92% 的 checkpoint 得花多久。
  • 断言：当下真实环境中的机器人评测，迭代速度比语言模型慢好几个数量级（[00:23:18]–[00:24:18]）。
  • 卖点因此是已验证的 sim-real 对齐："在 sim 里更好的 checkpoint，在真实环境里也极可能更好"（[00:24:18]–[00:25:19]）。

仿真买到的两样东西

（[00:21:15]–[00:22:16]）

  • 可靠性：鲁棒性来自对状态空间的系统性覆盖；仿真里可做系统化随机化（光照、摩擦、几何、物体类型、各种物理参数），从而"明确知道自己覆盖了什么分布"。
  • 效率：遥操作采数据"实际比人自己做这件事还慢"，而"很多客户要的是比人更快"；但让机器人跑更快不是把速度调大就行——重力不会跟着变，仿真里可做系统性加速，让策略把动力学变化一并考虑。

保真度：抓住问题的本质结构

  • 模型不必完美。飞机、无人机、Roomba、四足、双足机器人都是靠模型工作并完成 sim-to-real 的；四足能走雪地和灌木，不是因为仿真器精确仿真了雪和灌木，而是仿真抓住了问题的本质结构，再做各种随机化（[00:16:11]–[00:17:11]）。
  • 由此定义了研究问题：为了把仿真中训练的机器人系统迁回真实，到底需要多高保真度的世界模型（[00:17:11]）。

⚠️ 与"用视频模型"路线的分野

  • 关键是一致性：空间、时间、不同视角、不同交互类型之间都要一致（[00:12:09]–[00:13:09]）。
  • 最具体的反例：机器人推一个物体，物体却凭空消失——这是现有视频预测模型的老问题，这种信号不足以让机器人学到正确行为（[00:13:09]）。
  • 但他留了余地：视频模型在快速变强，他们的基础设施可作为数据飞轮的初始动量；模型最终"不必是纯物理或纯学习，而在中间某处"（[00:13:09]–[00:14:09]）。
  • 对 Sergey Levine 的"仿真终将偏离真实、真实数据采集绝对关键"，他的回应是两者不矛盾：数据飞轮早期更重物理（保证一致性与结构），随数据积累逐步移向更偏学习的环境建模（[00:18:11]–[00:19:11]）。

action 的两种位置

（[00:11:08]–[00:12:09]）

  • action 作为输入 → 前向仿真器（预测施加动作后环境如何变化）；
  • action 作为输出 → 策略模型（给定目标，预测该采取什么动作）；
  • 这类 omni model 可作骨干，再针对具体机器人应用微调。

环境的三段式与人形降温

（[00:29:23]–[00:30:23]）机器人应用史一直沿这个顺序走：

  1. 完全结构化——对环境全部配置有知识与控制，如汽车制造工厂，已自动化几十年；
  2. 半结构化——有一定控制，如 Amazon 仓库、餐厅、酒店，但仍有大量不可控物体（如衣物）；
  3. 非结构化——家。大挑战。

结论：鲁棒性来自充分覆盖，因此先聚焦半结构化环境更现实；"我们会朝那个方向走，只是想采取更可持续、更现实的路径"。与 Fei-Fei Li 的进化论论证配套。

能效：明确的"很久"

  • 机器人达到人类能效"会花很长时间"，因为真实环境里的机器人终究是一个系统——硬件、软件、大脑，细到手指的摩擦系数（[00:33:26]）。
  • 但他给了诚实的自我校准："state of the art 一直比我预期的动得更快"（[00:33:26]–[00:34:27]）。

为什么机器人比语言模型更需要仿真

  • 当下语言模型能力惊人，"但你还是不会盲目信任它去订机票或订酒店，最好还有人在读它的输出"；机器人模型不一样：开箱即用就必须在真实环境里可靠工作——而数据和配套基础设施都还不存在（[00:35:28]–[00:36:28]）。

一手数据

  • 在斯坦福与 Fei-Fei Li 合作做 benchmark 时向公众发问卷收集"希望机器人做什么"，一千个任务里三分之一与打扫有关——"人就是不喜欢那些脏活累活"（[00:14:09]–[00:15:11]）。
  • 客户接入分两档：只要 real-to-sim（数字化任务用于评测），或要整条 real-to-sim-to-real（策略最终跑在自己硬件上）；当前客户"已经相当接近部署阶段"，且手上有成吨或数百个同类工位在考虑自动化（[00:39:30]–[00:40:30]）。

呼应与分歧

已收录

日期 视频 场合
2026-07-28 空间智能是 AI 的下一个前沿：World Labs 收购 SceniX a16z，与 Fei-Fei Li 同场