跳转至

空间智能是 AI 的下一个前沿：World Labs 收购 SceniX（a16z，2026-07-28）

⚠️ 转录稿质量提示：自动字幕把人名和公司名转得很乱——SceniX 出现过 Scenix / Cynics / Synenix / Phoenix / Synix 等多种拼法，Yunzhu Li 被转成 Yunu / Vindra / Vindrew / Renu，Changxi Zheng（郑昌熙） 被转成 "Changi Jan"。正确拼法据视频简介（点名 Fei-Fei Li、Yunzhu Li、Martin Casado 三人）与内容交叉确认。转录稿只有 >> 换人标记、没有说话人标签，本页归属按内容判断。

本库第一份来自 World Labs 一线的表达，也是"世界模型"路线里最偏工程可交付的一份：不做机器人本体、不做机器人大脑，做机器人学习和评测所在的那个世界。最值得记的一条是 Yunzhu Li 对机器人评测的论证——评测在机器人领域被系统性低估，而它才是真正卡住迭代速度的东西。

说话人映射（据补做分离的 speakers.md；转录稿本身无标签，此处认人属 wiki 层编辑判断）： | 标签 | 占比 | 认定 | 依据 | |---|---|---|---| | SPEAKER_00 | 35.8% | Fei-Fei Li | 主持请她"give an overview of what World Labs does"后由此标签作答（[00:01:01] 块，之后 100%）；"As you know, Martin, we're building a base m[odel]"（[00:10:08] 块，90%） | | SPEAKER_02 | 45.2% | Yunzhu Li | "So, I'm Yunzhu. I'm currently co-fo[under]…"之后由此标签作答（[00:03:03] 块，71%）；"in partner together with World Labs"（[00:35:28]，100%）——以合作方而非 World Labs 自己人的口吻 | | SPEAKER_01 | 19.0% | Martin Casado（主持） | 排除法；两位嘉宾都以"Martin, …"向此方发言（[00:10:08]、[00:34:27] 块） |

概要

World Labs 成立两年，Fei-Fei Li 强调"应该直接承认它就是一家前沿模型实验室"，目标是空间智能（spatial intelligence）：让 AI 能生成、理解、推理并在空间中行动——物理的或虚拟的皆可；通向它的手段是大世界模型（[00:01:01]）。其已公开发布的基座模型代号 Marble：输入一张图、几张图或一段文字，输出一个几何一致的三维世界（高斯泼溅或 mesh 表示）（[00:06:06]）。

本期宣布 World Labs 收购 SceniX——由 Yunzhu Li（MIT 博士 → 在斯坦福做 Fei-Fei Li 的博后 → 哥大助理教授）、Changxi Zheng（哥大教授，仿真/VFX 背景，做过 Weta、腾讯）和一位工程负责人共同创立，做 real-to-sim-to-real 流水线：把真实环境映射进数字世界，并保证对齐——"数字世界里发生的事，在真实环境里也会发生"，从而用可规模化生成的数据替换真实环境中的训练与评测数据（[00:04:04]）。

一个细节值得单记：SceniX 是先作为 Marble 的付费客户出现的，Fei-Fei Li 当时并不知道那是自己前博后的公司（[00:05:06]）。

核心观点

为什么是仿真：反事实推理，而不是"仿真 vs 真实数据"的二选一

  • Martin 拿 Sergey Levine 的立场追问："仿真终将偏离物理世界，真实数据采集绝对关键。" Yunzhu Li 的回答是两者不矛盾：仿真本质就是"施加动作后环境如何变化"的模型，不必是纯物理，可以是物理与学习的混合；数据飞轮的不同阶段权重不同——早期更重物理（保证一致性与结构），随着采集和客户协作积累数据，逐步移向更偏学习的环境建模（[00:18:11]–[00:19:11]）。
  • Fei-Fei Li 接了一段本期最有转述价值的论证：

    "不存在'仿真还是不仿真'的二元选择。想想人类智能——我们在脑子里做大量仿真。为什么？因为仿真扮演了一个真实世界数据扮演不了的角色：反事实推理。"你把没发生过、不可能发生、或者现实中拿不到足够数据的事件推演一遍，在推演中学会如何行动。（[00:19:11]–[00:20:14]）

  • 她给的经验证据是自动驾驶：Waymo 官方称使用了数十亿小时的仿真，且比起真实数据更偏仿真——"而车是最简单的一类机器人"（[00:20:14]–[00:21:15]）。

仿真具体买到了什么：可靠性与效率

Yunzhu Li 把好处拆成两条（[00:21:15]–[00:22:16]）：

  • 可靠性：真实环境中的鲁棒性来自对状态空间的系统性覆盖。仿真里可以做系统化随机化——光照、摩擦、几何、物体类型及各种物理参数，从而"明确知道自己覆盖了什么分布，并在该分布内对机器人能否工作建立信心"。
  • 效率：遥操作采数据"实际比人自己做这件事还慢"——看那些外骨骼设备就知道；而"很多客户要的是比人更快"。但让机器人跑更快不是把速度调大就行，重力不会跟着变；仿真里可以做系统性加速，让策略把动力学变化一起考虑进去。

⚠️ 评测才是机器人真正的瓶颈（本期最锋利的一段）

  • "评测是机器人领域里经常被忽视的东西，但你要调机器人模型，就必须知道它工作得多好——那是你能用来迭代的唯一信息源。"（[00:22:16]–[00:23:18]）
  • 他给出的行业口径非常具体：关键指标是walk time——要区分一个 90% 的 checkpoint 和一个 92% 的 checkpoint，得花多久。只在真实环境里做，这个区分过程太慢。
  • 结论式的断言：当下真实环境里的机器人评测，迭代速度比语言模型的迭代慢好几个数量级（[00:23:18]–[00:24:18]）。Martin 的插科打诨反而点破了原因——"你看那些机器人视频，每个都标着 8x、10x 倍速，因为它动得太慢了"。
  • SceniX 的卖点因此是：数字环境与真实世界有已验证的对齐（他们在博客里写过），"在 sim 里更好的 checkpoint，在真实环境里也极可能更好"，客户据此敢用仿真信号做规模化、安全、快得多的评测（[00:24:18]–[00:25:19]）。

与"用视频模型"路线的分野

  • Martin 提问：现在多数机器人公司的主流做法是直接用视频模型，你们这条 3D + 仿真的路差别在哪？
  • Yunzhu Li 的答案落在一致性：要让机器人能在里面学习的世界，必须捕捉问题的本质结构，而一致性是必要条件——空间上、时间上、不同视角之间、不同交互类型之间都要一致。这正是与 Marble 的协同点（[00:12:09]–[00:13:09]）。
  • 他给的失败模式很具体：机器人推一个物体，物体却凭空消失——这是现有视频预测模型的老问题，这种信号不足以让机器人学到正确行为（[00:13:09]）。
  • 但他没有把话说死：视频模型在快速变强，他们的基础设施可以作为数据飞轮的初始动量，从更偏仿真驱动的模型走向真正上机执行的策略模型，回收新数据后模型"不必是纯物理或纯学习，而在中间某处"（[00:13:09]–[00:14:09]）。

保真度要多高："抓住问题的本质结构"

  • Martin 追问：机器人要求很精确，而创意场景不需要（"有时候错了反而是风格"），这两者怎么调和？
  • Yunzhu Li：模型不必完美。历史上飞机、无人机、Roomba、四足、双足机器人都是靠模型工作并完成 sim-to-real 的；四足能走雪地和灌木，不是因为仿真器精确仿真了雪和灌木，而是仿真抓住了问题的本质结构，再在数字环境里做各种随机化（[00:16:11]–[00:17:11]）。
  • World Labs + SceniX 要研究的问题因此被表述为：为了把仿真中训练出的机器人系统迁回真实场景，我们到底需要多高保真度的世界模型（[00:17:11]）。

机器人基础模型：会包含 action

  • "World Labs 在做基座模型……最令人兴奋的一类基座模型是 omni model：多模态输入、多模态输出。那什么是机器人的基础模型？它很可能会涉及 action，很可能会输出 action，而不只是世界的状态。我们绝对没有排除这件事。"（Fei-Fei Li，[00:10:08]–[00:11:08]）
  • Yunzhu Li 把 action 的两种位置讲清楚了（[00:11:08]–[00:12:09]）：
  • action 作为输入 → 这就是一个前向仿真器（预测施加某动作后环境如何变化）；
  • action 作为输出 → 这就是一个策略模型（给定目标，预测该采取什么动作）。
  • 这类 omni model 可作为骨干，再针对具体机器人应用做微调。
  • 平台定位被 Martin 逼问出一句很清楚的话："你们不是在造机器人，是在造一个环境，让别的公司把自己的机器人大脑放进去"——Yunzhu Li 答"exactly"（[00:27:21]）。平台对模型不可知、对本体不可知（model-agnostic / embodiment-agnostic）：单臂、固定臂、移动操作、双足、各种末端执行器都能接；既可以用生成的世界从零训模型，也可以对已有的 VLA / world-action 模型做后训练（[00:27:21]–[00:28:22]）。

⚠️ 对人形机器人时间表的降温

  • Martin 引述 Yunzhu Li 私下说过"围绕人形的预测有点过于激进，更可能看到的是受限场景的推进"，请他展开（[00:29:23]）。
  • 他的框架是三段式，且机器人应用史一直沿这个顺序走（[00:29:23]–[00:30:23]）：
  • 完全结构化环境——对环境中所有配置都有知识和控制，如汽车制造工厂，已经自动化几十年；
  • 半结构化环境——有一定控制，如 Amazon 仓库、餐厅、酒店：可以让任务对机器人更容易，但仍有大量不可控物体（比如衣物）；
  • 非结构化环境——家。这是大挑战。
  • 结论：鲁棒性来自对可能遭遇场景的充分覆盖，因此先聚焦半结构化环境要容易得多也现实得多，"我们会朝那个方向走，只是想采取更可持续、更现实的路径"（[00:30:23]）。
  • Fei-Fei Li 从进化论角度补了一刀，这是本期对人形路线最完整的一段质疑（[00:30:23]–[00:31:25]）：

    人形模仿的是人体，而进化把人体优化的是非结构化环境。"如果我们作为物种的唯一目标是爬树，我们不会长成这个样子。"人体是很通用、但不必然在任何一件事上最优的形态，那是为了在非结构化环境中生存。但从商业和务实的技术角度看，非结构化环境 + 通用本体恰恰是最难解的问题，甚至未必是解决问题的正确方式——我们要更专用的本体去解更窄的问题。SceniX 的挑战因此是对本体不可知，让基础设施能服务不同本体、不同半结构化环境。

能效：一个明确的"很久"

  • Martin 的经济学问法：LLM 生成文本比人快一万倍、便宜得多，所以经济账成立；但人脑和人体在三维导航、抓取上极其高效。那么在可预见未来，机器人能达到人的能效吗——5 年还是永远？（[00:32:26]–[00:33:26]）
  • Yunzhu Li："会花很长时间。" 理由是真实环境里的机器人终究是一个系统——硬件、软件、大脑，甚至细到手指的摩擦系数，需要一轮轮迭代。他同时给了一句诚实的自我校准："state of the art 一直比我预期的动得更快"，所以"会有很多进展，但要达到人类级的效率和能力，需要更久"（[00:33:26]–[00:34:27]）。
  • Fei-Fei Li 的两句总结："今天 AI 里最难的事，是保持恰当程度的乐观（measured optimism）。" 以及"人脑跑在 30 瓦上，连 LLM 都没有人脑的能效。"（[00:34:27]）她随后承认在窄任务（生成图像、软件工程）上性能功耗比可能已经接近，"但机器人上完全不接近"（[00:34:27]–[00:35:28]）。

为什么机器人比语言模型更需要仿真

  • Yunzhu Li 的对照很干净（[00:35:28]–[00:36:28]）：当下语言模型能力惊人，"但你还是不会盲目信任它去订机票或订酒店，最好还有人在读它的输出"。机器人模型不一样：开箱即用就必须在真实环境里可靠工作。而"我们连数据都没有，也没有配套基础设施"——所以必须造可规模化的数字世界，用生成数据替换昂贵且不安全的真实数据。

整合与落地

  • 不急着合并：Fei-Fei Li 明确说 SceniX 有相当独立完整的技术栈、客户和产品，"我们不会急着把团队搅成一盘沙拉"；仿真侧、以及潜在的 action-conditioned 基座模型侧已经开始对话，SceniX 也已作为内部客户在用 Marble（[00:36:28]–[00:37:29]）。
  • 地理：Yunzhu Li 搬到旧金山，World Labs 正式变成双岸公司（总部旧金山 + 纽约办公室），两地都会摆机器人，以便打磨远程操作机器人的工程栈——因为服务客户就得这么做（[00:37:29]–[00:38:29]）。
  • 两年后的成功长什么样（Fei-Fei Li 的具体化）：在少数几个重要垂直用例里跑通经过验证的客户，证明基础设施对其自动化需求确有帮助，这些客户成为灯塔案例用于规模化商业（[00:38:29]–[00:39:30]）。
  • 客户接入的两档：有的只要 real-to-sim（把关心的任务数字化，用于评测），有的要整条 real-to-sim-to-real（策略最终跑在自己硬件上）；当前合作的客户"已经相当接近部署阶段"，做的都是非常实际的任务，且手上有成吨或数百个同类工位在考虑自动化（[00:39:30]–[00:40:30]）。
  • 需求早于收购就存在：Fei-Fei Li 说"疯狂的是，还没和 SceniX 谈的时候，Marble 的 inbound 客户就已经有这类需求了，而我们服务不了他们"——从早期机器人公司一路到很务实的下游用例（[00:26:20]）。

一个被顺手记下的用户研究

Yunzhu Li 提到在斯坦福与 Fei-Fei Li 合作做 benchmark 时向公众发问卷收集"希望机器人替你做什么"，收到的一千个任务里三分之一与打扫有关——"人就是不喜欢那些脏活累活"（[00:14:09]–[00:15:11]）。

与本库其它观点的关系

事实性断言与预测（可验证）

  • World Labs 成立两年；Marble 已公开发布，输入图/文，输出几何一致的 3D 世界（高斯泼溅或 mesh）（断言，[00:01:01]、[00:06:06]）。
  • SceniX 由 Yunzhu Li、Changxi Zheng 及一位工程负责人共同创立；SceniX 先以付费客户身份注册使用 Marble，之后才谈成收购（断言，[00:05:06]–[00:08:07]）。
  • Waymo 官方称使用数十亿小时仿真，且比真实数据更偏仿真（断言，[00:20:14]）。
  • 当前真实环境中的机器人评测迭代速度比语言模型慢好几个数量级（断言，[00:23:18]–[00:24:18]）。
  • 遥操作采数据的速度慢于人类亲自做该任务（断言，[00:21:15]–[00:22:16]）。
  • 斯坦福公众问卷收集的约 1000 个期望任务中，1/3 与打扫有关（断言，[00:14:09]–[00:15:11]）。
  • 人脑功耗 30 瓦，LLM 尚未达到人脑能效；窄任务上性能功耗比可能接近，机器人上完全不接近（断言，[00:34:27]–[00:35:28]）。
  • 机器人达到人类级能效与能力"会花很长时间"；人形的激进预测过头，未来更可能先在半结构化环境落地（预测，[00:29:23]–[00:34:27]）。
  • World Labs 变为双岸公司（旧金山总部 + 纽约办公室），两地都部署机器人（断言，[00:37:29]–[00:38:29]）。
  • 两年目标：在少数几个垂直用例中拿下经过验证的灯塔客户（预测，[00:38:29]–[00:39:30]）。