World Labs 的 Atlas：把"新视角预测"当作与 next token prediction 等价的原语（a16z，2026-09-04）¶

嘉宾: Fei-Fei Li（李飞飞）（World Labs 联合创始人兼 CEO）、Justin Johnson（联合创始人，研究侧）、Ben Mildenhall（联合创始人，NeRF 作者）
主持: a16z（两位；其中一位在 [00:42:24] 被嘉宾称为 Martin——⚠️ 自动字幕拼作 Martine，本库不认定具体是谁）
来源: YouTube · 44 分钟（英文自动字幕）
转录稿: sources/a16z/20260904-qn1QDDBnTA0

说话人认定依据：转录稿是自动字幕，只有 >> 分隔符，没有姓名标签，本页归属完全靠内容判断，没有机械依据（字幕摄取，未做 pyannote 分离）。可用的锚点有三处，都相当明确： - [00:01:00] 主持人点名"Justin，你要不要讲讲昨天发布了什么"——其后讲 Atlas 三项能力的那一长段归 Justin Johnson。 - [00:13:06] 主持人点名"Ben，你是 NeRF 的作者"——其后讲 dense/sparse 重建的段落归 Ben Mildenhall。 - [00:07:03] 的"我想补充一点……在这个领域待了几十年"与 [00:08:04] 关于"空间智能最终必须让我们生成、在其中推理、并能编辑与交互"的定义段，从资历与措辞归 Fei-Fei Li。

⚠️ 三位嘉宾之间在快速接话处本页不做逐句区分；凡归属不明处本页写"World Labs 一方"。

自动字幕专名对照表（转录稿拼写 → 本页采用）：Marvel → Marble（World Labs 上一代产品）、Synnex → SceniX（被 World Labs 收购的机器人仿真公司）、Nerfer Splat → NeRF / Splat、special intelligence → spatial intelligence、next product prediction → next token prediction、three SAT → 3-SAT、Martine → Martin。

⚠️ 以下不裁决，照录存疑： - Baidu（[00:28:14]、[00:30:15]）：两处都与百度无关。[00:30:15] 的"doing exactly what Baidu was saying, dense reconstruction"从上下文应为 Ben；[00:28:14] 的"Baidu you acquired a robotics company"疑为 "But you acquired…"。本库不替换，只标注本页按上下文理解。 - C dance（[00:25:14]）：语境是"没有人只用一个单体模型做完整个任务，哪怕是 ___"，疑为某个视频模型名，不猜。

概要¶

这是本库关于 World Labs 的第二份材料，与2026-07-28 那期相隔约五周。两期的性质完全不同：上一期是路线陈述（什么是空间智能、为什么做世界模型），本期是在一次具体的模型发布（Atlas，发布于访谈前一天）之后，讲这条路线到底走到哪了。因此本期含有上一期没有的可证伪内容——架构选择、被放弃的旧表征、scaling 的现状、以及一个明确的"我们现在卡在算力上"的自述。

最该被单独引用的七条：

⚠️ 本期的核心命题：新视角预测（new view prediction）是与 next token prediction 等价的原语（[00:03:00]、[00:41:23]–[00:42:24]）。他们的排列是——LLM 建立在 next token prediction 上，视频模型建立在 next frame prediction 上，Atlas 建立在 new view prediction 上。并且他们明确主张它是 "AI complete" 的（论证见第六节）。
⚠️ Atlas 把"生成"与"重建"统一进同一个模型（[00:05:02]–[00:07:03]）。Fei-Fei Li 说这是计算机视觉半个多世纪以来第一次把像素生成与像素重建统一——"你去一个计算机视觉会议，有像素生成 track、有识别 track、有 3D 重建 track"，而Atlas 靠"锚定在视角上"把前两者合并了。
⚠️ 相机位姿是原生输入，而不是后处理（[00:06:02]）：Justin Johnson 说 Atlas 从预训练阶段就把文本、图像、视频、相机位姿、3D（当前形式是 depth map）当作原生模态——"相机位姿作为原生输入进预训练，我不认为有人做过。"
⚠️ sparse 重建的量化改进是 50–100 倍（[00:16:08]）：传统 dense 重建一个房间需要100–300 张照片，Atlas 降到三张。Ben Mildenhall 给的配套事实是——一个普通消费者第一次扫描多房间环境可能要花两小时。他还给了一个从自己经验来的例子：把自己当年 2000 张照片的多房间采集砍到 30–40 张输入，fly-through 看起来基本一样（[00:19:09]）。
⚠️ 他们自述现在的瓶颈是训练算力，不是数据也不是架构（[00:22:12]–[00:23:13]）：Johnson 说 "我们基本上处在开始阶段，现在基本上被算力限制"；发布的那个模型之所以是那个尺寸，不是因为触到了 scaling 上限，而是因为有发布 deadline，所以倒推出在期限内训得起的规模。
⚠️ Marble 被放弃的原因说得很具体（[00:11:06]–[00:12:06]）：上一代 Marble 把输出瓶颈在 Gaussian splat 上；Atlas 的做法是把模态分叉提前，让 new view prediction 成为基础原语，需要时再生成 splat，不需要时不经过这个瓶颈。
⚠️ 机器人那条线接上了本库已有的一页（[00:29:14]–[00:31:16]）：Fei-Fei Li 确认 World Labs 收购的机器人公司是 SceniX，其核心技术是 real-to-sim-to-real；而 SceniX 此前做的正是"极其痛苦、耗时、费力"的 dense 重建——Atlas 就是这一步的下一代技术。她同时给了一句本库该单记的判断："机器人现在最大的问题其实是数据。总有一天会是芯片，但现在是数据。"

核心观点¶

一、Atlas 是什么：三件事与一个原语¶

三项能力（[00:01:00]）：生成（generate）、重建（reconstruct）、模拟（simulate）。展开是——
相机条件生成：输入一张图 + 一条相机轨迹，沿任意视角生成视频帧。
稀疏 3D 重建：输入 1 到最多 100 帧真实世界视图，重建出这个世界；输出可以是穿行该空间的视频，也可以是显式的 3D 重建。
模拟：bullet time 视频与机器人仿真。
最简描述（[00:02:00]–[00:03:00]）：给定若干视图或一段场景描述，它们进入一个叫 "spatial context" 的东西，隐式地描述"我们要谈的是哪个世界"；然后你把一台虚拟相机指向空间与时间中的任意一点，Atlas 就知道那个世界从那个位置看起来该是什么样。
与"一堆号称世界模型的视频模型"的区别（[00:04:01]–[00:05:02]）：Ben Mildenhall 说关键在 spatial context——Atlas 里你放进去的每一帧都带一个三维相机位姿，因而有"空间上被锚定的含义"。推论有两条：
精确重建：把这个房间四个角各一张图放进去，得到的是精确复制，而不是"猜另一个角落有什么"。
可控创作：把来自不同 AI 生成或真实地点的两张照片摆位、布景，做出由你精确指定内容位置与相机路径的 fly-through——他把这与视频模型那种"反复重试的老虎机效应"对立起来。
bullet time 的对照，本库认为是本期最好的一个量化锚（[00:01:00]–[00:02:00]）：《黑客帝国》第一部那个镜头用的是一圈上百台相机 + 绿幕；Atlas 用三部架在三脚架上的 iPhone就能做——没有棚拍、没有绿幕、没有昂贵的标定。

二、架构：为什么这不是"把视频模型放大"¶

两件事被合进了一个模型（[00:05:02]）：重建在计算机视觉里历来是自成一派的子领域，有自己的专门任务和专门模型；生成则是过去几年所有文生视频/扩散模型擅长的。Atlas 第一次把视觉智能的这两部分放进一个模型。
为此做的改动（[00:06:02]）：从一开始就原生多模态——文本、图像、视频、相机位姿、3D（当前实现是 depth map）。具体形式是：一帧带一个虚拟相机（位置 + 相机参数），挂在这个相机位置上的既有 RGB（那个位置看起来什么样），也有 depth map（那个位置的空间结构是什么样）。
⚠️ Fei-Fei Li 在这里插入的一段，本库认为是本页最该被引用的历史定位（[00:07:03]–[00:08:04]）：她说在这个领域待了几十年，"我没法告诉你有多少篇博士论文是写重建或新视角合成的"；而传统上这个领域是分轨的（像素生成 / 识别 / 3D 重建）。Atlas 的优雅之处在于靠锚定视角与视角估计，把重建与生成统一起来。
为什么不直接做 Atlas（[00:11:06]–[00:13:06]）：
Marble 的瓶颈是输出表征：无论输入什么，输出都是 Gaussian splat。Splat 有很多好处（好渲染、移动端/VR 上高效、能与游戏引擎和仿真引擎互操作），但它成了瓶颈。Atlas 的做法是把模态分叉提前——基础原语不再是"生成一个 splat 世界"，而是 new view prediction，能生成 RGB 帧、能生成 3D，需要时再用它们做出漂亮的 splat 世界。Johnson 说搞清楚这些表征各自的利弊"花了很多血汗与眼泪"。
要爬 scaling 的梯子：先做小实验、小模型，建立"什么会 work、什么能 scale"的信念。他补了一句本库认为很重要的处境说明——"我们创办公司的时候，世界是很不一样的……当时并没有空间智能的 scaling law。"
⚠️ Ben Mildenhall 给的 context 长度类比是本期最有迁移价值的一条（[00:18:09]–[00:19:09]）：LLM 那边早就经历过 context 军备竞赛（128K → 256K → 512K → 百万），大家对"把 context 拉长"的价值有切身感受；而图像与视频模型这一侧从来没有人以同样有原则的方式推过这件事——"没人拿一小时的视频塞进去，做第 37 分钟那一帧的大海捞针检索"。他的洞察是：

重建就是"塞了很多东西进去的、长 context 的生成"。

这正是 Marble 做不到而 Atlas 能做到的——Marble 塞不进几张以上的图，Atlas 能吃 64 张做整栋房子的 fly-through。

三、dense vs sparse：这一节是本期的商业论证¶

什么叫 dense（[00:14:06]–[00:16:08]）：Ben Mildenhall 说传统 dense 重建更像科学或医学成像——"我想让它出现在重建里的每一样东西，我都需要至少三四个视角"。落到这个房间就是：麦克风底下、桌子底下、每条缝隙、植物叶片之间都要拍到。
代价："受过训练的人要几分钟"，而普通消费者拿手机第一次做大概要一小时；他见过有人扫一个多房间环境走了两小时才拿到足够覆盖。
数量级：一个房间要 100、200、300 张照片。
⚠️ 他把 sparse 说成一次 calculus 的翻转（[00:16:08]）：降到三张、50–100 倍的缩减，于是能重建的素材类型整个变了——
可以回头用你已有的影像；
可以用网上找到的素材搭场景；
可以把过去从不被当作"可重建"的随手视频翻出来变成 3D。
他自己的两个实测：把以前从来没成功过的采集放进 Atlas 第一次看到了重建；把旧采集里 95% 的照片扔掉，仍能得到传统 NeRF/Splat 路线根本拿不到的角度。
为什么 sparse 必须靠生成（[00:17:08]–[00:18:09]）：
传统重建需要多视角是因为要三角化 3D 空间中的一个点；
而任何没被拍到的像素在 3D 重建里就是一个洞——要填洞就必须想象，而想象本质上是生成过程。
⚠️ Johnson 给的极限论证：即使把 Ben 这个世界级专家放出去、拿单反拍这个房间几百个视角，他仍然会漏掉一些地方——麦克风底下、桌子底下、椅子腿之间。所以无论多少视角都不够，模型必须有生成能力来补。
Fei-Fei Li 举的那个 demo（[00:17:08]）：斯坦福那个演示里，3 到 25 张图就能重建整个斯坦福 quad，而展示是从空中视角给的——每一张输入图都是 Ben 站在地面上拍的。"所以你看到的全都是生成的，但符合重建的规律。"

四、他们自己的"是不是快到头了"¶

⚠️ 主持人直接问"是不是这个架构的 scaling 快到头了、需要新突破"，回答是斩钉截铁的否定（[00:22:12]）："不，不，我们在开始阶段。" 且是在不改架构的前提下。
瓶颈的自述（[00:22:12]–[00:23:13]）："我们基本上被训练算力限制。" 数据当然重要（他特意说这是 Fei-Fei 爱强调的点），但当前的主瓶颈是算力。他们在 scaling ladder 上训了一串模型，每次模型更大、训得更久、放到更多芯片上，它就显著更好；而发布的那个模型之所以是那个尺寸，纯粹是因为有 deadline，所以倒推出在期限内训得起的规模。
"你们动手时知道它会成吗"（[00:21:12]–[00:22:12]）：
Fei-Fei Li 的回答是 "我挺确定的"，并把信念拆成两条：scaling law 假设与下一视角预测——"我们三个人对 scaling law 有完全的信念"；但"具体的架构选择与数据配比，魔鬼在细节里"。她描述团队的心路是"我们真不知道这要多久 → 哦，有点生命迹象了 → 哇，这要成了"。
Johnson 的版本更具体：他确信会成，但不确定会这么好、这么快——"用新架构、新范式预训练一个新模型，第一个周期就 work，这是疯狂的"，他原本预期要多跑几轮预训练才能到想要的质量。
⚠️ Fei-Fei Li 讲的那个"内部时刻"，本库认为值得完整记一次（[00:23:13]–[00:24:14]）：早夏的某天，当时还不是现在这个 Atlas 尺寸、是个更小的模型，Ben 把 NeRF 论文里那张著名的花园桌子喂进视角生成。那天夜里他们收到 Ben 的 Slack：相机从桌子底下飞过去了（带着那个足球，且足球是真实的、不是生成幻觉）。她的描述是——三个人对视，五秒钟内做出决定："就是它，我们要造这个。" 理由是"没有人见过这个结果"。

五、用途：从创作者工作流到机器人¶

⚠️ 他们发现 Marble 的用法本身就指向了新视角预测（[00:24:14]–[00:25:14]）：很多人的用法是输入一张图 → 得到 splat 的 3D 场景 → 从不同视角截几张图 → 走人。团队的反应是"那我们直接生成这些图就行了"。
创作者的真实工作流不是单体模型（[00:25:14]–[00:26:14]）："我不认为有任何一个人用一个单体模型做完整个任务"——大家从各自偏好的图像模型里拉出 storyboard 和 mood board，再去不同的视频工具里把它们当关键帧串起来，之后再剪辑。Marble 在其中扮演的是"让你的生成锚定在一个 3D 一致的世界里"的那一小块。
他给的痛点很具体：拿图像模型要一个房间的不同视角，每次都能看出东西移位了、不稳定。
⚠️ 他对"为什么状态与持久性重要"的论证是本页最好的产品论证（[00:26:14]–[00:27:14]）：人们有几十年习惯于持久的 3D 状态——虚拟地建模他们在真实世界里会做的事，有舞台、有道具、有元素，无论是电影、剧集、营销镜头还是游戏环境。"人不是那种生成一个、再生成一个、扔掉、只留 text prompt 的思维方式；人想要积累一组资产、用那种方式建模一个世界。"
他点名的非创作用途（[00:27:14]–[00:28:14]）：建筑与施工，以及一个他遇到的给会议搭展台的人——"世界上有太多东西需要被制造出来，而每一样基本都要经过一个相当痛苦的虚拟设计阶段"。
⚠️ 他给的量化观察：从口头评论、草图或创意总监的快速反馈映射回 3D 表征，"大概是 95% 的工作"——"你开个会拿到反馈，然后回去改一周"。原因是"我们的软件已经几十年了，从来没变得像玩乐高、捏陶、用手做东西或用铅笔画草图那么直觉"。
机器人（[00:29:14]–[00:32:17]）：
收购确认：World Labs 收购的公司此前叫 SceniX，核心技术是 real-to-sim 与 sim-to-real。
举的例子是训练机械臂在工业环境里做布线（cabling）：要先有大量数据训策略、再评估策略好不好、再部署。SceniX 此前干的正是 dense 重建那一步——"极其痛苦、耗时、费力，严重拖慢机器人 real-to-sim 的速度"。Atlas 就是它的下一代技术。
⚠️ Fei-Fei Li 的拉远判断："机器人现在最大的问题其实是数据。总有一天会是芯片，但现在是数据。"
她特别点出的一步是 randomization（[00:31:16]）：光采到"布线"或"洗碗"的数据不够，还必须把同一个环境的条件随机化——线可以是别的弯法、箱子可以是不同尺寸/颜色/盖子、可以在场景的不同位置。这一步会被 Atlas 显著帮到。
她的限定："我们还没有一个足够鲁棒的机器人前沿基础模型。" 但 Atlas 是 omni model，下一步可以想象让它吃动态数据，从而开始弥合动作规划与 Atlas 输出之间的鸿沟。
⚠️ Johnson 关于"机器人策略与其他 AI 应用的根本不同"，本库认为该进物理 AI 与机器人（[00:32:17]–[00:34:21]）：
生成代码、图像、视频时，模型产出的是一个静态制品，而网上有大量同类制品可学。
机器人策略不是静态物，它是一个要进入真实世界、采取行动、试图达成目标的 agent，而世界不总按你预期响应。所以策略在训练期就必须被暴露于"部署时可能出错的每一种情况"。
由此推出仿真的两条路：① 经典仿真——人类设计者拿物理引擎、创造性地想象所有可能场景、显式写代码建模（他说这条路会被 coding agent 大幅增强）；② 数据驱动的 neural simulator——用尽可能多的数据训一个理解"世界如何响应动作"的模型，把它当作训练机器人策略的仿真床。
⚠️ 他随后把第二条推到了一个更强的结论（[00:34:21]）：一旦你有了这个学出来的仿真器，它脑子里已经理解了世界、理解了世界会如何响应动作——那它自己为什么不能成为 planner？ 因为"理解世界如何响应一个动作"与"想象我该采取什么动作让世界以某种方式响应"高度相关。

六、"new view prediction 是 AI complete"¶

⚠️ 这一节是本期最强的主张，也是最该带着自我限定读的一节。本库把它记为一条类比论证，不是一条证明。

他们先把 AI completeness 的定义对齐到 Turing completeness（[00:40:23]–[00:41:23]）：类比 3-SAT——任何 NP 难问题都能归约到它，所以解了它就能解任何一个。AI completeness 的软定义是：存在某个基础的 AI 任务，如果能在最广的一般性上解决它，就解决了任何智能问题。
LLM 那一侧的经典例子（[00:41:23]）：Ilya 那个侦探小说的例子——模型要读完整本小说，而最后一句是"凶手是——"，预测下一个 token。"所以你基本能把任何智能任务框进这个形式。"
他们的主张（[00:41:23]–[00:42:24]）：生成式的新视角预测同样是 AI complete。主持人当场接了一个同构版本——把整部电影的帧都给它，然后凶手走出来，你预测走出来的到底是谁。
⚠️ Fei-Fei Li 给的是一个演化论证，本库认为这是本期最该被单独引用的一句（[00:42:24]）：

新视角预测正是演化"让动物动起来"时必须解决的问题。自然给了动物眼睛，却没给树眼睛——为什么？因为当你移动，你就看到一个新视角。

落点是："我们非常强烈地相信，next viewpoint prediction 等价于 next token prediction。"
她对空间智能的完整定义（[00:08:04]–[00:09:05]）：最终必须让我们能生成这个空间、在其中推理、并能编辑与交互。"可以争论是 3D 还是 4D——加上时间维度终归是 4D"，但即使只是 3D，这些也是空间智能必须支撑的基本任务。在此之上才谈渲染、模拟、规划动作；而要做到这些，必须先解决理解空间的几何、结构与物理。
她对 Atlas 的定位（[00:09:05]–[00:10:06]）：生成像素只是早期一步（"我们已经见过你说的无数个模型"）；生成真正在空间上被上下文化、被锚定的像素，是另一个重大的、很难的一步，而 Atlas 迈出了这一步。
她最后一次表述的第一性原理（[00:40:23]）："智能不是坐在那里看到某样东西、解释某样东西。当涉及物理空间时，它是在看、经验与交互之间闭环。"

七、动态（dynamics）：一条他们承认还没做完的线¶

主持人转述的外部反馈（[00:35:21]）：一位领域专家的评价是"很棒、很惊人，但需要更多 dynamics"。
他们的回答是"我们已经有 baby dynamics"（[00:35:21]–[00:36:22]）：
Marble 从根本上是静态的——架构里就是静态的、训练里就是静态的。
Atlas 的架构从根本上支持 dynamics，训练数据里也本来就有 dynamics。他们指出发布的视频里已经能看到水波、空中视角里有小车在动。
⚠️ 他们给的一条反直觉的训练判断，本库认为是本节最有价值的部分（[00:36:22]–[00:37:22]）：主持人问"做多视角 3D 重建时，动态不是反而有害吗"。
承认：如果只做纯 3D 重建，你确实希望没有动态——你想建模精确冻结时刻的精确视角。
⚠️ 但这正是 Marble 路线的问题：你可以去找完全静态的数据，但那很难 scale、很难拿到更多。
他们的结论：即使你最终要的是静态输出，拿到它的最好方式也是把模型暴露于动态——"把你有的动态和静态都喂给它，让模型自己学会把动态因素分解出去"。
具体实现：Atlas 的预训练里已经见过大量动态；这次发布的这个 checkpoint 的后训练则更集中在静态、更集中在空间移动而非时间。Johnson 说"我挺确定预训练的 checkpoint 里已经有大量潜在的动态"。
"那我们会拿到 4D 视频、能走来走去吗"（[00:37:22]）：⚠️ 他们没有正面回答（主持人说"看他们脸上的笑"），本库照录这处不回答，不替他们推断。

八、他们各自最想要的下一步¶

Ben Mildenhall：可编辑性（[00:38:23]–[00:40:23]）。他先用术语说"multimodal 的控制条件（control conditioning）"，被主持人打断说听不懂，Fei-Fei Li 当场翻译成"editability（可编辑性），可编辑性是关键"。
他的现状判断：单图模型、以及今年开始的视频模型，已经解锁了那种多轮的、直觉的编辑（"我要这个人、这个物体、这件事发生"，一次性组合）；但这还没有强力传导到视频、更没有传导到世界模型——目前只有"塞一句话进去、出现一只恐龙"这类玩具级例子。
⚠️ 他给的约束条件是本页最实际的一条产品判断："诀窍是你得加控制，但不能牺牲模型质量，否则它就只是个派对把戏。"——"没有人会为了多几个旋钮，就认真考虑把他们最前沿的视频模型换成你的模型，如果质量降了的话。"
他的终局：让人几乎从零重新设计与有状态的 3D 世界交互的方式。
Fei-Fei Li：沿着"看 → 经验 → 交互"这个阶梯往上走（[00:40:23]，见上文第六节）。

与本库其它观点的关系¶

物理 AI 与机器人：本页给该页补了三条此前没有的内容——"机器人现在最大的问题是数据，总有一天是芯片"（Fei-Fei Li）、"机器人策略不是静态制品所以网上没有同类可学"（Johnson）、以及 randomization 作为 real-to-sim 中被低估的一步。⚠️ Johnson 那条"学出来的仿真器为什么不能自己成为 planner"是该页最激进的一条推论，本库标注它是推论不是结果。
Yunzhu Li / SceniX：本页从收购方一侧确认了收购与其技术定位——SceniX 的 real-to-sim 此前卡在 dense 重建上，Atlas 就是那一步的下一代。这与 SceniX 那期从被收购方一侧讲"评测速度本身就是机器人行业瓶颈"互为两侧。
AI 基础设施："我们现在被训练算力限制，模型尺寸是被发布 deadline 倒推出来的"是一条罕见的、来自模型方的具体算力约束自述，可与 Dylan Patel 关于实验室算力预算的拆分并读——后者说实验室手上有数千兆瓦却跑不满，这里则是一家前沿创业公司说自己被算力卡住，两条并不矛盾，但描述的是完全不同的处境。
评测与基准 / LLM 训练流水线："重建就是长 context 的生成"这个类比，以及"要静态输出反而应该拿动态数据训，让模型自己把动态分解出去"，是本库关于视觉侧 context 与数据配比的第一组具体论述。
Fei-Fei Li：本页是她在本库的第二份材料。与 2026-07-28 那期相比，本期把路线陈述换成了可证伪的工程细节；⚠️ 其中"没有空间智能的 scaling law"（创办时）→"我们三个人对 scaling law 有完全信念"（现在）这一转变，本库认为是该页值得记的时间线。
a16z：主持方在本期基本不持立场，唯一一次带入外部判断是转述一位专家"需要更多 dynamics"的反馈（[00:35:21]）——本库把这条记为该频道少见的把负面反馈直接抛给嘉宾的处理。