跳转至

Anastasis Germanidis（Runway）：把视频预测一路推到世界模型、界面世界模型与神经操作系统，以及"第三人称视频才是机器人最大的数据源"（Latent Space，2026-09-25）

说话人认定依据：自动字幕只有 >>，没有姓名标签。嘉宾只有一位，本页凡"他"均指 Anastasis；主持有两人（swyx 与 Vibhu），一律写"主持人"，不逐句区分。

自动字幕专名对照表：Anani Valley / Anani Road → Runway 早期项目名（⚠️ 拼写未核实）、Pix HD → pix2pixHD、pixtopics → pix2pix、light diffusion/lat diffusion/latusion/late in diffusion → latent diffusion（⚠️ 全篇误识）、deli 2/Dolly 2/Delhi 3 → DALL·E 2 / DALL·E 3、Robin Rumbach → Robin Rombach、convis → CompVis、Jin Kogan → Gene Kogan（⚠️ 未核实）、Salivan Go → Van Gogh、comnets/connets → ConvNets、Yan Leon/Yan Lakun → Yann LeCun、Japa/ja → JEPA、Mujok → MuJoCo、robarina → RoboArena（⚠️ 未核实）、yumi data → UMI 数据、creepers → grippers、Andre Karpathy/Karopathic → Andrej Karpathy、refusion → Riffusion、Deep SQL CR/Deepse OCR → DeepSeek-OCR、foul → fal、Godo → Godot、Moon Lake Nick → ⚠️ 未能还原，照录、Mark Suchza → ⚠️ 拼写未核实（导演名）、the well → The Well（物理数值模拟数据集）、Cosmo/Cosmos Coalition → NVIDIA Cosmos。

概要

本库此前的世界模型材料分散在 Ming-Yu Liu / Cosmos、World Labs / Atlas、沈宇军（具身原生） 等处。⚠️ 本期的特殊性在于视角：其他各家是从 3D、从具身、从新视角合成出发去做世界模型；Runway 是从视频生成一路走过来的，因此这一期是本库唯一一份"scaling 视频预测本身是否足够"的正面辩护。

⚠️ 本页认为最该被单独引用的两处，都不是"世界模型"本身： 1. 界面世界模型（interface world model）——直接生成软件界面的像素，没有 HTML/CSS/React（[00:44:28]–[00:48:34]）； 2. 第三人称视频是机器人最大的数据源这一论证（[01:01:46]–[01:04:49]），它是对当前 teleop / egocentric 两条主流路线的直接挑战。

本期最该被单独引用的七条

  1. ⚠️ 他对 Yann LeCun 的正面回应（[00:31:23]–[00:32:25]）：被问"是不是还需要 JEPA 那样的另一层"，他的回答是纯经验主义的——"我们是一家非常务实的研究实验室。如果有证据表明某个方法更好，我们毫不犹豫会换。我们只是没看到任何迹象表明视频预测本身不 scale。"他补的旁证是机器人领域最有希望的工作，很多都从视频预测模型出发，再把它们适配成动作模型。
  2. ⚠️ scaling 的证据是一个可查的 benchmark（[00:33:25]–[00:34:25]）：他们用 Physics IQ 衡量模型在固体力学、流体动力学、光学上的表现——给第一帧、让模型 roll out，对照真实物理。"我们在不同模型规模、不同算力规模上测过，Physics IQ 的分数可预测地提升。"⚠️ 他同时承认有别的技巧能进一步提分，但光靠 scale 就有效。
  3. ⚠️ 他对"为什么不能只靠语言"的表述，本页认为比技术细节更值得引用（[00:29:23]–[00:31:23]）：语言模型学的是人类写下来的关于世界的东西，即我们在 2020 年代的理解；而"如果我让你描述怎么系鞋带，那用语言很难，但演示一下就很显然"。

    "我们一直在系统性地低估那些我们下意识就会做、甚至找不到词来描述的事情有多复杂。我们把太多重心放在了容易谈论的事情上。"

  4. ⚠️ Sora 那几个小时（[00:37:25]–[00:39:26]）：2024 年 2 月 Sora 发布，结果远超 Gen-2，"Twitter 上一堆人说 Runway 完了"。他的原话是"有几个小时的存在主义危机"。随后 3 个月内把模型规模和算力 scale 了 10 倍、从零学会模型并行，做出 Gen-3。⚠️ 他说这是公司里所有人最喜欢的一段时期。
  5. ⚠️ "我们 scale 视频模型，顺手做出了一个 SOTA 的机器人模型"（[00:57:44]–[00:59:44]）：机器人实验室先是来找他们要合成数据，后来发现更大的用途是模拟器——把动作放进世界模型里 roll out、闭环评估策略。他们用 RoboArena 的场景和 embodiment 做过一次 real-to-sim 相关性验证，结论是相关性很好。⚠️ 相对传统模拟器的优势极具体（[01:00:44]–[01:01:46]）：刚体用 Isaac Sim / MuJoCo 就行，但布料、湿滑表面这类复杂交互，为每个环境每个任务搭数字孪生极其耗时；世界模型"你只需要提供第一帧"，而对照方法要先 3D 扫描环境、再逐个扫描物体。
  6. ⚠️ lucid dream test（清醒梦测试）——他给世界模型的图灵测试（[01:09:52]–[01:11:54]）：戴上有 pass-through 的 VR 头显，在同一个房间里走动、和物体交互；事后你无法确定看到的是透视画面还是生成画面，就说明模型够好了。"我们离那个还很远。"⚠️ 他指出真正的差距不在画质，而在反事实（counterfactual）：让模型生成"一个人罚球进了"比"没进"容易，因为训练分布里成功的视频多得多；而交互式模型必须把两种结局生成得同样真实。

    "这是唯一一个你成功样本太多、失败样本不够的领域。"

  7. ⚠️ 第三人称视频论证（[01:01:46]–[01:04:49]）：他把机器人数据分成三类——teleoperation、UMI（人手持夹爪的第一人称）、egocentric（头戴 GoPro）——然后指出最丰沛的是第三人称视频，而且这正是人类学习的方式（"我们不是从第一人称学的"）。⚠️ 量级：即便是相对好扩展的 egocentric 数据，"世界上存在的量也比第三人称视频少三个数量级"。他给的实证是：从 Gen-4.5 出发，只要几百小时量级的机器人数据微调，就能拿到相当好的性能，而从头预训练一个机器人模型需要十万到百万小时量级。

一、从 pix2pix 到 Gen-4.5：一条被 scaling 拉直的产品史

来源：Latent Space 2026-09-25

  • 前史（[00:04:02]–[00:06:05]）：早期项目拿 NVIDIA 的 pix2pixHD ——一个输入语义图、输出照片级画面的模型，只在自动驾驶数据集上训过，所以语义类别只有行人、路牌、自行车、红绿灯。⚠️ 他说这是 Runway 论点的第一次显形：人们拿它做出一百万个行人、巨人这类超现实图像——"你可以拿一个在极其无聊的数据集上训出来的模型，换个方向看它、围着它做好工具、交给艺术家，他们会做出你意想不到的东西。"
  • Runway 的真正主业曾经是抠像（[00:09:05]）：早期解决图像与视频分割，做出叫 green screen 的工具——因为 VFX 的大头是分离主体，rotoscoping 极其手工，没人喜欢做。它被用在《瞬息全宇宙》等片子里，"很长一段时间里，Runway 就是这个后期工具。"
  • ⚠️ 千卡 A100 的赌注（[00:10:05]–[00:11:06]）：2022 年中他们判断 scaling law 会像作用于语言那样作用于图像和视频，于是以 B 轮公司的身份签下一千张 A100 的集群——"当时看是个近乎不理性的决定。"当时最好的视频模型 CogVideo 还是 256×256。
  • Gen-1 的务实退让（[00:11:06]）：直接做 text-to-video 做不出来，从 video-to-video 起步，因为"条件更强的时候本质上是更容易的问题"。Gen-1 是深度图条件的视频模型。
  • ⚠️ Gen-2 是一个周末项目（[00:22:15]–[00:23:18]）：本来计划花 6 个月投入 text-to-video、加大模型和算力。他的周末想法是——拿一个"文本 → 深度图"的模型，接上 Gen-1 把深度图转 RGB。"Gen-2 基本上就是这个。"⚠️ 他坦承能看出两段式流水线的痕迹（结构有点怪），但它让产品很快到了用户手里。

    ⚠️ 他随即指出这件事现在回来了：Reve 的 text-to-image 有一个先生成 bounding box 的 planner 模型再喂进 DiT；Ideogram 同一天发了同样的创新。"现在所有生产环境的视频生成模型底下都有一套复杂的 prompt completion 流水线。"

  • ⚠️ 可控性作为 2023 年的主线（[00:20:13]–[00:21:14]）："很早就很清楚，text-to-video 不会是答案，人们要的控制远不止于此。" 于是有了 motion brush（画箭头指定物体往哪动）和 camera control。⚠️ camera control 是世界模型的种子（[00:24:19]–[00:25:19]）："那是第一次你感觉到自己不是在创造一段视频，而是在这个世界里导航。" 世界模型研究组随之在 2023 年底成立。
  • Gen-3 的代价（[00:36:25]–[00:39:26]）：Sora 最大的变化是用 diffusion transformer 取代 ConvNet，而 DiT 论文已经展示了图像扩散的 scaling law。他们用 2023 年秋天几乎整段时间搭分布式训练基础设施，经历了大量失败的 scaling 尝试——然后 Sora 来了。

    ⚠️ "我们必须在几个月里，把语言模型世界花三年学到的教训全学一遍。"

二、实时化：他认为这不是可选项

来源：Latent Space 2026-09-25

  • ⚠️ 他的判断（[00:42:28]）："两年后我们如果不主要使用实时模型，我会非常吃惊。对我来说实时视频生成就是不可避免的——用户体验好得多，服务成本低得多，而随着蒸馏技术变好，基础模型和实时模型之间的质量差距只会收窄。"
  • 技术路径是三段（[00:42:28]–[00:43:28]）：双向扩散（一次生成整段）→ 因果自回归（一次一帧或几帧）→ 步数蒸馏。
  • ⚠️ 扩散模型的两个蒸馏轴，值得单记（[00:43:28]–[00:44:28]）：蒸到更小的模型（类似 LLM 的做法），或者蒸到更少的步数（50 步 → 4 步）。他说后者常常"有一点性能退化，但很多时候得到可比的输出"，所以 很多用例里他们直接把前沿模型做成实时的，而不是换小模型。
  • 当前部署（[00:41:27]）：实时的 characters 模型（说话人 avatar）是步数蒸馏的自回归视频模型，24 fps，他称是"目前最大规模的实时视频模型部署"。
  • 他反驳"蒸馏这条线没留下来"（[00:40:27]–[00:41:27]）：主持人提出 consistency models / lightning / turbo 那波"好像没沉淀下来"，他不同意——生产里有大量在用的步数蒸馏模型，只是和非蒸馏版仍有质量差距；"在我看来我们相对语言模型还有两到三年的时差。"
  • 长上下文是他点名的瓶颈（[00:54:40]–[00:56:43]）：characters 模型能自回归生成到 30 分钟；GWM Worlds（开放世界探索）只有几分钟量级。核心难题是自回归的误差累积——"这不是新问题，LLM 也有，而且已经被解决到能生成很长的输出，所以它是可解的，但仍然是挑战。"

三、界面世界模型：本页认为最值得别的页引用的部分

来源：Latent Space 2026-09-25

  • 是什么（[00:44:28]–[00:45:29]）：把世界模型当作软件的通用界面，它直接渲染界面的像素，并被训练成"预测点击或其他交互之后会发生什么"。没有 HTML、CSS、React；输入是点击、拖拽、滚动；同时生成音频，所以你可以描述点击应该伴随什么音效。
  • ⚠️ 它的设计哲学（[00:46:30]）：

    "为什么要生成那段生成像素的代码？直接生成像素就好了。这是端到端哲学应用到前端。" 界面的行为不再写在标记语言里，而是写在 prompt 里——"如果我按这个按钮，我期望发生这个"。

  • 他们的对照实验（[00:47:32]）：拿同样的界面去 prompt Claude（给 Figma 参考图 + 要求某个交互，比如把物体往上拖），结论是除了更慢，某些交互靠纯 LLM 很难捕捉。
  • ⚠️ 一个此前没被讨论过的副产品——个性化（[00:48:34]）：可以按访问者不同换 prompt，比如为无障碍需求把字号调大，"比传统方式容易得多"。
  • 他自己给的限制（[00:48:34]、[00:49:35]–[00:50:35]）：跑实时视频模型 vs 纯渲染 HTML，算力需求高得多；主持人指出它暂停时不需要生成，但他补充如果画面里有环境动效（比如你在"逛巴黎"，街上有人走动），就必须一直跑。⚠️ 他给的优先级判断值得记："我们首先要做的是找到几个明显比传统界面更有说服力的交互场景，之后服务成本变便宜只是时间问题。"
  • ⚠️ 终局：神经操作系统（[00:51:36]–[00:53:39]）：他明确引 Karpathy 很久以前写过这个，然后给出他自己的论证：

    "今天你和一个 LLM 交互，这个 LLM 什么都能跟你聊、对话可以往任何方向去，它非常通用、能解决各种任务——但你是通过一个非常僵硬的界面在和它交互。所以在我看来，界面本身变得可学习只是时间问题。" ⚠️ 他由此推出一条更激进的："application 这个概念来自'每个工具需要各自的代码库'这个前提"；如果界面由视频模型即时生成，"应用"这个抽象可能不再需要，需要发明新的软件抽象。

  • ⚠️ 同一个模型的第二种用途（他反复强调这是世界模型的通例）（[00:53:39]–[00:54:40]）：世界模型有"给人用"和"给 agent 用"两个方向，每做一个新的世界模型，两个用途同时成立。界面世界模型对 agent 这边是：训练 computer-use agent 的强力合成数据生成器，以及可以做在线 RL 的活环境——即时生成各式各样的界面来提升 agent 的鲁棒性。

四、机器人：世界模型 → 模拟器 → 策略

来源：Latent Space 2026-09-25

  • 技术路线（[00:56:43]–[00:57:44]）：GWM1 建在 Gen-4.5 之上，做法是"把双向扩散模型变成自回归、并让它接受动作"——于是"它从一段你观看的视频，变成一个你可以逐步进入的模拟"，可以探索反事实。
  • 三级用途的演进（[00:57:44]–[00:59:44]）：合成数据 → 闭环模拟器（在线评估动作模型）→ 策略本身。
  • ⚠️ world action model 的机制说明，本页认为是全期最清晰的一段技术直觉（[01:07:51]–[01:08:51]）：

    "如果你拿一个有机械臂的场景的起始帧，prompt 模型生成机械臂拿起一个物体——只要它生成的视频足够准确，那它也应该能生成机械臂为了完成这个动作所需的精确 3D 位姿。" 所以做法是从视频模型出发、加一个 action head 预测动作，它就成了一个策略。

  • 训练配方（[01:03:47]–[01:05:50]）：第三人称视频预训练 → 少量机器人数据微调；目前是按 partner 的具体 embodiment（单臂 / 双臂 / 人形）分别 post-train。⚠️ 他给了一条明确的两年预期：不同 GWM 变体会统一——"一年或两年后会有一个单一的世界模型，能模拟操作、能模拟导航（游戏类世界模型多是导航型）、也能模拟人的行为（characters 模型）。"
  • 自动驾驶（[01:06:51]–[01:07:51]）：世界模型正被用于自动驾驶研究，但主要在评估侧；Runway 的重心在机械臂操作，AV 只做过一些工作。
  • ⚠️ 他点名的、机器人界当前的三组开放争论（[01:29:04]–[01:31:06]，Runway 自办的 physical AI summit 预告里给的）：
  • VLA vs world action model——"有些实验室在非常重地押其中一边"；
  • 最佳数据源：继续 scale teleop vs 利用大规模视频；
  • 世界模型本身：直接预测像素 vs JEPA vs 更偏 3D 的路线。

    ⚠️ 他自己的站队很明确："我非常强烈地认为直接预测像素、scaling 视频生成模型是对的路子"，但同时承认这场争论仍然活跃。

  • ⚠️ 主持人给他加的一层反驳，本页并列记录（[00:35:25]）：LeCun 式的柏拉图洞穴质疑——你是在一个东西的输出上学习，而不是它的内部过程，而且输出非常噪；"我们有一整套科学和物理学在讲怎么建模物理、运动、引力，我们把这些全扔了，只说 scale 数据。这感觉不对。" 他的回答只有一句："机器学习的历史在很大程度上就是'感觉不对'。这就是 bitter lesson。"

五、多模态迁移：本页认为最该被 AI for Science 页接走的一段

来源：Latent Space 2026-09-25

  • ⚠️ 他的核心押注是模态之间存在迁移（[01:32:07]–[01:35:11]）。三条证据：
  • Riffusion——把 Stable Diffusion 在声谱图上微调，就变成了相当能打的音乐生成器；
  • ⚠️ The Well 实验（本页认为是最硬的一条）：这是一个跨天体物理到原子级相互作用、横跨极不同时空尺度的物理与生物数值模拟数据集。"真实世界视频看起来跟这个毫无相似之处"，但他们把视频模型当作 RGB 帧在上面微调，"结果比从头训练快得多就拿到了合理的性能"；
  • 主持人补的 DeepSeek-OCR——文本不必 tokenize，可以直接当图像扔进去。
  • ⚠️ 他对"这解决了什么"的定性（[01:34:11]）：迁移解决的是数据稀缺——"你没有那么多嗅觉数据，但你有海量视频数据。"
  • ⚠️ 他给 AlphaFold 的一段对照，是本页认为最该被引用的科学侧判断（[01:35:11]–[01:36:12]）：AlphaFold 因为可训练数据有限，架构被高度定制化，只为解决蛋白结构预测；而"如果你把这些分散的科学数据源合到一个模型下"，就可能借助从一种模态学到的东西去解决另一些科学问题。⚠️ 他自己给了限定——"这个方向非常早期。"
  • omni 模型（[01:14:57]–[01:16:58]、[01:36:12]）：他预期统一到 omni 模型——端到端同时做自回归文本预测和扩散；"先做一些场景的推理和规划，再把它传进生成像素的 diffusion head。"⚠️ 他点名目前大概只有 Gemini 和 Qwen 这么做。他给的一般规律很好用：

    "通常一件事先由 harness 完成，然后它变成模型的一部分。" 他举的例子是 chain-of-thought 从超详细系统提示变成模型自带的推理轨迹；对应到视频侧是从"单镜头模型 + 编排器"变成原生多镜头生成——⚠️ 而且他明确说 LLM 不是好的视频剪辑师："如果你让 LLM 拿一堆视频自动剪出一条片子，会很怪。"

六、其它值得记的

来源：Latent Space 2026-09-25

  • ⚠️ Stable Diffusion 那段公案的当事人版本（[00:14:07]–[00:16:10]）：latent diffusion 论文出自 CompVis，其中 Patrick Esser 当时在 Runway 工作，与 Robin Rombach 等人合作；Stable Diffusion 本质上是同一个模型用更多算力、加 classifier-free guidance、用更好数据（LAION 的美学子集）训的，那次大训练跑在 Stability 的集群上、由 Stability 出资。⚠️ 他的说法是：这项工作本来就是作为开源研究项目在做，模型成功后有公司试图找商业化路径，而 Runway 认为应当继续按原计划发版本，于是有了 SD 1.5 的发布——"中间大概有一天的沟通不畅，但几小时内就解决了。""现在都是过去的事了。"⚠️ 本库只记录当事一方的陈述，不裁决。 相关另一侧见 Robin Rombach。
  • ⚠️ 中美对照：视频模型的排行榜结构（[01:22:00]–[01:23:00]）：被问 Cosmos 联盟是不是对中国世界模型的回应，他的回答很直接——"如果你看视频模型的排行榜，现在前 10 到前 20 名里大多数是中国模型，来自美国或西方的只有寥寥几家。" 主持人补："我们在图像上还行，视频上非常落后。"
  • ⚠️ 他对"那就蒸馏它们"的拒绝（[01:23:00]–[01:24:01]）：主持人半开玩笑说"那是免费数据"，他的回答是那是被对方性能封顶的悲观路线——"我认为我们目前完全有能力不靠蒸馏就训出很好的模型。"
  • Cosmos 联盟（[01:20:59]–[01:22:00]）：与 NVIDIA 共同发起，形式可以是开源权重发布、衡量物理的 benchmark、或基础设施，目的是让刚入门的开发者和研究者也能对世界模型这个领域做贡献。
  • ⚠️ 评估：视频模型和语言模型是反的（[01:24:01]–[01:25:02]）：主持人认为创作者比语言模型用户更依赖 arena 分数，他明确反对——创作者、艺术家、市场人员反而更少依赖 arena，因为"图像和视频模型有个好处：你用眼睛立刻就能判断什么在美学上成立、有没有伪影、物理对不对"。相比之下语言模型那些复杂的数学和代码测试，人类要分辨同档模型的性能难得多。实际做法就是同一个 prompt 拿几个模型跑一遍看结果。
  • ⚠️ 他对创作者情绪转变的解释（本页认为是本期最反直觉的一条产品洞察）（[01:26:02]–[01:28:03]）：他的"hot take"是——当初反应之所以那么激烈，部分是因为 text-to-video 这个形态本身：一句话进去、一整段视频出来。而今天的模型接受大量参考（他提到最新模型可达 50 个参考）、可控性强；

    "当人们看到一个提供很多自由度和控制的工具，他们的反应就不一样了。它是不是生成模型反而没那么重要，重要的是你真的能把它导向你想要的方向。" 他由此判断这让它"感觉更像一个工具，而不是一个替你想出整部电影的魔法实体"。

  • 需求的三段演进（[01:28:03]–[01:29:04]）：质量 → 可控性 → 延迟。他认为延迟正在变成最重要的一项——"Photoshop 是即时的，我们在生成模型上丢掉了那个东西，等两分钟拿回一段视频；实时模型会把它带回来。"
  • ⚠️ 为什么在纽约（[01:17:59]–[01:18:59]）：除了媒体、广告、艺术产业交汇，他给的第二条理由更值得记——"我们受益于当局外人、把事情想得不太一样，不在湾区那种 ASI 的 hive mind 里。"

相关页面