跳转至

Anastasis Germanidis — Runway 联合创始人兼 CTO

来源：Latent Space：Runway 的世界模型、机器人与神经操作系统

本页记录从视频生成一路走到世界模型这条路径的自述。本库其它世界模型材料（Ming-Yu Liu / Cosmos、World Labs / Atlas、沈宇军）大多从 3D、具身或新视角合成出发；⚠️ 他是本库唯一一份"scaling 视频预测本身就够了"的正面辩护。

背景

希腊裔，双线出身：自己的互动艺术实践 + 创业公司的 ML/后端工程师（[00:02:02]–[00:03:02]）。早年作品是模拟性质的——2015 年做过一个在画廊空间里给人语音指令、分配虚构身份并撮合互动的软件，用模板加马尔可夫链生成对话（[00:03:02]–[00:04:02]）。

⚠️ Runway 的论点在一个早期项目里就显形了（[00:04:02]–[00:06:05]）：他和联合创始人 Chris 拿 NVIDIA 的 pix2pixHD——一个只在自动驾驶数据集上训过、语义类别只有行人/路牌/自行车/红绿灯的模型——放给艺术家用，人们做出了一百万个行人、巨人这类超现实图像。

"你可以拿一个在极其无聊的数据集上训出来的模型，换个方向看它、围着它做好工具、交给艺术家，他们会做出你意想不到的东西。"

Runway 很长一段时间的主业其实是抠像（[00:09:05]）：早期解决图像与视频分割，做出叫 green screen 的工具，因为 VFX 的大头是分离主体、rotoscoping 极其手工。它被用在《瞬息全宇宙》等片子里。

立场与关注点

一、"scaling 视频预测就够了"

  • ⚠️ 他对 Yann LeCun / JEPA 的回应是纯经验主义的（[00:31:23]–[00:32:25]）："我们是一家非常务实的研究实验室。如果有证据表明某个方法更好，我们毫不犹豫会换。我们只是没看到任何迹象表明视频预测本身不 scale。"旁证：机器人领域最有希望的工作，很多都从视频预测模型出发，再适配成动作模型。
  • 可查的 scaling 证据（[00:33:25]–[00:34:25]）：他们用 Physics IQ 衡量固体力学、流体动力学、光学——给第一帧让模型 roll out。"我们在不同模型规模、不同算力规模上测过，Physics IQ 的分数可预测地提升。"⚠️ 他承认有别的技巧能进一步提分，但光靠 scale 就有效。
  • ⚠️ 他对"为什么不能只靠语言"的表述（[00:29:23]–[00:31:23]）：语言模型学的是人类写下来的、2020 年代的理解；"如果我让你描述怎么系鞋带，那用语言很难，但演示一下就很显然"。

    "我们一直在系统性地低估那些我们下意识就会做、甚至找不到词来描述的事情有多复杂。我们把太多重心放在了容易谈论的事情上。"

  • ⚠️ 他也主动给了限定（[00:32:25]）：视频模型能作弊——用连续切镜避开难模拟的物理；"重要的是不要被当前视频模型的表现骗到，挑几个 cherry-pick 的例子就以为它们比实际更先进。"
  • 对主持人柏拉图洞穴式质疑的回答只有一句（[00:35:25]）："机器学习的历史在很大程度上就是'感觉不对'。这就是 bitter lesson。"

二、lucid dream test：他给世界模型的图灵测试

⚠️（[01:09:52]–[01:11:54]）戴上有 pass-through 的 VR 头显，在同一个房间里自由走动、与物体交互；事后你无法确定看到的是透视画面还是生成画面，就说明模型够好了。"我们离那个还很远。"

⚠️ 他指出真正的差距不在画质，在反事实（counterfactual）：让模型生成"一个人罚球进了"比"没进"容易，因为训练分布里成功的视频多得多；而交互式模型必须把两种结局生成得同样真实。这条对机器人尤其关键——无论用于评估还是未来的在线 RL，你都需要模型能真实地模拟失败。

"这是唯一一个你成功样本太多、失败样本不够的领域。"

三、界面世界模型与神经操作系统

  • 是什么（[00:44:28]–[00:45:29]）：世界模型作为软件的通用界面——直接渲染界面的像素，训练目标是"预测点击/交互之后会发生什么"。没有 HTML、CSS、React；输入是点击、拖拽、滚动；同时生成音频。界面的行为写在 prompt 里而不是标记语言里。

    ⚠️ "为什么要生成那段生成像素的代码？直接生成像素就好了。这是端到端哲学应用到前端。"（[00:46:30]）

  • 副产品：个性化（[00:48:34]）——按访问者换 prompt，比如为无障碍需求把字号调大。
  • 他自己给的限制（[00:48:34]–[00:50:35]）：算力需求远高于渲染 HTML；有环境动效时必须一直跑。⚠️ 他的优先级判断："我们首先要做的是找到几个明显比传统界面更有说服力的交互场景，之后服务成本变便宜只是时间问题。"
  • ⚠️ 终局：神经操作系统（[00:51:36]–[00:53:39]）。他明确引 Karpathy 很久以前写过这个，然后给出自己的论证：

    "今天你和一个 LLM 交互，这个 LLM 什么都能跟你聊、对话可以往任何方向去，它非常通用、能解决各种任务——但你是通过一个非常僵硬的界面在和它交互。所以在我看来，界面本身变得可学习只是时间问题。" ⚠️ 更激进的一层："application 这个概念来自'每个工具需要各自的代码库'这个前提"；如果界面由视频模型即时生成，"应用"这个抽象可能不再需要，要发明新的软件抽象。

  • ⚠️ 他反复强调的"世界模型有两个客户"（[00:53:39]–[00:54:40]）：给人用和给 agent 用——每做一个新的世界模型，两个用途同时成立。界面世界模型对 agent 这边是：训练 computer-use agent 的合成数据生成器，以及可做在线 RL 的活环境。

四、机器人：第三人称视频论

  • ⚠️ "我们 scale 视频模型，顺手做出了一个 SOTA 的机器人模型"（[00:57:44]–[00:59:44]）。三级用途的演进：合成数据 → 闭环模拟器 → 策略本身。他们用 RoboArena 的场景与 embodiment 做过 real-to-sim 相关性验证，结论是相关性很好。
  • ⚠️ 相对传统模拟器的优势极具体（[01:00:44]–[01:01:46]）：刚体用 Isaac Sim / MuJoCo 就够；但布料、湿滑表面这类复杂交互，为每个环境每个任务搭数字孪生极其耗时。世界模型"你只需要提供第一帧"，而对照方法要先 3D 扫描环境、再逐个扫描物体。
  • ⚠️ 第三人称视频论（本页认为是他最该被单独引用的一条）（[01:01:46]–[01:04:49]）：机器人数据有三类——teleoperation、UMI（人手持夹爪的第一人称）、egocentric（头戴 GoPro）——而最丰沛的是第三人称视频，这也正是人类学习的方式。量级：即便相对好扩展的 egocentric 数据，"世界上存在的量也比第三人称视频少三个数量级"。
  • 实证：从 Gen-4.5 出发，几百小时量级的机器人数据微调就能拿到相当好的性能；从头预训练机器人模型需要十万到百万小时量级。
  • ⚠️ world action model 的机制直觉（[01:07:51]–[01:08:51]）：

    "如果你拿一个有机械臂的场景的起始帧，prompt 模型生成机械臂拿起一个物体——只要它生成的视频足够准确，那它也应该能生成机械臂为了完成这个动作所需的精确 3D 位姿。" 做法是从视频模型出发、加一个 action head 预测动作，它就成了一个策略。

  • 两年预期（[01:04:49]–[01:06:51]）：现在按 partner 的 embodiment 分别 post-train；一两年后会统一成一个世界模型，同时模拟操作、导航和人的行为。自动驾驶方面世界模型主要用在评估侧，Runway 重心在机械臂操作。

五、实时化是必然，不是可选项

  • ⚠️（[00:42:28]）"两年后我们如果不主要使用实时模型，我会非常吃惊。用户体验好得多，服务成本低得多，而随着蒸馏技术变好，基础模型和实时模型之间的质量差距只会收窄。"
  • 路径三段（[00:42:28]–[00:43:28]）：双向扩散 → 因果自回归 → 步数蒸馏。
  • ⚠️ 扩散模型的两个蒸馏轴（[00:43:28]–[00:44:28]）：蒸到更小的模型（类似 LLM）或蒸到更少的步数（50 步 → 4 步）。⚠️ 实践上他们很多用例直接把前沿模型做成实时的，而不是换小模型。
  • 当前部署（[00:41:27]）：实时 characters 模型（说话人 avatar）是步数蒸馏的自回归视频模型，24 fps，他称是"目前最大规模的实时视频模型部署"。
  • 长上下文是他点名的瓶颈（[00:54:40]–[00:56:43]）：characters 能自回归到 30 分钟；GWM Worlds（开放世界探索）只有几分钟。核心难题是自回归的误差累积——"这不是新问题，LLM 也有，而且已经被解决到能生成很长输出，所以它可解，但仍然是挑战。"

六、多模态迁移与科学

⚠️ 他押注模态之间存在迁移（[01:32:07]–[01:35:11]）。证据：Riffusion（Stable Diffusion 在声谱图上微调变成音乐生成器）；⚠️ The Well 实验（最硬的一条）——一个横跨天体物理到原子级相互作用、跨极不同时空尺度的物理与生物数值模拟数据集，"真实世界视频看起来跟这个毫无相似之处"，但把视频模型当作 RGB 帧微调，比从头训练快得多就拿到合理性能。

⚠️ 他对 AlphaFold 的对照，是本页最该被 AI for Science 接走的一句（[01:35:11]–[01:36:12]）：AlphaFold 因为可训练数据有限，架构被高度定制化，只为解决蛋白结构预测；而"如果你把这些分散的科学数据源合到一个模型下"，就可能借助一种模态学到的东西去解决另一些科学问题。⚠️ 他自陈这个方向非常早期。

⚠️ 迁移解决的是数据稀缺（[01:34:11]）："你没有那么多嗅觉数据，但你有海量视频数据。"

七、一条关于"harness → 模型"的一般规律

⚠️（[01:14:57]–[01:16:58]）

"通常一件事先由 harness 完成，然后它变成模型的一部分。"

例子：chain-of-thought 从超详细系统提示变成模型自带的推理轨迹；对应到视频侧是从"单镜头模型 + 编排器"变成原生多镜头生成。⚠️ 他补的理由很具体：多镜头需要剪辑直觉（节奏感），而"如果你让 LLM 拿一堆视频自动剪出一条片子，会很怪——LLM 还不是好的视频剪辑师"。他预期最终统一到 omni 模型（端到端同时做自回归文本预测和扩散），并点名目前大概只有 Gemini 和 Qwen 这么做。

其它值得记的

  • ⚠️ Stable Diffusion 公案的当事方陈述（[00:14:07]–[00:16:10]）：latent diffusion 出自 CompVis，Patrick Esser 当时在 Runway；SD 本质上是同一模型用更多算力、加 classifier-free guidance、用 LAION 美学子集训的，跑在 Stability 的集群上、由 Stability 出资。他的说法是这本来就是开源研究项目，模型成功后有公司试图找商业化路径，Runway 认为应继续按原计划发版本，于是有了 SD 1.5——"中间大概有一天的沟通不畅，但几小时内就解决了"。⚠️ 本库只记录当事一方陈述，不裁决；另一侧见 Robin Rombach。
  • ⚠️ 中美对照（[01:22:00]–[01:23:00]）："如果你看视频模型的排行榜，现在前 10 到前 20 名里大多数是中国模型，来自美国或西方的只有寥寥几家。"⚠️ 他拒绝"那就蒸馏它们" ——那是被对方性能封顶的悲观路线，"我认为我们目前完全有能力不靠蒸馏就训出很好的模型"。Cosmos 联盟（与 NVIDIA 共同发起）的形式可以是开源权重、衡量物理的 benchmark 或基础设施（[01:20:59]）。
  • ⚠️ 评估：视频与语言是反的（[01:24:01]–[01:25:02]）：他明确反对"创作者更依赖 arena"这一说法——图像和视频"你用眼睛立刻就能判断美学、伪影、物理对不对"，而语言模型那些数学与代码测试人类很难分辨同档模型。实际做法就是同一 prompt 跑几个模型看结果。
  • ⚠️ 创作者情绪转变的解释（最反直觉的一条产品洞察）（[01:26:02]–[01:28:03]）：他的 hot take 是当初反应激烈部分源于 text-to-video 这个形态本身——一句话进去、一整段视频出来。今天的模型接受大量参考（最新可达 50 个）、可控性强。

    "当人们看到一个提供很多自由度和控制的工具，他们的反应就不一样了。它是不是生成模型反而没那么重要，重要的是你真的能把它导向你想要的方向。"

  • 需求的三段演进（[01:28:03]–[01:29:04]）：质量 → 可控性 → 延迟。"Photoshop 是即时的，我们在生成模型上丢掉了那个东西"，实时模型会把它带回来。
  • 为什么在纽约（[01:17:59]–[01:18:59]）：除产业交汇外，"我们受益于当局外人、把事情想得不太一样，不在湾区那种 ASI 的 hive mind 里。"

相关页面