跳转至

Robots That Predict the Future：Dyna-2 与 Physical AI（Latent Space × Jason Ma / Dyna Robotics，2026-10-13）

说话人说明：转录稿为自动字幕，无 SPEAKER 标签，仅有 >> 轮次符。 嘉宾一方为单人（Jason Ma），技术论述与一手经历可按内容确认归属；两位主持的提问本页 统一记为"主持方"，不区分 swyx 与 Alessio（自动字幕无足够依据）。 片尾 [01:13:56] 之后是演示段，另有两位 Dyna 研究员出镜（字幕里被叫作 George、Chad）， 该段归属已在下文单独标注。

⚠️ 自动字幕的专名损坏较严重，本页按上下文还原并在此声明一次： Dina / Dino / Dynam / Dinet → Dyna；Dintyong / Dinty phone / Denton / Tinton → 鼎泰丰（Din Tai Fung）； Richard Sudden、Richard the second → Richard Sutton；lighters / lighters → lidar； GBD4 → GPT-4、GBD6 / GPC6 → GPT-6；pen → Penn（宾大）；grasp → GRASP Lab； full matching → flow matching；human parody → human parity。 ⚠️ 另有两处本页判为无法还原、因此不记：联创姓名（字幕作 "Lynon New York"）、 一处模型名（"Opus 55"、"new Astra"）。

概要

Dyna Robotics 的联创兼首席科学家，在公司现场逐层讲一家全栈机器人公司的技术选择： 世界动作模型（world action model）Dyna-2 的输入输出与架构、数据从哪来、为什么自研执行器、 为什么下半身用轮子而不是腿、为什么在世界模型外面再套一层 agentic harness。

✅ 本页认为这期最有价值的三点： 1. 他被明确问到"如果你错了，第二名是谁"并给出了具体的自我证伪条件（[00:58:39]–[00:59:41]）—— 视觉冗余、触觉可能 100 倍数据效率。本库此前很少拿到这种程度的自我限定。 2. 它与 Runway 那期 构成同一主播下的直接对位： Runway 从视频生成一侧主张"第三人称视频 + action head"，这里是从拥有硬件的一侧回应 "视频模型公司转机器人会卡在传感融合的 know-how 上"。 3. 一条可核验的部署口径："pilot 不难，难的是客户愿意铺到自己很多个站点"（[00:39:20]）—— 并给出了客户名与规模（鼎泰丰、Best Western）。

核心观点

什么是 world action model：输入、输出、架构

  • 定义：Dyna-2 是"第一个在超过 100 万小时数据上训练的 world action model"，上月发布（[00:02:00]）。 世界模型部分预测未来视频 / 世界的未来状态；额外的是用那个未来生成去产出机器人可执行的动作（[00:02:00]）。 动机是类人的——"人在物理世界行动时，大脑里隐含地在想世界会如何随我们的动作演化"（[00:02:00]）。 他说由此得到的模型"更灵巧、更鲁棒、更能泛化到从未见过的环境与场景"（[00:03:01]）。 ⚠️ 这是自述，期内未给任何基准数字。
  • 输入三类：① 过去若干秒的视频 / 图像（机器人相机）；② 关节编码器读数—— "这是跟纯视频模型很不同的地方"；③ 语言指令（[00:03:01]–[00:04:01]）。
  • 输出：底线是机器人可执行的动作；world action model 的特别之处是可以先输出未来视频 （或它的某种表示），再用它引导动作（[00:04:01]）。
  • ✅ 他给的类比本页认为最该被引用："这差不多类似于 chain of thought—— 机器人/模型在视觉与物理的空间里推理，然后输出动作。"（[00:04:01]–[00:05:02]）
  • 架构 = diffusion transformer。他的第一性原理解释分两半：transformer 是能吞下最多数据、 学得最多的那部分；diffusion 负责把结果精修到可执行所需的平滑、精确、细粒度运动 （[00:06:02]–[00:07:02]）。为什么 diffusion 适合：生成图像要锐利边缘与对比， 而机器人"虽然不生成图像，但生成的动作需要非常精确、非常平滑"，是同类考虑（[00:06:02]）。
  • flow matching 的定位：主持方给的概括是"主要是效率加速，40–100 步降到 4 步"， 他的修正是——flow matching 是 diffusion 的一个特例，它让那个变换简单得多、实践中不用怎么调 scheduler， "两三年前图像与视频的生成建模大多已从 diffusion 转向 flow matching"（[00:07:02]–[00:08:03]）。
  • ✅ 主持方补的一条本页认为有信息量：flow matching 在质量上有取舍，但特别适合 action diffusion， 因为你可以实时重新评估；而图像生成"基本是一次性的"（[00:08:03]）。
  • 动作空间的量级（被要求给数量级）：约 100 个动作维度、连续； 模型"以至少 50 维的向量、每秒 10–20 次的高频预测"以得到连续运动， 并预测未来 1–2 秒（[00:46:26]–[00:47:28]）。
  • context 很重要：只看当前观测常常无法判断下一步——"比如开微波炉，到了中间那一段， 你分不清是在关还是在开"（[00:47:28]）。

通用基座 + 极少量微调

  • 路线是先训一个尽可能通用的强基座（100 万小时人类数据），再用"极少量微调"告诉模型 要做什么任务（[00:09:03]–[00:10:04]）。类比是人——"有很强的基础知识，但要成为某任务的专家 总得有一些训练"（[00:09:03]）。
  • 具体数量级：新任务通常"几个小时"机器人数据，有些任务"几十分钟"； 主持方点出切菜那个是 45 分钟、开冰箱更少（[00:00:00]、[00:31:18]）。
  • ⚠️ 一条顺带透露的招聘形式：主持方说"这是你们给工程师的 onboarding 任务"—— 自己提一个任务、来办公室采数据、训模型、看结果（[00:00:00]、[00:31:18]）。
  • 新硬件上的迁移是真的：新机器人数据远少于此前的固定机械臂，预训练里模型没见过这个本体， 但能很快学会演示里的任务。他归因于一个先于硬件的决定—— "硬件还没好之前我们就已经决定在人类数据上做预训练，因为我们知道我们的机器人终将像人" （[00:30:18]–[00:31:18]）。

⚠️ 数据："不像语言模型，这里没有互联网"

  • ✅ 这是他给数据问题定性的那句话："数据是今天机器人领域最重要的事，因为不像语言模型， 这里没有互联网。" 所以每家做模型、做硬件的公司都得自己想数据（[00:10:04]）。
  • 自采的上限：他们自己也大量自采（办公室里到处是机器人），但"任何单独一家公司能自采的量， 都远远不够"——类比是"你想靠只有 Reddit、只有 Facebook 来造一个互联网"（[00:11:05]）。
  • ⚠️ "数据质量在机器人里是个非稳态（non-stationary）问题"：对你的模型来说什么是高质量数据， 会随时间改变——模型什么都不会的时候，任何数据都有用（[00:11:05]）。 ✅ 本页认为这条是本期最可迁移的一个判断。
  • egocentric 人类数据的作用与局限：它"覆盖你能想到的每一种身体活动"， 给模型关于"世界如何围绕一个具身行动者演化"的强先验； ⚠️ 但"在你的机器人长得跟人一模一样之前，人的动作与机器人的动作之间总有 gap"， 所以不太可能直接拿人类数据执行机器人动作，仍需用机器人自己的数据做适配， 而机器人数据贵得多、难采得多（[00:12:08]）。
  • 配方：用最大来源（egocentric）覆盖"机器人认知"的那一部分 + 少量机器人数据覆盖 低层反射与灵巧，合进一个模型（[00:12:08]–[00:13:09]）。 ⚠️ 他明确反对单一策略——"现实是没有单一的取胜策略"（[00:13:09]）。
  • 公开征集数据：Dyna-2 博客末尾留了 data partnerships@dyna.co，欢迎 egocentric、机器人、 视频等数据供应商（[00:13:09]）。他说 100 万小时"只是开始"（[00:14:09]）。
  • ⚠️ 他要的不只是通用数据，还有"特种数据"：类比是"如果我明天去 Rosewood 酒店上班， 我没法按他们要的方式铺床，需要大量训练"；这类特种数据"就像 Mercor 今天为语言模型做的事， 对机器人也会非常非常有价值"（[00:15:09]）。 ⚠️ 字幕作 "Mark C"，本页按语境还原为 Mercor，标为推定。

合成环境：他认为是"下一个 scaling 维度"

  • 判断：egocentric 数据、机器人数据都在 scale，而合成数据会是一个新的 scaling 维度（[00:16:09]）。
  • ⚠️ 他给了一个明确的"今非昔比"对照，而且用自己的论文做基准： 他博士期间主攻仿真训练，"当时仿真还不 ready"；那篇论文叫 Eureka—— 第一篇让大语言模型（当时是 GPT-4）自己生成环境、生成强化学习奖励函数的工作， 最终的 demo 是机器人转笔（[00:16:09]–[00:17:10]）。 当时的限制是模型没有好的视觉能力、没有内生的 3D 理解，基本只能生成代码、靠很有限的文本反馈。 "但今天这些前沿模型的视觉能力疯狂——能做 real-to-sim 的 CAD、3D 重建。 我认为现在到了一个临界点（tipping point），这项技术真能加速机器人。"（[00:17:10]）
  • ⚠️ 第二条路是用自家世界模型生成自己的训练数据——因为模型既出动作也出视频， "这就成了一个自我实现的飞轮"（[00:18:11]）。本页标注这是方向陈述，期内无结果。
  • 他对 GPT-6 最兴奋的点与此一致：构建虚拟环境的能力，"就是转成仿真"（[00:51:30]）。

延迟决定部署形态：端侧推理与蒸馏

  • ⚠️ 他给的约束是硬的：coding agent 可以有延迟，"但机器人的推理延迟必须很短—— 机器人不能举着一把刀三秒不动，那会吓到人"（[00:19:12]）。 更一般的版本是动态任务："物理和重力不会等你。"（[00:20:12]）
  • 所以最终部署的模型必须是能本地服务的合理尺寸——走网络"没有保证"（[00:20:12]）。
  • ⚠️ 但他明确区分了训练与部署：初始训练的模型不必小，走语言模型那条路—— 训最大的模型再蒸馏；"机器人领域正在往那儿走，我认为大家会收敛到这个做法"（[00:20:12]–[00:21:13]）。
  • 自研推理栈：因为延迟太重要，"整个栈都极其重要"，要针对所跑模型优化推理速度（[00:21:13]）。

⚠️ 自研还是外购：他给了一条可操作的判据

  • ✅ 判据：如果一个部件的输入输出非常清晰、且已有极成熟的方案，就没必要自己造 （[00:22:14]）。例子是lidar（自动驾驶上用了几十年的成熟技术）和部分相机。
  • 反过来，凡是他们认为对整个系统最终性能极关键的，愿景是自己拥有（[00:22:14]）。
  • ⚠️ 执行器（actuator）是他们要自研的那一项，理由本页认为很具体： 执行器的质量与设计直接决定你能把机器人建模得多好—— "执行器是驱动机器人的东西。要在仿真里把机器人建模得很好、要做任何建模， 你需要选到足够好、而且容易被建模的执行器"（[00:22:14]–[00:23:14]）。
  • ⚠️ 机器人比例按真人测量，理由是"我们在人类数据上做预训练"，所以要最好的迁移； 他的总结是"终究是硬件承载智能，而智能是极重要的那件事，我们要确保硬件为它服务"（[00:23:14]）。

⚠️ 供应链：一条来自全栈一方的冷水

  • 主持方提到磁体 / 稀土是瓶颈，美国不生产磁体（[00:23:14]）。
  • ✅ 他的回应本页认为值得完整记：关于把制造搬回美国的讨论很多， "但对机器人来说，这其实比看上去难得多。我会说即使现在，美国也没有一家公司是真正在美国 从零造出一切的"——即便说在美国组装、造了某些部件，原材料仍从世界别处采购（[00:24:14]）。
  • ⚠️ 他点出的行业盲区："这些天很多讨论都围绕机器人基础模型、模型、数据。 但硬件、以及造好硬件有多难，被严重低估了。"（[00:25:16]） 他说作为全栈公司才意识到"供应链有多长、整个问题实际上有多难"（[00:24:14]）。
  • 方向：同时探索"既能在美国多造一些、又利用全球供应链"的方案； 全球供应链有地缘与海运延迟问题，美国则是"从 0 到 1 需要时间"（[00:25:16]）。

⚠️ 为什么不做"无平台"（platformless）路线

  • 主持方点出有些公司选择只做模型、声称可部署到任何平台（含 Optimus、现成机器人）（[00:25:16]）。
  • ✅ 他的反驳来自亲身经历："此前我在 DeepMind、在 NVIDIA，主要就是造模型， 我看到了当你不控制硬件、不能优化它时，系统的上界（upper bound）。" 论证是价值创造口径——机器人最终是来交付服务、解决物理任务的，"要解决物理任务， 你得能优化一切"（[00:26:16]）。

形态：为什么是"半人形 + 轮子"

  • 构造：上半身像人形（肩、臂），腰部四个自由度，可以做人类能做的全部上身动作； 下半身是轮子，所以叫 semi-humanoid（[00:27:16]）。
  • ⚠️ 选轮子的理由是三条工程取舍：腿的能耗高得多、更不稳定、 安全极难保证——"现在对腿式机器人而言，根本没有机器人会全程保持直立平衡的保证" （[00:27:16]）。他顺带点了那些跳舞机器人视频"很容易倒"。 ⚠️ 主持方立刻给了限定："你也看到那种一眼就知道不是生产环境的 demo，你可以推它、它很好， 但那个机器人只是擅长平衡"（[00:27:16]）。
  • ⚠️ 腰部自由度的论证本页认为是本期最好的一段设计说理，而且起点是一次拉伤： 拉伤或睡姿不对导致脖子僵硬之后，"你会意识到：我们日常用了这么多肌肉、这么多自由度， 平时却完全当作理所当然"（[00:28:16]–[00:29:17]）。具体到动作—— "哪怕我只想拿这个瓶子，我也不只是在动手臂；如果必须刻意固定上半身，那对我很奇怪"（[00:29:17]）。
  • ✅ 而真正把它和数据接起来的是这一条：人在数据里一直在动躯干。 你想把那些吃进模型去控制机器人，可如果你的形态不允许，迁移就变少， 机器人就变得更不灵巧、更别扭（[00:29:17]–[00:30:18]）。 即形态选择是数据迁移率的函数，不只是机械取舍。

⚠️ 对"直接上人形"的反驳：迭代论

  • 他同意终局——要造尽可能多用途的通用机器人，人形是最好的形态，"因为我们本来就一直是这样的" （[00:44:24]–[00:45:26]）。
  • ⚠️ 但他主张迭代逼近，理由是硬件迭代的成本结构：整个栈太长，很难先验地知道什么决定是对的； 而硬件决定贵得多、慢得多，所以"你其实不想一步走到最终形态，因为你造出来的东西 很可能不够好、撑不住，最后反正要推翻"（[00:45:26]）。
  • ✅ 他举的证据是公开信息：Optimus 已经经过很多很多次迭代、推翻过自己的设计（[00:45:26]）。
  • 他的结论：用半人形迭代 + 真实客户 + 真部署拿到的反馈闭环， "比花五年十年去造一个仓库人形，反而更快接近那个最终机器人"（[00:45:26]–[00:46:26]）。
  • 主持方给了一条观察："对只听不看的人说一句，这大概是我们见过最平滑的机器人， 你见过的每个人形都很顿挫"；他的解释是单一模型可以同时驱动每一个电机（[00:46:26]）。 ⚠️ 他承认这是难问题——动作维度越大越难拟合（[00:46:26]）。

⚠️ 两条"机器人的苦涩教训"

主持方先把框架递过来——"与其做大量工业工程的专用机器人，不如造一个通用平台"， 并问"机器人里更苦涩的教训是什么"（[00:42:23]–[00:43:24]）。他给了两条：

  1. 机器人也会 scale，和机器学习解决过的其他领域一样——所以要尽可能多的数据， 并且保持算法更简单、scale 对的那种数据，泛化与更好的行为就会涌现。 ⚠️ 推论是他明确反对的那类研究：加很具体的先验（比如"让机器人把物体看成物体、画框， 以得到更好的感知"）（[00:43:24]–[00:44:24]）。
  2. ⚠️ ✅ 第二条才是他认为真正苦的："归根到底 scaling 会奏效，但在机器人里， 要 scale、以及怎么 scale，都难得多——因为没有互联网。你得先搞出你的硬件、搞出传感器、 把这些全弄对，然后才能 scale。"（[00:44:24]） 并且"什么才是对的数据"在机器人里比别的领域难判断得多——语言是文本、电子游戏是游戏数据， 而机器人选什么传感器决定了你有什么数据（[00:43:24]）。

⚠️ Agentic harness：把自主性的单位从"任务"换成"工作流"

  • 做法：在 world action model 外面套一个层级式系统 / agentic harness， 让模型能组合不同能力与技能去解长时程任务（[00:48:29]–[00:49:29]）。
  • 论证：真实的长任务有大量高层决策——"我们做决策时想的是菜谱的步骤、 想'这个做完了该做那个'、'在等这部分完成时我该去别处做别的事'"（[00:48:29]）。 洗衣的具体版本：得推理出洗衣机在转，所以先去干别的；洗完了要立刻把毛巾转进烘干机， 否则那就成了整个工作流的瓶颈（[00:49:29]）。
  • ⚠️ 他承认理论上可以让低层动作模型学会这些，"但会极其低效"（[00:49:29]）。
  • ✅ 他给的语言模型类比与由此得出的判断，本页认为是本期最该被引用的一条： 两三年前模型只擅长自动补全，人要一路 tap tap tap；今天 agentic 系统端到端承载任务。 "我认为今天机器人领域的人还在任务层面想自主性——一个一分钟、三十秒的任务。 但真正的价值在于能无人监督地持续数小时的工作流。"（[00:49:29]–[00:50:30]）
  • ⚠️ 由此他把问题重新定性："所以我思考机器人问题时不把它当成一个建模问题， 而是当成一个系统问题——你需要好的 agent、好的 harness 工程、好的模型、好的硬件，样样都要。" （[00:50:30]）
  • SDK：终究会有自己的 SDK，但现在的想法是为机器人基础模型做一个通用的 harness 层， 今天那个模型是他们自己的（[00:48:29]）。

部署：客户、规模，以及他坚持的那条区分

  • ✅ 他主动划的区分（本页认为这是全期最可核验的一条口径）： "今天很多机器人公司在谈部署、谈 pilot。但真正难的不是把机器人放进一个站点、或者做个 pilot。 真正难的是客户相信或验证了你的机器人创造了足够价值，以至于他们想把你的机器人铺到自己很多个站点。" 他说这件事在鼎泰丰身上发生了，而"据我所知，做类似通用机器人的其他公司还没真的发生过" （[00:00:00]、[00:39:20]）。⚠️ 后半句是自述的行业比较，本库未核实。
  • 鼎泰丰（最大规模客户）：机器人每天折数千张餐巾，覆盖美国很多个门店（[00:00:00]、[00:39:20]）。 ⚠️ 质量标准极细：餐巾第二道折缝与那个"能插筷子的口袋"之间只差几厘米—— "实际上非常细粒度、高精度"（[00:39:20]）。他说现在已达人类水平（human parity）， 而且机器人不会累（[00:41:22]）。
  • Best Western（酒店）：折大量毛巾——"每家酒店都需要，每家健身房、每家健身中心都需要"（[00:38:20]）。
  • 合同扩张：鼎泰丰规模化后签了大得多的合同，现在不只要折餐巾，还想要切食材 （期内演示的切菜就是为此）（[00:41:22]）。主持方追问"包饺子呢"，被双方称为"最终 boss"（[00:41:22]）。
  • 数量：已部署数十台机器人，明年目标是数百台（[00:53:33]）。 6–12 个月的目标是"把机器人和模型 scale 上去、真正部署出去"， ⚠️ 他明确说没有某个必须攻克的特定任务——每个任务都被当作平台的验证与楔子（[00:53:33]）。

⚠️ 为什么通用模型反而赢过专用机器人：可变形物体

  • 主持方的质疑很直接：折餐巾这种事，按直觉应该用一台专用机器人做到毫米级（[00:40:21]）。
  • ✅ 他的反驳是本页认为这一节的核心：可变形物体（餐巾、毛巾）有无穷多种可能构型， 这对专用机器人非常难；而做通用模型 + 通用机器人再适配到这些用例， "反而能更快到生产质量"（[00:40:21]）。
  • ⚠️ 第二条理由是跨站点一致性，机制是权重：鼎泰丰洛杉矶、纽约、西雅图门店 折法各不相同，而他们想要一致；"模型就是一组权重，你可以把权重放进不同机器人， 也可以 OTA 一次全部更新"（[00:42:23]）。
  • 主持方补的那半句是：人在小细节上不是最一致的，而机器人可以近乎完美地重复（[00:40:21]）。
  • 速度理由：要做一台按精确折数定制的餐巾折叠机"你得先把那台机器造出来，没法在 Amazon 上买"（[00:41:22]）。

⚠️⚠️ "如果你错了，第二名是谁"——他给的自我证伪条件

主持方先承认被说服，然后直接问：如果你错了，最可能对的是谁？（[00:57:38]） ✅ 本页认为这一问一答是本期最有价值的部分，也是本库少见的嘉宾主动给出可证伪条件。

  • 他先把自己的第一性原理讲完：机器人（任何物理系统）本质是"基于当下与此前的信息， 下一步该做什么"，所以根本是预测下一步。而机器人只是世界的一部分—— 机器人影响世界，世界也影响机器人该如何行动。所以"最第一性原理的做法就是 尽可能多地预测世界"（[00:56:38]）。
  • ⚠️ 他据此反对预测抽象表示：VLA 只预测机器人动作或某种更抽象的世界表示， 而"你一旦预测抽象表示，就把你自己关于什么重要的偏见编码进去了；而苦涩教训告诉你 去掉人的偏见——就取最原始的表示，相机输入，然后把那些全预测出来"（[00:57:38]）。
  • ✅ 他承认的 caveat：他说"你要尽可能多地预测世界"，但这没有说你的传感器就包含了 你需要预测的关于世界的一切（[00:58:39]）。
  • ⚠️⚠️ 具体的失败情形：纯视频训出的世界模型会很强，但可能"不够丰富"， 因为缺了声音、触觉这些关键面。"也许明天有人拿出一个视觉 + 触觉的世界模型， 数据效率高 100 倍——因为视觉是信息高度冗余的输入，隔一个像素变化都不大， 视觉不完美你也能理解世界；而触觉之类的模态信息密度可能高得多。" 那就能用少得多的视觉、少得多的算力和数据达到同样性能（[00:58:39]–[00:59:41]）。
  • ✅ 但他接着给了一条"即便如此也仍是我们赢"的论证，本页认为这是真正的对位所在： 如果最终解决机器人的是"视觉+触觉"或"视觉+触觉+音频"的世界模型， 那么机器人公司会比"试图转向机器人的视频生成公司"做得更好——因为理解传感本身非常复杂， "我们从公司成立起就在做，所以我们知道瓶颈在哪、知道怎么融合它们"； 而只是把视频模型适配到机器人动作的一方，"你并不真的有让触觉工作起来的 know-how，而我们有" （[00:59:41]）。 ⚠️ 本页标注：这是立场陈述，不是证据；他没有给任何触觉方面的结果。
  • 主持方的一条小追问与他的回答：红外是否只是"另一种颜色"——"可以是另一种颜色、另一种输入"， 并说他知道有公司用红外判断食物熟没熟，因为 RGB 相机很难看出来（[01:00:41]）。
  • 主持方最后的"幼稚反驳"是：也许不需要懂硬件，让编码 agent 直接 vibe code 出来； 他的回答是"那不在分布里"（[01:00:41]）。

他对赛道格局的描述（本库不裁决）

  • ⚠️ world action model 不是行业标准做法：有公司在做世界模型（他点了 Runway， 说他们也在把视频世界模型适配过来），也有公司在做 VLA（把视觉语言模型适配到机器人） （[00:55:35]）。
  • 其他路线分歧：他们认为硬件必须自研、要掌握整条链、scale 人类数据极其重要； 而有的公司押注只 scale 机器人数据，有的押注某种中间态的数据采集设备—— "都在场上，我们就看会怎样"，"现在还有点早，说不清"（[00:54:34]）。
  • ⚠️ ✅ 他对"只做一部分"的批评用了一个词：那是"fog of war"—— "你看不到全貌，可能造出技术上极酷、但最终不是人们需要或想要的东西"； 他补了一句"机器人公司有一整片墓地，而它们都有非常亮、非常酷的机器人"（[00:55:35]）。
  • ⚠️ 他给自己的定性与此配套："我们不是来只造一个模型的，我们是来真正把机器人部署出去的"， 所以尽可能多部署、做难问题、更早发现问题（[00:54:34]）。

评测与瓶颈

  • 评测流程：采一小批数据 → 训模型 → 直接在真实世界、在采数据的同一套装置上跑， 看表现（[00:31:18]–[00:33:19]）。模型有时开箱就很好； "但当模型大概到了 70%、80%，你就看它怎么失败、找出它不擅长什么，再多采一点数据、迭代"（[00:33:19]）。
  • ✅ 他把这套叫"机器人版的 RLHF"：机器人 rollout，你打分好 / 坏 / 一般， 这些机器人自己的经验数据再拿去训模型（[00:33:19]）。 目标是"这台机器人会成为我们的平台，任何人都该能在上面训任务"（[00:33:19]）。
  • ⚠️ 最长任务的现状：洗衣演示跑完整个循环约 1 小时—— "所以机器人能做完一份完整工作的最长时长已经在小时量级"（[00:35:20]）。
  • ⚠️⚠️ 三条瓶颈，本页认为第二条最该被记：
  • 末端执行器：有些任务（比如布置场地）需要比平行夹爪更灵巧的东西、需要像人手的手； 但今天最好的灵巧手仍不够耐用、很快过热——"你真的得放个冰袋"（[00:35:20]）。
  • ✅ 硬件受限会拖慢一切，机制是评测必须在硬件上做： "要知道你在任何任务上有进展，你最终都得在硬件上 eval。 而 eval 不够随时、不够快，也就限制了你的研究进展。"（[00:36:20]） ⚠️ 本页标注这是一条硬件 → 研究速度的因果链，而不是通常的"硬件不够好所以 demo 不行"。
  • ⚠️ 缺失的传感模态：今天的数据多是视觉 + 某种手部运动编码， 但人还会听、会摸、会闻，而且是下意识地用这些； "如果你完全没在采集那些，那么即便 scale 到数百万小时，你也可能漏掉任务的关键维度， 于是永远解不了那个任务"（[00:36:20]–[00:37:20]）。
  • ✅ 但他给了一条对称的限定：对于今天就能高保真采到数据的任务与工作流， 他不认为存在根本瓶颈——洗衣就是例子，那个任务并不需要平行夹爪以外的东西、 也不需要今天拿不到的传感模态（[00:37:20]）。 他的总结：更通用的那个东西，最大瓶颈仍是硬件与数据。

公司与个人

  • 团队构成：硬件约占 30%–40%（"硬件需要多得多的人"）；模型方向约 10 人； 另有软件工程、机器人工程和商务（[01:08:49]）。 ⚠️ 他说"最近长得太快，没有精确数字"。
  • 文化定位：把自己看成研究 + 产品公司，"有点像 OpenAI——做前沿研究，但最终都要进到 Codex、ChatGPT 里去"。不做开放式的随兴研究，始终是产品驱动： 要把机器人部署给新客户 → 倒推必须解决的技术问题（泛化、全身控制、快速适配、 跟随语言、灵巧）→ 自上而下定问题 + 自下而上大量项目去执行（[01:06:47]–[01:07:48]）。 例子是"拿饮料"任务就是用来测语言跟随的（[01:07:48]）。
  • ⚠️ 一条关于团队来源的观察：有些采数据的同事此前完全没有机器人经验（做零售或别的工作）， 来了之后"也变得很受训练"（[01:09:50]）。
  • 个人路径：在日本和中国生活过，从小下围棋；AlphaGo 出来时他是高三， "我震惊了，因为我玩了这个游戏很多年"——此前人们认为围棋是 AI 永远解不了的游戏之一 （搜索空间大于世界上原子总数），而 RL"就这么破了它"。 他说这就是他入 AI 的起点——对能自我改进的模型/系统/agent 感兴趣（[01:01:41]）。
  • 学术与工业：宾大 PhD（GRASP Lab，双导师，做 RL for robotics；研究如何把 RL 与人类数据相连、 以及严格的 RL 理论）→ NVIDIA（GPT-4 刚出，与 Jim Fan 一起做灵巧转笔）→ Google DeepMind（做 Gemini for robotics）（[01:01:41]–[01:04:44]）。
  • ✅ Eureka 的由来，以及他给它的定性：想从人类视频学转笔，但"今天根本没有能转笔的灵巧手， 那我怎么评估算法"，于是先进仿真；一搭仿真环境就看到问题—— 让他手写转笔的 RL 奖励函数是不可能的，"我列不出需要的那些项"。 于是"要是一个能写代码的模型能做这件事呢"，这就成了 Eureka （[01:03:44]–[01:04:44]）。⚠️ 他对它的定性是： "在我看来，我们做出了仿真中第一个递归自我改进的机器人 agent， 因为我们真的用它解了一个此前没人演示过的新任务。" ⚠️ 本库标注这是他本人的定性，不作为独立判断；相关争论见 AI 做 AI 与自动化研究。
  • ⚠️ ✅ 他离开实验室的理由本页认为值得单记： "做学术研究我很开心，但心里总有一个问题——这些到底有没有意义？ 在实验室做这种事……你问我们怎么想出那么多有趣好玩的任务——你基本是在做自己的 eval、 给自己的作业打分。我想要更真实的东西。"他认为 2024 年底是能把这些技术推到现实世界的时点， 于是创立 Dyna（[01:04:44]–[01:05:47]）。
  • ⚠️ 他说他当年搁置的想法现在可能回来了：创业要务实，"2024 年仿真还不 ready， 但现在有了新的前沿模型、加上我们内部看到的，这可能要变了"（[01:05:47]）。
  • 公司名的两个来源（他自己起的）：① Richard Sutton 很多年前的 Dyna 论文—— 关于在世界模型中自我改进的 agent；"我们创业时还没做世界模型，但我觉得机器人会这么被解决， 而现在我们的技术方向正在收敛到那儿"；② 更私人的一条：他在日本长大， 他出生那年的奥特曼叫 Dyna（[01:10:51]–[01:11:52]）。
  • ⚠️ 他的 call to action 本身是一条行业判断： "作为一个行业，机器人仍然非常 demo 导向。" 他说自己过去在实验室做过很多 demo， "连这次我们也得演示一些"；他想看到更多人"真正以把机器人部署出去为使命， 不惜一切让机器人基础模型与硬件真正集成、出现在真实客户现场"（[01:11:52]–[01:12:54]）。 ⚠️ 他同时自称"我们在这方面是先行者"——自述。
  • 愿景：部署到"数千客户、甚至数百万台机器人"（[01:09:50]）；目前只在湾区招人（[01:12:54]）。

片尾演示段（[01:13:56] 之后）

归属说明：这一段是现场 B-roll 解说，除 Jason Ma 外另有两位 Dyna 研究员出镜 （自动字幕作 George、Chad）。下列技术细节按内容记为"Dyna 研究团队一方"，不逐句归人。

  • Dyna 2.1 = 全新硬件 + 套在 world action model Dyna-2 外面的 physical agentic harness， 能力是"在真实物理行业里自动化一整条端到端工作流"；演示是真实酒店洗衣房里的端到端洗衣 （[01:13:56]）。
  • 第一段演示：把毛巾从洗衣机转进烘干机。 他们称之为极难的任务—— 机器人得大幅调度身体、把手臂伸进去抓全部毛巾而不撞到门； 运动平滑的机制是"单一模型在控制身体里每一个关节，所以没有经典的规划 / 执行分离"（[01:14:58]）。
  • 掉毛巾的处置：现场故意丢一条毛巾，机器人发现掉落 → 捡起 → 判断这条已脏 → 放进脏衣篮 （[01:14:58]）。
  • 操作机器：关烘干机门、开机，根据触觉推理该用哪种干燥模式； Jason 说最让他印象深的是旋钮——"真的像人一样去操作一台机器"（[01:15:58]）。 ⚠️ 还有一条细节：面板是数字屏且 LED 会闪，所以需要更多 context 才能确认烘干机真的启动了（[01:15:58]）。
  • ⚠️ 他们自己给的定性：完整工作流（折、叠、转篮）将于"周二"全部放出； "Dyna 2.1 是机器人第一次成为职场上的一个完整员工，什么都做。 不需要人或别的机器喂它东西、也不需要帮它完成任务的某个步骤。" 他称之为一个大突破——历史上我们把机器人当机器，"而这是第一次真的能看到它与人并肩工作" （[01:16:59]）。另一位研究员称这将是"最长的本地灵巧操作演示"（[01:16:59]）。 ⚠️ 全为当事方自述，本库未核实。
  • 第二段演示：按屏幕上选的饮料去冰箱取饮料并送回。 用来展示 agent 能力—— 不只做动作，还很忠实地跟随语言指令，并能导航回来交付（[01:19:01]）。
  • ✅ 这段把架构讲得最清楚：两模型架构 = 推理层 + 动作层。 给推理模型发几句话的语言 prompt，它逐步规划（先去冰箱拿 → 再回来 → 交给人） 并监督整个执行；底层动作模型负责操作与灵巧任务（[01:19:01]）。 导航部分是"另一个高层推理模型"在做（[01:19:01]）。
  • ⚠️ 动作模型的可控性与"想象"机制：动作模型需要可被引导（steerable）—— 告诉它六种饮料里要哪一个；而"video action model 某种程度上帮助它想象 '这个机器人抓到饮料时会是什么样'，这又帮它真的照你说的做"（[01:19:01]）。 还有时序要求：要认出你已经接过饮料、恰好在那一刻松手，而且不能有误判 （不能把饮料掉地上）（[01:19:01]）。

⚠️ 本页的四条克制标注

  1. 全期无第三方基准、无数字对照。 "第一个在 100 万小时以上训练的 world action model"、 "更灵巧、更鲁棒、更能泛化"、"人类水平的折叠"、"最长的本地灵巧操作演示"全为当事方自述。 本页不采用任何能力排序。
  2. 这是公司现场录制、且与发布同周（他提到"周二"要放完整工作流），属于发布期口径。 主持方虽然做了几次有效追问（专用机器人质疑、"如果你错了"、platformless）， 但没有任何外部声音校正。
  3. "递归自我改进"这个词由他本人用于 Eureka（[01:03:44]），指的是仿真中自生成环境与奖励函数， 不是本库在 AI 做 AI 里追踪的那种 RSI 判据意义上的起飞。 ⚠️ 本页据此不把这条接到 RSI 线上，只记为术语用法的差异。
  4. 自动字幕损坏：专名还原见页首声明；两处判为不可还原因此不记（联创姓名、一处模型名）。 ⚠️ Mercor（字幕作 "Mark C"）为本页按语境推定。

交叉链接