跳转至

沈宇军（蚂蚁灵波科技首席科学家）

  • 背景: 清华本科期间在商汤实习（2014 年底商汤刚成立，办公室在清华东门），后到港中文在汤晓鸥门下读博；毕业后先去字节跳动（做抖音特效，如性别转换、变老/变年轻、人脸连贯转换），约一年后于 2022 年加入蚂蚁技术研究院；2024 年底蚂蚁成立具身智能子公司蚂蚁灵波科技时调入，任首席科学家。
  • 研究路径: 一路往上游走——不喜欢刷榜（"最后就看一个 number，我坦白讲自己不是非常感兴趣"）→ 2017 年起做 GAN / 图像编辑 → 觉得"做得太下游了" → 生成模型预训练 → 表征学习 → 2024 年转向机器人。
  • 定位: 本库中方具身智能的大脑侧主来源，与 柯丽一鸣（Physical Intelligence） 的美方视角、何小鹏 的整机厂视角构成三角。

核心主张一词概括：具身原生（embodied-native）——不在数字世界模型的延长线上魔改，而是把视觉相关的一切从随机初始化开始重训一遍。三句口号：看得更清楚 / 想得更明白 / 干得更利索，对应三个连续台阶：视觉原生 → 架构原生 → 数据原生。

核心观点

为什么离开计算机视觉

  • 对 CV 产业价值的冷评价：过去十几年第一波是人脸识别，第二波是特斯拉带火的纯视觉自动驾驶，"除此之外好像还没有看到哪一个视觉应用被大规模用起来、有比较强的产业价值"。结论是 "视觉在数字世界用武之地不够；但在物理世界，离开视觉机器人肯定没办法工作"（视频页 00:08:17–00:09:19）。
  • GAN 的句号：团队直到 2026 年初还做了最后一次 GAN scale up 并 release 了模型。判定 GAN 的致命问题是计算量利用效率太低（diffusion 可以迭代很多次），尤其在视频上。但对抗训练本身（两个模型互相博弈迭代）"抛开 GAN 不谈，之后应该还是会有用途"（00:05:11–00:06:13）。

具身原生：三个技术判断

  • 数字世界模型的开发初衷与物理世界需求不匹配，而你没办法 push 他们改——"因为数字世界有自己的一套逻辑、有自己的迭代节奏"。例：视频生成希望画质特别高，"但物理世界落实到机器人动作，这个东西没那么重要"。所以"既然不能 push 他们去改，我们就全部基于物理世界的需求重做一遍"（00:20:33–00:21:35）。
  • 重要边界：LLM 仍然沿用（训练成本太高，且语言层面数字/物理世界区别不大）；从头重做的只是视觉相关的一切。
  • 语义理解 ≠ 空间感知（他最爱的例子）：阳台玻璃门外有一只猫，新 Depth 模型完全看不到那只猫——因为人往前走会先撞到玻璃；把门拉开，猫才在深度图里浮现。而从语义看那只猫一直都在。

    "你能看到但你摸不到——能看到是语意理解，摸不到是空间感知。"（00:44:00–00:45:00）

  • 推论："看得更清楚这件事本身是不需要语言的，是纯视觉原生的预训练。"
  • 单向 attention 不能靠改造，只能从头训：物理世界要求实时 → 必须 causal 建模。他们试过"先训双向再改单向"，判定此路不通——"预训练里的知识隐含在双向 attention 中，改完就遗忘了，相当于预训练作废"，直观表现是能转成好视频的句子比例从 100% 掉到 20–30%（00:57:16–00:58:17）。
  • 可以舍弃的是画质："物理世界你生成的东西有点马赛克没关系——因为我们还有摄像头。"类比：不同生物能看到的清晰度不一样，但都能在地球上生活。
  • MoE 是能力问题：现有视频生成模型（点名万相）是 dense 的，"14B 模型推理时激活就是 14B，你后面加速做得再好，能加速的比例是固定的"。训 MoE 的核心是让专家等概率激活——"光训 MoE 想训明白就花了两个月，失败了几十次"。

    "把 MoE 训好是一个能力问题，它不是一个态度问题。"（00:55:16）

战略：只做大脑，"通用"要多加一层

  • 不做本体："你很难说有一款机器人真的适合所有任务"——哪怕进家庭，每个家的需求也不同（类比手机没有固定品牌）。
  • 但他对"通用"的定义比行业更严：大家讲的通用停在跨任务、跨场景，灵波把硬件也算进去——"通用应该就是多一层，你本体上也要通用"，所以预训练时就混入不同本体的数据（00:26:44–00:27:44）。
  • 同时保留限定："本体跟场景是没办法完全解耦的——什么样的本体适合什么样的场景，从产品定义最开始就已经决定了。"
  • 大脑 vs 小脑的边界：灵波解决意图的实现，不是意图的来源——"他不会产生自己的想法，不会主动帮你去想你要做什么"。更高一层（起床拉窗帘、看到下雨拿伞）"跟数字世界更相关"（01:00:18–01:01:21）。
  • 具身是不是 LLM 的支线？ 硬要选的话选独立："语言模型让具身听懂指令；但具身要解决的是怎么把一件事做好，做好本身是不需要再理解语言的。"反事实很锋利："如果不是语言，把一万个任务编成固定编码给它可能也行——只是没办法在任务维度泛化，语言模型解决的是需求泛化的问题。"结论："具身会继续拿大语言模型当一个入口，然后它会成长出自己的模型。"（01:16:34–01:17:38）

数据

  • 仿真数据只用于评测，不用于训练。理由不是数量而是分布同质化；柔性仿真（撕塑料袋）"物理引擎还需要点时间迭代"（00:34:47–00:35:49）。
  • 真机数据采集成本过去两年至少降了 3 倍不止（人员与机器成熟、需求变多 → 数据量产必然降本）。
  • 两个 know-how：① 下发什么任务——必须均衡覆盖各自由度，"如果头部出现的比例跟腰部差距特别多，模型就更倾向于学头、不太会动腰"；② 清洗难在跨本体（相机位置、关节配置各不同），"不是一种数据链路就能处理掉"。
  • 反直觉：操作越简单的任务通用性越好——复杂任务依赖操作员，而一条不丝滑的数据是没法修的，"模型会以为这是正确的操作方式，最后控机器人的时候机器人也非常卡"（00:38:55）。
  • 真机强化已在落地环节内部使用（人在旁边看着，犯错时打断并给正确示范），但未写进开源技术报告（00:39:55–00:40:55）。

具身还没到 GPT-1 时刻

  • 卡点是数据——"还没有看到一个比较好的能做数据 scale up 的方式"。
  • 量化判据：目前具身真机数据与互联网数据相差约两个数量级；理想是百万小时起步，中途会先有十万小时规模的具身原生预训练数据（01:08:30、01:21:44–01:22:46）。
  • 但追赶会更快："当年有个万卡集群就觉得很了不起了，现在美国很多公司做语言模型基本都是十万卡……从机器人的 GPT-1 到机器人的 ChatGPT，不一定需要当年那么长时间。"
  • 最终矛盾是一对平衡："可被模型使用"和"可规模化"本身就是矛盾——"模型希望质量越高越好、模态越多越好；但需求越高就越不能规模化。这件事一旦定义清楚，后面的事情就会加速"（01:30:54–01:31:55）。

中美对照

  • 对 Generalist：数据量比灵波大得多（公开约几十万小时，"可能已经有百万了"），数据管线更成熟，更早动到 pretrain。
  • Generalist vs Physical Intelligence：Generalist 接受并强调高效后训练；π 强调 zero-shot、希望不要后训练。他判定殊途同归——机器人进家庭既要 80–90% 的活自己就能干，也要剩下 10–20% 教一下就会（in-context learning），"这两个能力都必须具备"。数据路线上 Generalist 对 UMI 理解更深，PI 在真机遥操上更扎实；随 ego-centric 数据兴起与灵巧手提上日程，"合久必分分久必合"（01:13:32–01:15:34）。
  • 但技术本身没有可借鉴的——因为"能够把视频生成做到原生的，目前还没有看到"。
  • 中国的结构性优势（他最重的一条判断）：

    "互联网数据是互联网红利的变现，是上个时代积累下来的。但具身的数据是一个空窗期——现在大家都是一样的。所以在收数据上中国有优势，我觉得这是一个非常非常大的优势……至少在数据这方面，中国一定是比美国跑得快。"（01:19:43–01:20:44）

  • 行动上建了"数据联盟"，与数据厂/本体厂一起定标准——"数据所有的规模化东西一定要有标准"。

产业格局

  • 最终格局跟大模型差不多：大厂一两家 + 创业公司两三家，各自跑出数据/本体/场景生态，模型会分化得更适合自己的生态。灵波定位是"背靠大厂的创业公司"（01:10:31–01:11:32）。
  • 为什么 2026 年大家纷纷只做大脑：① 本体很难通用，不通用就得选准场景，而"现在没人敢说哪个场景一定跑得最好"，"不可能拿一个六边形战士去做具体任务，成本一定上升"；② 本体有量产门槛；③ "从现在行业来看，大脑可能目前是落后于本体的。"（01:23:47–01:25:47）
  • 大脑与本体交替上升：某天智能层超过本体，"那个时候会有一批新的、由智能重新定义的本体公司"——"可能不再从大家之前理解的参数去看本体，很多东西是为了更好方便模型控制去设计的"（01:25:47–01:26:48）。
  • 传感器指标应由模型定义：传统取舍靠直觉（"触觉传感器当然精度要准"），"但 AI 时代模型最需要的不一定是精度准，有可能是反应够快"。他承认"还没有到说模型可以定义它的时候"（01:26:48–01:28:48）。
  • 对人形构型没有执念："核心卡点是智能不够，智能不够的核心卡点是数据不够。"足式还是轮式不该现在争——"它不管是足式还是轮式，进家庭我都不会让它进家庭的，那你都没办法做 user study。"（01:41:07–01:42:07）

组织与创业

  • 为什么是子公司而不是研究院："如果还是把它当做研究机构去做，很有可能做一做就脱离了这个行业；或者说，研究员认为的先进技术跟行业需要的先进技术是会有 gap 的。"（00:11:22–00:12:23）
  • "创业一定是赌出来的"：

    "没有人知道哪一条路一定成功，资源又一定有限……如果大家都知道哪条路是成功的，那为什么是你成功？那大厂一定成功——有资源、更有人的地方一定会成功。但在路径未知的时候，如果犹豫不决，很有可能最后什么都做不出来。"（01:32:57–01:33:58）

  • 三个大赌：传感器路线、不做本体、具身原生。具身原生的失败可能包括：思路错、技术还不成熟（"你太早地进入也不行"）、资源不够（"本来只能做 100 块钱的事，非要做 200 块钱的事"）。
  • 他力排众议坚持的是具身原生："沿着数字世界那条路往后走就是行不通，我不想在他们的延长线上。" 结论保持克制："我不敢说它一定被百分之百验证，但至少我们迈出了一步。"
  • 落地带来的认知转变：以前关注技术的领先性，现在关注"是不是有价值的领先"（01:31:55–01:32:57）。

两处小注

  • 对导师汤晓鸥的印象：幽默、同为东北人；"比较能快速地从一个乱序的混沌当中抓到一个主要矛盾"。毕业答辩上别人问"你怎么做的"，汤问的是"这个东西到底应该怎么用"——"上一代 AI 最大的痛点就是不好落地"（01:43:17–01:44:17）。
  • 希望机器人是什么性格："我希望他是个 J 人……如果在提供情绪价值和干活之间，我会果断地选择干活。" 为什么不是情绪价值？"我觉得情绪价值应该由人来提供。"（01:48:19）

视频

相关：一条结构性绕开"数据空窗期"的路线（2026-07-29）

1X 的 Bernt Børnich 与本页做出了同一个数量级诊断、相反的应对： - 沈宇军：具身真机数据与互联网数据相差约两个数量级 → 去采真机数据，并主张"具身数据是空窗期、现在大家都一样"是中国的优势。 - Børnich：所需数据比任何真机/第一人称采集路线未来几年能拿到的"多好几个数量级" → 别采了，把互联网视频用起来，为此让机器人在每个细节上接近人（"我们的跨本体是人"）。

⚠️ 如果 1X 这条路成立，"谁能采到更多真机数据"这个中方优势的权重就下降；同集 Jonathan Hurst 则明确反对（"互联网数据对机器人控制并不存在"）。见 中美 AI 生态对照 与 物理 AI 与机器人。