跳转至

Anima Anandkumar & Benedikt Jenik：一万亿 token 上下文，以及物理世界的"一个模型"（Latent Space，2026-09-04）

说话人认定依据：自动字幕只有 >> 换行符、无姓名标签。四人，但分工有机械依据： - 主持：[00:00:01] 的开场自述（"我是 RJ，和我的联合主持 Brandon"）、"欢迎 Benedict，欢迎回来 Anima"、"我们上一期聊了很多 neural operator"（[00:08:03]）。 - Anima：[00:09:03] 说 "Benedict 刚讲的五万亿上下文"——这是本页区分两位嘉宾的关键锚点；以及"如果你看我们大量已发表的 neural operator 工作"（[00:18:12]）、被问 TIME100 时的第一人称回答（[00:25:15]）。 - Benedikt Jenik：讲训练与 sharding 基础设施、"我们训到了万亿参数模型"、22 TB 那组数字（[00:04:02]–[00:07:03]、[00:12:06]–[00:14:08]）。

⚠️ 中段有几处两人接力补充、无法逐句切分的，本页写"两位创始人"。字幕把 Benedikt 拼成 "Benedict Yanik"、把 PDE 反复拼成 "PTE"、TSMC 拼成 "TSNC"，对照见页末。

这是本库第一份"把 scaling 假设整体搬到物理仿真上"的一手材料。 此前物理 AI 的材料集中在机器人（Bernt Bornich、Jonathan Hurst）与视频世界模型（Anastasis Germanidis、Ming-Yu Liu）两侧；本期这条路线明确把自己和"视频式世界模型"划开（见第 5 条）。

概要

他们的押注可以用一句话说完（[00:01:02]）：语言领域曾经是拼写检查一个模型、翻译一个模型、自动补全一个模型，OpenAI 来了说"都塞进一个模型里"，结果远胜那些专用模型——那么物理仿真与物理理解的对应物是什么？

而本期真正的信息量在于他们已经把这件事推到了什么工程位置：⚠️ 训练阶段做到 1 万亿上下文（输入与输出各达万亿），推理阶段做到 5 万亿上下文，训到万亿参数模型，做过数百次训练。

本期最该被单独引用的九条

  1. ⚠️ 他们不肯做的那几个近似，正是这些天文数字的来源（[00:05:03]–[00:06:03]）：语言的 token 只在一个维度上增长（前沿模型能塞一百万个）；他们的数据在四个维度上各自独立增长——
  2. 空间三维保持三维，不像视频模型那样压缩；
  3. ⚠️ 时间维上不做自回归，而是整条 rollout 一起建模。他们给的理由有两条：自回归一步步预测会累积误差；而且你会失去"输入里究竟是什么导致了这个输出"的连续性与归因，而这对做设计极其重要。
  4. 四维乘开，很快就进到十亿乃至万亿量级的上下文。 ⚠️ "而我们甚至没有用视频模型那些提效手段——他们会对像素做平均、做 patch，我们不做这些，却仍然能撑住这种荒唐的上下文。"
  5. ⚠️ 这些数字怎么来的，他们给了最朴素的算术（[00:12:06]）：每个空间维度 1000 的分辨率，再要精确解算 1000 个时间步，就是一万亿。 而对应的数据体量是：⚠️ "我们那次 5 万亿的运行，输出是 22 TB，而你希望这类东西待在加速器内存里——否则就会慢。"
  6. ⚠️ 标准分布式训练方案在这里直接失效（[00:07:03]、[00:14:08]）：FSDP 那类做法是先切分、再在单个 GPU 里把一层重新拼起来做训练——⚠️ "但我们的层太大，没法在一个 GPU 里重组；我们的数据样本太大，放不进一个加速器，甚至放不进一整个节点。" 所以整套 sharding 的基础设施与策略都得重新发明。他给的历史定位很有意思：⚠️ "LLM 正在越来越多地走进的那些难题——既需要现代技巧，也需要老派的 HPC 方法——我们从一开始就在里面。"
  7. ⚠️ 本期最该被引用的一条实验结果："多物理"真的有迁移收益（[00:08:03]）：Anima 的表述是——同样大小的模型、装进多个物理领域，比把那些参数全给单一物理领域的效果更好；⚠️ "哪怕你为每个物理做独立模型、并且把它们做到和原来那个一样大，仍然更差。" 结论：这说明收益来自共享学习，不只是"模型变大就变好"——"加入更多物理领域，会帮助它在所有领域里都学得更好。这和语言里我们看到的那种涌现式学习是同一类。"
  8. 他们还交代了实验设计（[00:07:03]）：是刻意挑了若干在特征与挑战上差异很大的物理领域放进同一个模型，并且为它们做完整的 4D rollout。
  9. ⚠️ 落地侧也确认了同一件事（[00:24:15]）：他们的常规流程是先训一个窄模型来验证"模拟器配置是否正确、能否训起来"，再把它加进那个通用模型——"而我们观察到的是：窄的那个的性能表现，对比突然在宽的那个上看到的，宽的一路领先（broad all the way）。"
  10. ⚠️ 他们与"视频式世界模型"的分界线，说得比本库任何一份材料都清楚（[00:09:03]–[00:11:05]）：neural operator 是基础，因为它带来分辨率不变性——而上下文长度在这里就等价于分辨率。所以不是每次运行都要用万亿上下文："最难的、真的需要全部细节的物理才给大上下文；做设计探索时，早期阶段根本不需要每个细节，也不该烧那么多算力"。⚠️ "这一点立刻把我们和那些所谓的世界模型区分开：视频模型、视觉模型都假设训练和推理是固定分辨率。" 他们承认那对游戏和娱乐是可以的（视觉特征不一定需要再放大，"物理可以稍微含糊一点"），⚠️ "但工程设计和科学发现里，我们没法用那些取巧办法。"
  11. ⚠️ 他们为什么不能用 transformer（[00:11:05]）："5 万亿上下文，无论把世界上多少算力砸进去，transformer 都撑不住"——二次复杂度不可行；⚠️ 而且是不必要的，"因为物理世界比完全任意的全对全相关有更多结构"。 他们说自己在有系统地重走前沿语言实验室走过的那条架构演化路（从早期模型到 MoE 等等），并强调与硬件的协同设计（通信、带宽）是关键。
  12. ⚠️ "科学发现按定义就不在训练数据里。"（[00:02:02]–[00:03:02]）这是他们整条技术路线的第一性前提：物理世界没有一个现成的"全互联网"可下载，真实数据就是不存在；而科学发现就是做新东西，所以它不可能在训练数据里。⚠️ "因此纯粹依赖数据驱动的 AI 是不够的——这正是加入物理定律极其关键的地方。" 他们的分工是：先用现有模拟器等等把模型训起来，而"锦上添花"的那一层是用物理定律本身做自我改进。
  13. ⚠️ 物理给的反馈是稠密的——这是他们相对语言自我改进的结构性优势（[00:16:11]–[00:18:12]）：
  14. 数据侧：PDE 的数学是已知的，"解对了 PDE 就等于把物理做对了"；sim-to-real 的缺口靠"把你的（参数）域做得足够宽，以保证你落在分布内"来处理。于是可以用数值模拟器生成任意多的训练数据。
  15. ⚠️ 课程工程（curriculum engineering）：可以从简单方程、较低分辨率、较简单的数据开始——"这和语言的训练方式形成鲜明对照：语言是把整个互联网下载下来，一团巨大的混乱，被打乱，有些对有些不对。而人类不是这样学的——按顺序学要好得多。"
  16. ⚠️ 自我改进：如果就停在模拟数据上，你会像机器学习里的其他一切一样，停在训练分布的平均质量上。他们的做法是把 PDE 也当作训练信号——检查模型在 PDE 本身上做得多好，并用它作为额外信号，于是可以推到超过数据质量的地方。⚠️ "和语言的区别在于：语言的自我改进需要人类反馈或别的奖励信号，而那些非常稀疏——只告诉你是或否、赞或踩。我们的反馈是稠密的，因为物理定律有很多条；你既可以安排它们的课程顺序，而它们给出的反馈本身也是稠密的。所以这种自我改进能更好——这也是我们在实验里看到的。"
  17. ⚠️ 他们点名了这个赛道此前的失败模式（[00:15:08]）："某家公司有一小块很漂亮的数据，做出一个炫的 demo，但他们真正在意的那个领域是 out of sample，于是什么也没有被部署。" 本库把这条记为"窄代理模型（narrow surrogate）"的典型死法，也是他们整套设计要绕开的东西。

一、为什么相信物理之间可以迁移

主持人一开场就提了最该提的质疑（[00:02:02]）：语言虽有很多种，但终究都是语言；而天气模拟、导管、核聚变反应堆，它们的物理本身差别很大，可能根本没什么迁移。

两位创始人的回答分两层：

  • 同一套定律，不同的区间（[00:03:02]）：⚠️ "导管里的流体和火箭里的流体，是同一套流体动力学原理，只是不同的区间——由雷诺数一类的东西参数化。" 他们说在能源、半导体、航空航天这些看起来很不一样的领域之间，确实见到过这种共享在起作用。
  • ⚠️ 更深一层：即使方程不同，特征也是共享的（[00:04:02]）：他们列的共同结构是——随时间的变化、某种形式的能量守恒、物体恒存性（object permanence）、因果性。"所以跨不同领域、跨不同数学模型，有大量共享特征是这些神经模型可以捕捉到的。"

进度（自述）

  • ⚠️ 已经训练一年多，做过"所有该做的常规架构实验"（[00:04:02]）；做过数百次训练，训到万亿参数模型（[00:07:03]）——"我们确实证明了这套东西能起飞。"
  • 规模跨度也交代了（[00:13:06]）：在巨型集群上做过推理，而小模型配较小上下文、甚至中等大小的模型配较小上下文，可以装在一台 MacBook 或 Mac Studio 上——"整个跨度都有"。
  • 多尺度怎么处理（[00:18:12]–[00:19:14]）：主持人指出好的物理表示的难点恰在于要同时表示大尺度和小尺度上发生的事。⚠️ Anima 的回答：多个尺度就需要多个分辨率；全部用最高分辨率当然可以但极贵，更好的做法是先在较低分辨率上收集更多数据，甚至用更便宜的、会粗化并忽略细尺度效应的求解器——⚠️ "它们是错的，但它们是很好的起点，能先拿到整体的平均效应、粗尺度效应"，然后再用考虑细尺度特征的专门求解器去 fine-tune。neural operator 的灵活性在于它能在模型内部跨尺度混合，而不是像很多物理领域的混合式机器学习那样由外部规定——"这让我们的数据效率高得多、学得也好得多。"

二、要打的两个市场

他们的框架是两个视角相乘：物理的领域 × 能被这些领域服务的行业（[00:20:14]）。⚠️ 他们明说客户还不能披露，但选定的两个方向是半导体与能源——"因为所有人现在都需要在这两处改进，而它们正好在我们的射程内。"

半导体：他们要拿的是"没被用掉的余量"

  • ⚠️ 他们对现状的描述，是本页最具体的一条商业洞察（[00:21:15]）：芯片设计过去的流程是"先在数字侧做、把数字侧冻结、再送去过一次物理检查"——PDK 规定你必须有这些特征，否则 TSMC 不给你做；然后就到此为止了。⚠️ "那只是在问'我们还有没有足够的余量能把它推过去'，但我们今天并没有利用那个余量去换额外的性能。"
  • ⚠️ 他们要做的事：去抓住"物理允许我做什么，从而把边界再往外推一点"，以及"我能不能把所有东西重排一下，把边界推得更远"。
  • 第二块是半导体的生产过程本身（[00:21:15]）：那里也有一整套有意思的物理挑战。
  • ⚠️ 他们承认这是一条长管线上的一段（[00:22:15]）："显然你得从某处开始，而这整条管线现在也在改进；我们在做的是自下而上地把物理侧使能起来，最终旅程是往那个方向去；不同公司在做不同的部分。" 他们选这个方向的理由是"之前那里有大量简化"——只算线长、做某些优化，只看"我某处有没有热尖峰、有没有电迁移尖峰在坏事"，⚠️ "但没有去看'我还有一大堆别的地方其实相当从容、几乎没什么疯狂的事在发生——我能不能利用这些？'"

能源：设计问题 vs 观测反演问题

⚠️ 他们把能源侧的需求切成两类（[00:23:15]）：

  • 设计类："我想要一个具有某些能力的物理对象"——"这是我们特别擅长的那类。"
  • ⚠️ 反演类："我有关于世界的观测，它们告诉我关于这个世界的什么？" 他们给的例子是地热——你想知道地下哪里是热的、并且含水配比合适到可以抽上来循环；以及我们所有电子设备需要的关键矿物在哪里。
  • ⚠️ 他们把这两类都收进同一个论点："你需要相当多的物理，但同时物理本身彼此差异并没有那么多。所以一旦你的模型到了某种不错的通用性水平，突然就有很多门被打开了。"

三、两条旁枝

  • 上一期的接续关系（[00:00:01]、[00:12:06]）：主持人交代了本期的由来——⚠️ 一周前那期与 Anima 的访谈反响很好（并受益于她的公司在发布前几天出了 stealth），而录那期时她还不能谈公司，所以这期把当时不能说的部分补上。主持人还提示上一期从大约第 20 分钟开始讲 neural operator，建议想了解基础的人去看那段。
  • 公司状态（[00:24:15]–[00:25:15]）：⚠️ 在扩模型也在扩公司，出 stealth 后"上周以来有大量 inbound"（Anima 当场为还没回复的人道歉）。她给的定位是一句本库值得记的张力表述：⚠️ "对我们来说这只是模型 scaling 旅程的开始——如果要走向科学发现与发明中最难的挑战，那些是很难的物理、很难的现象；但同时我们也必须对商业那一面诚实，确保沿途为客户解锁大量价值。"
  • TIME100 AI（[00:25:15]–[00:26:17]）：她说自己入选时"又惊又喜"，并提到去年还拿过 TIME 的 impact award、为此去了迪拜。⚠️ 她对这类榜单的评价是："我觉得他们在做的事是好的——试图把在 AI 上持不同视角的人聚到一起。"

⚠️ 自动字幕专名对照（未核实的照录）

字幕原文 本页按上下文还原
Benedict Yanik Benedikt Jenik
Ana Anan Kumar / Anima Anima Anandkumar
PTE / PT / PD PDE（偏微分方程）
FSTP FSDP（Fully Sharded Data Parallel）
Forier neural operator Fourier Neural Operator（FNO）
reol's numbers Reynolds number（雷诺数）
TSNC TSMC
Sammy / semi semiconductor（半导体）
sensial gap sim-to-real gap
geodermal geothermal（地热）
em spike electromigration spike（电迁移尖峰，按上下文推定）
auto reagive autoregressive（自回归）
⚠️ 1T / 5T 上下文、万亿参数、22 TB、"数百次训练" 全部为自述，本库未核实

交叉链接