Anima Anandkumar：物理一出现，Transformer 就撞墙——神经算子与"AI for science 不是语言模型"（Latent Space，2026-08-26）¶

嘉宾: Anima Anandkumar（Caltech Bren 讲席教授，数学与计算机科学；前 NVIDIA AI 研究负责人、AWS 云 AI 团队创始成员）
主持: Brandon（Atomic AI，RNA 疗法）与 RJ Honakee（Miraomics CTO/创始人，空间转录组）——Latent Space 的 "AI for science" 子系列，非 swyx / Alessio 主持
来源: YouTube · 84 分钟（英文人工字幕）
转录稿: sources/latent-space/20260826-79mIutht1f4

说话人认定依据：人工字幕无姓名标签，但三人分工清晰——嘉宾在 [00:02:01] 自述背景（Caltech、NVIDIA、AWS）；两位主持在 [00:01:00] 各自自报家门。凡第一人称谈 neural operator / FourCastNet / TorchLean 的"我们"一律为 Anandkumar。两位主持的提问本页统一写"主持人"，不逐句区分 Brandon 与 RJ。

术语对照：neural operator（神经算子）、FNO = Fourier Neural Operator（傅立叶神经算子）、PINN = physics-informed neural network（物理信息神经网络）、FourCastNet（其天气模型，字幕作 forecast net，本页统一写 FourCastNet）、TorchLean（字幕作 torch lean/torch thing）、CROWN（certified robustness 算法，字幕作 crown）、ERA5（ECMWF 再分析数据集，字幕作 EDO5）、ECMWF（欧洲中期天气预报中心，字幕作 cmwf）、tokamak（托卡马克）、stellarator（仿星器）。⚠️ 字幕把 Fourier 多处误识为 four-year/foyer/40 years，本页按语境统一还原为"傅立叶"。

概要¶

本库此前的 AI for science 材料集中在生物与化学（Lila Sciences、Genesis Molecular AI、Chai Discovery、Xaira）和数学（OpenAI 数学团队）。

⚠️ 本期是第一份来自"连续介质物理"一侧的系统材料——天气、气候、等离子体、材料、流体——而且它给出的论点与本库主流叙事正面冲突：

"直到我们有了不只是把世界当符号、而是能模拟、能设计、能控制物理世界的 AI 之前，有一块很大的拼图是缺的。语言模型和 agent 只是其中一个方面，说到底它们仍然是外层的包装（external wrappers）。"（[01:22:50]）

本期最该被单独引用的七条¶

⚠️ Transformer 在物理问题上不是"慢"，是根本跑不动（[00:28:36]）：工业级流体模拟是 3D + 时间，每个维度上千格点——context length 要到上千亿甚至一万亿。她的原话是："别想给这种规模上 transformer，全世界的算力都不够，而且它们还得全部同址部署。"
⚠️ 神经算子的定义性差别（[00:16:21]–[00:17:23]）：标准神经网络的输入输出是固定尺寸（固定词表、固定分辨率）；神经算子把输入输出建模为可无限细分的连续函数，学的是函数空间之间的映射——所以推理时可以要任意分辨率的输出。
⚠️ FNO 的取舍（[00:21:29]）：傅立叶空间能高效捕捉非局部现象（自然界的现象大多非局部——"导数是局部的，但它的逆是积分，是非局部的"），而且是准线性复杂度而非注意力的二次复杂度，同时保有全局连接。⚠️ 但它不是纯线性傅立叶基——层与层之间加了非线性和残差连接，"这一点和 transformer 一样"。
⚠️ 天气模型只训练"预测未来 6 小时"，却能外推到数月（[01:00:21]）。主持人当场说"这非常令人意外"，她回答"是的，非常意外"。
⚠️ 能做到这一点的关键不是规模，是把地球是个球这件事写进架构（[00:36:45]–[00:37:45]）：几乎所有其它天气模型假设世界是个矩形（标准投影），短期没问题，跑长了很快就炸。FourCastNet 3 引入球面几何之后可以稳定长 rollout——Allen AI 基于这个架构建的气候模型是唯一能跑的 AI 气候 emulator。
⚠️ "物理世界可能更宽容"（[00:42:56]–[00:43:58]）：反直觉的是，模型在极端事件（飓风、等离子体破裂）上表现很好——因为极端事件有非常特定的物理签名，"极端，但是以一种非常具体的方式极端"。等离子体那边只有几千个样本，却能准确预测破裂，且比传统模拟快一百万倍。她的解释是：自然界有大量潜空间结构，传统数值方法发现不了，因为它们focus 在"任何情形下都要正确"。
⚠️ 她对监管的一条具体意见（[01:20:49]）："很多监管框架把 AI 等同于语言模型"——语言模型确实能操纵人、需要管，但 AI for science 是另一回事，一刀切正是很多问题的来源。

一、两条技术线：神经算子与形式化验证¶

她自陈的整体命题（[00:04:07]）：语言模型可以做大量假设生成，但想法不是瓶颈，测试与验证才是。所以她的工作分两块——(a) 让模型把物理搞对（神经算子）；(b) 让模型的断言能被符号化验证（TorchLean）。

TorchLean：把神经网络写进 Lean¶

是什么（[00:06:08]）：一个 PyTorch 风格的抽象，但写在 Lean 里——网络本身可以被完全形式化，然后对它做形式化陈述并验证。CROWN 等 certified robustness 算法已在这个框架下实现（[00:07:09]）。
能证什么（[00:08:12]–[00:09:12]）：
认证鲁棒性 / 敏感性分析——输入扰动一定量，输出最多变多少。用在控制回路里（无人机、核反应堆）时，这直接关系到安全性与稳定性。
⚠️ 有限精度的界——"我们的神经网络只在有限精度下训练，这带来什么缺陷？能不能把它也界定出来？"
⚠️ 她自己给的限制（[00:10:12]）：Lean 还是 CPU 的，搬到 GPU 有很多细节，大规模可扩展性仍有大量工作要做——"这对 Lean 整体也一样"。所以目前交付的是框架，不是规模化能力。

为什么是神经算子，不是 PINN¶

PINN 的问题（[00:12:15]）：每一个方程实例都从头解一次，寄希望于优化景观够好——而时间相关、尤其湍流的问题几乎没戏："跑得够久就会混沌，细小尺度的效应都要紧，在所有时刻求解偏微分方程根本是无望的"。
神经算子的动机（[00:13:16]）：不能只靠物理约束。天气这类问题有真实观测数据——既然有数据，就该用上。神经算子把两者合起来：有训练阶段（学会对不同方程实例给出解），同时仍可加物理约束做引导。
⚠️ 零样本超分辨率（[00:18:23]）：如果只有数据，往比训练更高的分辨率外推就是在猜；但可以在比数据更细的分辨率上施加偏微分方程约束和守恒律——于是高分辨率处也有了引导。⚠️ 她明确说物理约束是加在 loss 里的，"硬约束不可行"（[00:49:07]），因此还要与数据项做权重平衡。

她对"经典数学技巧还有没有用"的回答¶

这是主持人问得最好的一个问题（[00:26:34]）：你早年做张量方法、正交基这些，现在社区变成"一股脑全扔进去"，你还信那些原则吗？

她的回答分三层（[00:27:36]–[00:28:36]）：

不能强迫自己用石器时代的技术——特征学习、灵活性、表达力、易优化，这些都必须要。
⚠️ 但物理数据永远不会像语言那么多——她的天气模型只有约 5 万个高分辨率全球天气图，"这跟语言根本没法比"；其它领域更少，因为模拟很贵、真实数据可能压根没有。
⚠️ 加上维度诅咒：语言只有一维，上下文到百万就已经吃力；物理是 3D+时间，每维几百到上千格点——上千亿到一万亿 context length。所以必须有别的架构。

她在 [01:09:33] 把这条总结成一个"绕了一圈回到原点"的叙事：纯数据驱动的路线在某种意义上正在饱和；而在物理世界里数据不够、要求的是硬外推——"发现，按定义就是外推。我们永远不会有关于一个新发现的数据。"所以必须回到有原则的架构设计、算法设计、损失函数设计上。

⚠️ 主持人提出的反驳，以及她的回应（[00:29:38]–[00:30:38]）：主持人说视觉/视频模型不也是学映射吗？她的回答是——分辨率是关键。视频模型的目标是"看起来好"，不是精确模拟；而流体、等离子体、材料形变必须高保真，因而必须高分辨率，"我们连丢掉细节都承受不起"。

二、天气与气候：这条线最完整的证据链¶

起点：2021 年所有气象学家都劝他们别做¶

动机很朴素（[00:32:39]）：ERA5 天气数据是开源的，"有数据就是好消息"。
⚠️ 当时的共识（[00:33:40]）：气象学界几十年自底向上的物理建模，"AI 不可能打赢"。
结果（[00:01:00]、[00:33:40]）：精度接近传统模型，但快上万倍——本来要超算跑的东西，一块消费级 GPU 就够，模型很小、很快、且准。"这一下子改变了所有人的想法。"
⚠️ 开源的作用（[00:34:41]）：他们是第一个把天气模型开源且许可宽松的——DeepMind、华为等一年后才发各自的模型。她强调的社会效果是民主化：全球南方的小型气象机构，现在能有过去只有大机构才有的精度。

三代演进，每一代解决一件事¶

版本	核心变化	解决的问题
FourCastNet 1	傅立叶神经算子	证明数据驱动能达到传统精度且快上万倍（[00:55:13]）
FourCastNet 2	引入球面几何	矩形假设下长 rollout 会炸；球面假设带来稳定性（[00:55:13]、[01:03:28]）
FourCastNet 3	训练目标改为概率/ensemble 预测	极端事件需要概率校准，单一确定性输出不够（[00:42:56]、[00:55:13]）

数据与 rollout 结构（[00:38:48]–[00:39:50]）：全球数据、每 6 小时一步、自回归 rollout；做 ensemble（多条加噪初始条件的轨迹）就得到气候模型。
⚠️ 再分析数据本身就带物理（[00:51:11]）：ERA5 是把卫星观测与物理求解器的结果同化在一起的——"这份数据本身就让我们的模型天然是 physics-informed 的"。她认为这可能就是它在极端事件上表现好的原因之一。
⚠️ ensemble 的物理约束怎么加（[00:58:18]）：主持人追问"取了 ensemble 平均，局部守恒不就破了吗"——她的回答是每一个 ensemble 成员各自满足物理，不是对平均量施加约束，否则会丢掉分辨率与拟合。
一条具体战绩（[00:52:11]）：FourCastNet 2023 年秋在 ECMWF 上线；飓风 Lee 期间，它比标准天气预报模型提前数天正确预测了登陆点——她认为这是公众和气象学界真正买账的转折。
⚠️ 她自己标注的未解问题（[00:41:54]、[01:03:28]）：超长 rollout 的物理约束仍是开放问题——"你不想把细节完全抹平，因为那样就不准了；但保留细节又可能物理上无效"。而且她当场承认展示的长 rollout 里仍能看到奇点，"这是完全的外推，我们没有把它投影回正确的物理"；主持人补了一句极点仍是难处。
数据分辨率（[01:02:27]）：ERA5 是 0.25 度，约 700 × 几千的网格。

其它领域¶

聚变（[01:03:28]–[01:05:30]）：托卡马克等离子体演化建模，比传统模拟快一百万倍，本质是等离子体的数字孪生；下一步是把控制和仿真一起设计，目标是预防破裂（disruption）。合作方是英国原子能管理局，也在跟美国的几家做，同时涉及仿星器。 ⚠️ 她给的方法论理由很值得记（[01:06:31]）：作为 AI 人可以不提前押注哪条聚变路线——"物理世界里你必须砍掉很多风险大的方案，只做你认定的那条；AI 让我们可以更敢冒险、更能探索不同路径，而不至于过早排除某条路"。
CO₂ 封存（[01:11:36]）：模拟 CO₂ 在地下储层中的扩散与压力累积、几十年的迁移，远快于传统模拟。
空气动力学与任意几何（[01:11:36]）：⚠️ 一个很形象的潜空间例子——把汽车（或任意形状）变换成一个甜甜圈，在甜甜圈上建模，再变回去；这样一个模型可以泛化到大量不同几何形状。
逆设计（[01:13:38]、[01:16:46]）：逆光刻掩模设计、量子点门设计、非线性光子学。⚠️ 她的论点是：人类不擅长高度非线性的设计——"合作者手工做这件事很吃力"；而有了准确的前向物理模型做护栏，AI 可以直接优化出设计，而且我们知道它真的成立，因为仿真就在回路里。

三、她的长期命题：物理的基础模型¶

现状（[01:12:38]）：现在有的都是窄代理模型（narrow surrogates）；目标是覆盖多种现象、而且是 multi-physics 耦合的基础模型——"真实世界的各种物理本来就是耦合在一起的"。
⚠️ 她对"能不能泛化到没见过的物理"的回答非常克制（[01:14:42]）：完全没见过的物理无法迁移——"如果你说要超出标准模型，那根本没有数据，不可能"。但耦合现象可以少样本微调：分别见过热传导和材料拉伸之后，热导致的形变可以用远少的样本学会，"从头学还是太难，它高度非线性且耦合"。
由此推出的方法论（[01:15:43]）：物理世界的课程表（curriculum）是可以被我们控制的——可以搭模块、再组合，"这是一种系统性的做法"。
⚠️ 另一条她反复提的（[00:59:20]）：因为数据有限、而且我们要求的是外推，所以必须把更多结构（球面几何、守恒律）写进架构——"你只是扔一个标准 transformer 进去，它不会work"。

她给的两条行动项¶

瓶颈（[01:21:49]）：问她能魔法去掉一个瓶颈会选什么，她选更多算力——她自陈这是"简单甚至偷懒"的答案，但强调的是给研究用的算力（国家实验室的超算），"没有它我们没法做实验，没法创新"。
呼吁（[01:17:46]、[01:22:50]）：neural operator 是开源库、已进入 PyTorch 生态，有文档和 recipe；以及那条核心主张——别把 AI for science 等同于语言模型和 agent。
联合国科学咨询委员会（[01:18:48]–[01:20:49]）：她刚加入，关注点是AI 的收益如何惠及全球、如何民主化访问、如何控制非预期危害，以及用更好的天气气候模型服务农业与粮食。

⚠️ 本页认为最该被其它页引用的一条¶

主持人在 [00:45:01] 把 AlphaFold 拉进来做类比——蛋白质结构之所以是生物学里少数几个大胜，正因为它受物理强约束；"被微分方程描述得好的问题，给这类技术留的空间更大"。

把这条与 Anandkumar 的"物理世界更宽容、自然界有大量潜空间结构"（[00:43:58]）放在一起，就得到本库 AI for science 页目前最统一的一条横向判据：

AI 在科学上的胜负，不主要取决于数据量，而取决于目标对象被物理约束得有多紧。 约束紧（蛋白质折叠、流体、等离子体、天气）→ 少样本也能赢；约束松（细胞、生物学整体）→ 数据和闭环才是瓶颈。

⚠️ 这与 Lila Sciences 的"以实验做 verifier" 和 Xaira 的"因果模型需要因果数据" 不矛盾，是同一张图的两端。