跳转至

Anima Anandkumar(阿尼玛·阿南德库马尔)

  • 背景: Caltech Bren 讲席教授(数学与计算机科学)。前 NVIDIA AI 研究负责人、AWS 云 AI 团队创始成员("十年前造了第一批云 AI 产品")。早年做概率模型与张量方法的理论基础,后转向把 AI 用于物理世界。2026 年加入联合国科学咨询委员会。
  • 代表工作: neural operator(神经算子)/ Fourier Neural Operator (FNO)、FourCastNet 系列天气与气候模型、TorchLean(把神经网络写进 Lean 做形式化验证)。
  • 本库收录起点: 2026-08-26 Latent Space "AI for science" 子系列(84 分钟,人工字幕)

来源:Latent Space 2026-08-26(以下各节至「2026-09-04 更新」一节前,均出自该期)

她在本库中的位置

⚠️ 本库 AI for science 此前的材料集中在生物、化学与数学;她是第一份来自连续介质物理一侧的系统材料——天气、气候、等离子体、材料、流体。

而且她给出的论点与本库主流叙事正面冲突:

"直到我们有了不只是把世界当符号、而是能模拟、能设计、能控制物理世界的 AI 之前,有一块很大的拼图是缺的。语言模型和 agent 只是其中一个方面,说到底它们仍然是外层的包装(external wrappers)。"([00:1:22:50])

立场与核心观点

维度诅咒:为什么 transformer 在物理上不是"慢"而是"跑不动"

⚠️([00:28:36])工业级模拟是 3D + 时间,每维上千格点 → 上千亿到一万亿 context length。她的原话是:

"别想给这种规模上 transformer。全世界的算力都不够,而且它们还得全部同址部署。"

配套的两条约束([00:27:36]–[00:28:36]): - 物理数据永远不会像语言那么多——她的天气模型只有约 5 万个高分辨率全球天气图;其它领域更少(模拟很贵、真实数据可能没有)。 - 不能像视频模型那样降分辨率([00:30:38])——视觉/视频生成的目标是"看起来好",而物理模拟必须高保真,因而必须高分辨率。

神经算子:学函数空间之间的映射

  • 定义性差别([00:16:21]–[00:17:23]):标准神经网络输入输出固定尺寸;神经算子把输入输出建模为可无限细分的连续函数,推理时可要求任意分辨率的输出。
  • 为什么是傅立叶([00:21:29]):能高效捕捉非局部现象("导数是局部的,但它的逆是积分,是非局部的"),且是准线性复杂度但保有全局连接。⚠️ 但它不是纯线性傅立叶基——层间加了非线性和残差连接,"这一点和 transformer 一样"。
  • 相对 PINN([00:12:15]–[00:13:16]):PINN 每个方程实例都从头解一次,时间相关/湍流问题"根本是无望的";神经算子有训练阶段、用上真实数据,同时仍可加物理约束做引导。
  • ⚠️ 物理约束只能进 loss([00:49:07])——"做成硬约束不可行",因此还要与数据项做权重平衡;而哪些物理容易加、哪些难加,本身是个课程表问题。

FourCastNet:三代,每代解决一件事

版本 变化 解决什么
v1 FNO 证明数据驱动能达到传统精度且快上万倍、一块消费级 GPU 就够([00:01:00])
v2 球面几何 矩形假设下长 rollout 很快爆炸;球面带来稳定性([00:36:45])
v3 概率/ensemble 训练目标 极端事件需要概率校准([00:42:56])
  • ⚠️ 只训练预测未来 6 小时(加少量多步微调),却能外推到数月([01:00:21])——她自己也说"非常意外"。
  • ⚠️ Allen AI 基于她的架构建的气候模型是唯一能跑的 AI 气候 emulator([00:37:45])——因为气候要求你假设世界是个球,并在反复 rollout 中保持这个信息。
  • 开源效应([00:34:41]):他们是第一个宽松许可开源天气模型的;DeepMind、华为等一年后跟进。她强调的社会意义是民主化——全球南方的小型气象机构现在能有过去只有大机构才有的精度。
  • 一条具体战绩([00:52:11]):2023 年秋在 ECMWF 上线;飓风 Lee 期间比标准模型提前数天正确预测登陆点。
  • ⚠️ 她自己标注的未解问题([00:41:54]、[01:03:28]):超长 rollout 的物理约束仍是开放问题;展示的长 rollout 里仍能看到奇点("这是完全的外推,我们没有把它投影回正确的物理")。

⚠️ "物理世界可能更宽容"

([00:42:56]–[00:43:58])本页认为这是她最有迁移价值的一条判断:

  • 反直觉的是,模型在极端事件上表现好——因为极端事件有非常特定的物理签名,"极端,但是以一种非常具体的方式极端"。
  • 等离子体/聚变:只有几千个样本,却能准确预测破裂(disruption),且比传统模拟快一百万倍。
  • 她的解释:自然界有大量潜空间结构,传统数值方法发现不了——因为它们 focus 在"任何情形下都要正确",而 AI 从数据里学,会顺带揭示这些问题其实有多可解。

形式化验证(TorchLean)

  • 是什么([00:06:08]):PyTorch 风格的抽象,但写在 Lean 里——网络可被完全形式化,然后对它做形式化陈述并验证。CROWN 等 certified robustness 算法已在该框架下实现。
  • 能证什么([00:08:12]–[00:09:12]):输入扰动 → 输出扰动的界(敏感性分析,用于无人机/核反应堆这类控制回路);以及 ⚠️ 有限精度带来的缺陷的界。
  • ⚠️ 她自己给的限制([00:10:12]):Lean 仍是 CPU 的,大规模可扩展性还有大量工作——"这对 Lean 整体也一样"。目前交付的是框架,不是规模化能力。

长期命题:物理的基础模型

  • 现状是窄代理模型;目标是覆盖多现象、且 multi-physics 耦合的基础模型([01:12:38])。
  • ⚠️ 她对泛化边界很克制([01:14:42]):完全没见过的物理无法迁移——"如果你说要超出标准模型,那根本没有数据,不可能";但耦合现象可以少样本微调(分别见过热传导和拉伸,热致形变可用远少样本学会)。
  • 逆问题/逆设计([01:13:38]、[01:16:46]):逆光刻掩模、量子点门、非线性光子学。⚠️ 她的论点:人类不擅长高度非线性的设计;有准确前向物理模型做护栏后,AI 可直接优化出设计,而且我们知道它成立,因为仿真就在回路里。

政策立场

⚠️([01:20:49])"很多监管框架把 AI 等同于语言模型。" 语言模型确实能操纵人、需要管,但 AI for science 是另一回事,一刀切正是很多问题的来源。

她选的唯一瓶颈是算力([01:21:49])——她自陈这答案"简单甚至偷懒",但强调的是给研究用的算力(国家实验室的超算):"没有它我们没法做实验,没法创新。"

与他人观点的呼应/分歧

  • ⚠️ 本库 AI for science 目前最统一的横向判据,来自她与主持人在 [00:45:01] 那段对 AlphaFold 的类比:AI 在科学上的胜负,不主要取决于数据量,而取决于目标对象被物理约束得有多紧。 约束紧(蛋白质折叠、流体、等离子体、天气)→ 少样本也能赢;约束松(细胞、生物学整体)→ 数据和闭环才是瓶颈。
  • 与 Lila Sciences:Lila 的"以实验做 verifier"和她的"物理约束进 loss"是同一问题的两种解法——Lila 靠外部实验闭环补数据,她靠内部归纳偏置省数据。
  • 与 Xaira:Xaira 的"因果模型需要因果数据"正是约束松的那一端。
  • 与 Genesis Molecular AI:都强调分辨率就是科学本身(Genesis 把精度基准从 RMSD<2Å 推到 1Å;她要求 1000×1000×1000 的网格)。
  • 与 刘洺堉 / World Labs 的世界模型路线:⚠️ 她把世界模型式的视频生成明确归为"为了看起来好"的一类([00:30:38]),这与世界模型派的立场存在张力,本库并列不裁决。
  • 与 Reiner Pope / Sean Lie:她的"上千亿 context length,全世界算力都不够"是从应用侧给硬件侧提的需求;两位芯片侧的人讲的是同一堵墙的另一面。

✅ 2026-09-04 更新:公司出 stealth,那堵墙她自己给了答案

来源:Latent Space 2026-09-04(与联合创始人 Benedikt Jenik 同场)

⚠️ 08-26 那期录制时她还不能谈公司,所以本页上面那条"上千亿到一万亿 context length,别想给这种规模上 transformer"当时只是一个否定式判断。本期补上了肯定式的那一半:她与 Benedikt Jenik 的公司 Accelerated Understanding(2026-09 出 stealth)正是为此而建。她本人同期入选 TIME100 AI。

她们实际做到了什么(全部自述,本库未核实)

  • ⚠️ 训练阶段 1 万亿上下文(输入与输出各达万亿),推理阶段 5 万亿上下文,训到万亿参数模型,做过数百次训练([00:06:03]–[00:07:03])。一万亿怎么来的:每个空间维 1000 分辨率 × 1000 个时间步([00:12:06]);5 万亿那次运行输出 22 TB([00:13:06])。
  • ⚠️ 她们拒绝的近似正是数字的来源([00:05:03]–[00:06:03]):空间三维保持三维、不像视频模型那样压缩;时间维不做自回归、整条 rollout 一起建模——理由是自回归累积误差,而且会失去"输入里究竟是什么导致了这个输出"的归因,而这对做设计极其重要。
  • ⚠️ 标准分布式训练直接失效([00:07:03]、[00:14:08]):层太大,没法在一个 GPU 里重组;数据样本放不进一个加速器,甚至放不进一整个节点——整套 sharding 基础设施重写。"LLM 正在越来越多走进的那些难题,我们从一开始就在里面。"
  • ⚠️ neural operator 在这里的作用被讲得比 08-26 更明确([00:09:03]–[00:11:05]):它带来分辨率不变性,而上下文长度在这里等价于分辨率——所以不是每次运行都要用万亿上下文,做设计探索的早期阶段不必烧那么多算力。而 transformer 撑不住 5 万亿:二次复杂度不可行,且不必要——"物理世界比完全任意的全对全相关有更多结构"。

✅ 一条把她 08-26 的立场变成实验结果的发现

⚠️ 同样大小的模型装进多个物理领域,比把那些参数全给单一领域更好;哪怕为每个物理做独立模型并做到和原来一样大,仍然更差([00:08:03])。"这说明收益来自共享学习,不只是模型变大就变好"——"加入更多物理领域,会帮助它在所有领域里都学得更好,这和语言里的涌现式学习是同一类"。落地侧也确认:先训窄模型验证模拟器、再加进通用模型,"宽的一路领先"([00:24:15])。

✅ 物理的反馈是稠密的——本库此前没有的一条论证

⚠️([00:16:11]–[00:18:12])"语言的自我改进需要人类反馈或别的奖励信号,而那些非常稀疏——只告诉你是或否。我们的反馈是稠密的,因为物理定律有很多条。" 配套的三层:PDE 解对了就等于物理做对了,sim-to-real 缺口靠"把域做得足够宽以保证落在分布内"处理;可用数值模拟器生成任意多数据,并做课程工程(从简单方程、低分辨率开始)——⚠️ "这和语言形成鲜明对照:语言是把整个互联网下载下来,一团巨大的混乱,被打乱……而人类不是这样学的,按顺序学要好得多";再把 PDE 本身当训练信号,于是能推到超过训练数据质量的地方。

⚠️ 她与"视频式世界模型"的分界线,本期比 08-26 更硬

本页上面记的是她把视频生成归为"为了看起来好"。本期是明确的划界([00:10:04]):"视频模型、视觉模型都假设训练和推理是固定分辨率。" 她承认那对游戏和娱乐可以("物理可以稍微含糊一点"),⚠️ "但工程设计和科学发现里,我们没法用那些取巧办法。" —— 本库把这条与 Anastasis Germanidis / Runway 那期 并列,是关于世界模型价值的一组明确对立,不裁决。

商业落点:半导体与能源

  • ⚠️ 半导体:她们要拿的是"没被用掉的余量"([00:21:15])。现状是先在数字侧做、冻结、再送去过一次物理检查(PDK 规定的特征,否则 TSMC 不给做),然后就到此为止——"那只是在问还有没有足够余量能推过去,但我们并没有利用那个余量去换额外性能。"
  • 能源分两类([00:23:15]):设计类("我想要一个具有某些能力的物理对象","这是我们特别擅长的")与反演类(地热——地下哪里热且含水配比合适;关键矿物在哪)。
  • ⚠️ 她们点名了这条赛道此前的死法([00:15:08]):"某家公司有一小块很漂亮的数据,做出一个炫的 demo,但他们真正在意的那个领域是 out of sample,于是什么也没有被部署。"
  • 多尺度的处理([00:18:12]–[00:19:14]):先用更便宜、会粗化的求解器拿粗尺度效应(⚠️ "它们是错的,但是很好的起点"),再用考虑细尺度的专门求解器 fine-tune;neural operator 能在模型内部跨尺度混合,而不像很多物理领域的混合式机器学习那样由外部规定。

新增的呼应/分歧

  • 与 Richard Socher(相隔 10 天):两人都要做"科学的 Eureka 机器",但 ⚠️ Socher 明确不从物理科学开始、把它推后三到五年(等机器人到位);她直接从物理仿真入手。
  • 与 Rene Haas:她的"全世界算力都不够"是从应用侧提需求,Haas 的"transformer 在设计上算力与内存密集"是从供给侧描述同一堵墙。
  • 与 Stefano Ermon:两人都在反 transformer 的默认地位,但方向不同——Ermon 攻推理负载的形状(扩散),她攻上下文与分辨率(neural operator)。

已收录访谈

日期 视频 频道
2026-08-26 物理一出现 Transformer 就撞墙——神经算子与"AI for science 不是语言模型" Latent Space(AI for science 子系列)
2026-09-04 一万亿 token 上下文,以及物理世界的"一个模型" Latent Space(AI for science 子系列;与 Benedikt Jenik 同场)