跳转至

John Platt(Google Fellow):ERA——把科学问题映射成"可打分任务",以及它为什么在 Gemini 2.0 上不可能(Latent Space,2026-09-22)

本库此前的 AI-for-science 材料多来自创业公司(Lila、Xaira、Genesis、Chai)与大厂的生物学方向(CZI Biohub)。这期是第一份来自大厂"通用 AI-for-science 系统"的一手工程描述:ERA 的内部结构(UCB 树搜索 + Gemini 当变异算子)、它为什么在上一代模型上根本跑不起来、以及它在气候科学里解掉了一个卡了两年的问题。同时它给出了本库目前最清晰的一条方法论分界:predictive model vs descriptive model。

说话人认定:自动字幕,只有 >> 换轮标记、无姓名标签。本期是该频道 AI for science 子系列的双主持(片头"My co-host R.J."、[00:01:00]),⚠️ 两位主持本身是 AI-bio 从业者,所以本页里主持人的技术判断是同行意见、不是提问框架(本库在 Latent Space 主播页 已记录这一点)。所有第一人称的 Google / Caltech / ERA 内部事实为 Platt。

概要

  • ERA 的核心映射:把科学问题改写成 scorable task(可打分任务)——"我想要一段代码,让某个分数最大"。
  • 机制:一个专用 harness 在成百上千个候选 notebook 上跑 Monte Carlo 树搜索,用 UCB 乐观选点,让 Gemini 来提出下一个变异。
  • 它为什么现在才成立:⚠️ 代码空间里的随机变异几乎无用(和 DNA 一样,多数突变有害)——让内循环变成一个有世界知识的 AI,才第一次有了"可用的梯度"。
  • 方法论警告:这是电锯级的power tool,⚠️ "它能把你手指切掉"——Goodhart 定律对你造的每一个排行榜单独生效。
  • 人类留在哪里:定义打分函数("几乎就是科学问题的本质")、外循环的创造性引导、以及严谨性。

核心观点

ERA:scorable task 这个映射

  • 出发点([00:03:01]–[00:04:01]):Google Research 做 AI for science 已超过十年,早期是为每个科学问题做专用的经典模型(卷积网之类);约两年前他们开始问通用 LLM 能做什么,并"撞上了这个映射":⚠️ 大量不同的科学问题都能被改写成"我想要一段代码,使某个分数最大化"。
  • 为什么这个框架比看上去宽([00:04:01]–[00:06:02]):
  • 机器学习本身只是它的一个子集(打分函数 = 数据集上的拟合度);
  • 更有意思的是非统计的例子:渐近展开(asymptotic expansion)——问一个微分方程在 ε→0 时如何行为,可以变成经验任务:让它提出渐近解,再用 ε=1e-4 之类检验拟合,同时让 Gemini 做数学推理。他说论文一作 Michael Brenner 的用法是"一个晚上敲掉一篇科学论文"。
  • 一个遥感的例子([00:07:03]–[00:08:05]):卫星永远在重访频率、空间分辨率、光谱分辨率三者间取舍。他们用 OCO-2 / OCO-3(后者挂在国际空间站上)那种"又准又窄的 CO2 条带"去监督 GOES 气象卫星的红外波段(每 5 分钟一帧但像素很大、光谱也不是为 CO2 设计的),再喂进当时天气与长期反照率——⚠️ 得到一种"被信息引导的超分辨率"。
  • 输入形态([00:08:05]–[00:09:06]):⚠️ 用户只需要开始说话——因为"这个映射常常不明显",所以他们专门写了一个 agent 帮你把问题定义成可打分任务,产出一个带打分函数的 Python notebook,然后开始聪明地变异这个 notebook。

内部结构:UCB 树搜索 + Gemini 当变异算子

([00:10:06]–[00:14:08])这是本页工程细节最密的一段。

  • 形态:⚠️ 用 2026 的说法,它是"一个专用 harness",跑的算法是 Monte Carlo 树搜索;维护成百上千个候选 notebook,候选池是树结构(每个候选有子代)。
  • 选点用 UCB(上置信界):⚠️ 不总是选当前最好的 notebook,而是估计"变异之后的 95 分位结果"(当前表现 + 两个 sigma)并选最高的——"它是个乐观算法,所以会四处搜寻"(主持人把这概括为"高召回")。
  • 也做重组:⚠️ "从两个候选里各取想法、揉成第三个"。
  • 并行度的取舍(本页可迁移的一条)([00:12:07]–[00:14:08]):默认一次长 10 个叶子。⚠️ 并行太多会失去互相学习——"如果同时跑一千个,第 1 个看不到第 2 到 10 个在干什么,你就在烧算力而没有交叉学习";小批跑完后历史(它当时的思路与代码结果)会进共享上下文,"显然要剪枝,不然会把 context 撑爆"。主持人的评语是"你们在狠压 Gemini 的长上下文能力"。
  • 种子不需要人给([00:11:07]–[00:12:07]):给一段问题的文字描述,甚至直接喂五篇别人尝试过的论文,⚠️ "它会去读那些论文,然后给出第一版代码"——有 bug 时就返回负无穷,然后继续变异。

⚠️ 为什么"进化式代码搜索"这次才成立

([00:18:11]–[00:19:11])本页最该被引用的一条机制解释:

  • 进化式写代码从 1970 年代就有(变异 Lisp 代码之类),但一直没起来,⚠️ 因为"代码空间里的随机变异基本一文不值——就像 DNA,大多数突变是有害的"。
  • 这次不同的地方是内循环本身是个 AI:⚠️ "它在底下知道一些有意思的梯度可以试",因为它知道世界。
  • 代价是另一面:它会过拟合、会有"精灵许愿"式的问题(他与主持人都用了 genie / monkey's paw 的比喻:⚠️ "小心你许的愿,因为你真会得到它"),但同时它也会做一些清醒的事,尤其当你给它指向相关论文时。

能力依赖:它在上一代模型上根本不成立

  • ⚠️ "在 Gemini 2.0 上这件事会是不可能的"([00:19:11]–[00:20:11]):他说他们早就在试这类东西,一直不 work,然后突然开始 work,现在非常惊人——"每半个版本都更好"。
  • 由此他对科学家的劝告是([00:20:11]):⚠️ "有人说'我试过 2.0,不行'——那是一年前,在这件事上一年等于永恒。"
  • 他还提到一个ERA + Antigravity 的预印本(把大量论文拉进来、让它写很多代码),⚠️ 该组合尚未公开([00:20:11]–[00:21:11])。

predictive model vs descriptive model:本页最清晰的方法论分界

([00:22:12]–[00:24:14])⚠️ 他明说"尤其在今天,人们在模糊这两者;如果你是从 LLM 入门的,这个区分可能对你毫无意义**"。

  • predictive model:有输入有输出,只求在某个数据集上误差最低——那是个统计模型。
  • descriptive model:⚠️ 科学真正想要的东西——它捕捉了物理或某种对现实的描述,所以能外推。
  • ⚠️ 他的例子(本库会反复引用):牛顿是从苹果想到引力的,但引力并不是关于苹果的。"如果你拿一个 17 世纪的机器学习模型,它会说:苹果会掉。那行星呢?我没有行星的数据,谁知道呢。"
  • ERA 里的先验从哪来([00:24:14]–[00:28:19]):⚠️ 目前主要是 LLM 的直觉——"尤其当你把它指向已有论文,它会试着构建在底下还算清醒的模型";你也可以显式引导("务必把这个考虑进去"、"看这几篇论文")。
  • 能力边界他说得很干净:⚠️ 它不会从零发现一种全新的物理模型("如果它不知道 Clebsch–Gordan 系数那就没办法"),但它极擅长把论文里描述的方法迁移到你的问题上——甚至可以逆向重建一篇论文。
  • 一个具体例子([00:26:17]–[00:27:17]):有位 MIT 教授做过"固定屋顶面积下,用镜子/支架/光伏板的立体结构最大化全天太阳能捕获"的设计优化;他建议 Michael 让系统试这个问题,⚠️ 他相信那次系统并没有装那个模拟器,而是把论文里的代码重新实现了出来——"因为它里面有个 coding agent"。

⚠️ 过拟合、多重假设检验与 Goodhart

  • 他对风险的措辞很重([00:31:19]–[00:32:20]):这是个 power tool,⚠️ "我大概不该这么说——它能把你手指切掉";"现在你必须比以前更小心、更严谨,才不至于骗了自己:要有绝不去看的隐藏 hold-out 集,要严谨到吹毛求疵的程度。"
  • 主持人的追问很直接:"所以答案是用同样的技术但格外小心?"——他的回答是"是的",并说主持人没在别处听到过这个答案。
  • 多重假设检验的形状([00:30:19]–[00:31:19]):你有一个描述性模型 + 一堆数据,⚠️ "你拿十亿支飞镖去扔",于是要关心 false discovery rate;"而科学家在那里的意义,就是确保这个东西是描述性的"。
  • ⚠️ "我们目前还没能用这些零件做出能真正发现全新物理或全新科学的系统——但这是帮你去发现新科学的 power tool"([00:31:19])。
  • Goodhart 的版本([00:36:25]–[00:37:26]):⚠️ "任何成为目标的度量就不再是好的度量……而 Goodhart 定律对你造的每一个排行榜单独生效",所以"整个 AI 领域一直在这件事上疲于奔命";对策是"一层层的严谨:好,我们为这个优化,但同时要意识到 Goodhart 适用于它"。
  • ⚠️ 人类也在 reward hack(本页最具体的一例)([00:35:24]–[00:36:25]):他们办过一个contrail 的 Kaggle 竞赛,参赛者赢了他们——而且是因为找到他们的标签里有半个像素的误差(0,0 是像素中心还是左下角),"他们发现并利用了这一点,因为做人工数据再旋转时必须处理这半像素偏移"。

ERA 的战果与人类的位置

  • 来源是 auto-Kaggle([00:34:22]–[00:35:24]):⚠️ ERA 项目最初就叫 "auto Kaggle" 问题("人们可能不知道 Kaggle 其实属于 Google")——"这也是它为什么长这个形状"。
  • 结果([00:37:26]–[00:39:27]):在所谓 playground 竞赛上非常好;⚠️ 他最自豪的一项是 CDC 办的那个"预测下周美国各州流感与 COVID 病例数"的竞赛——ERA 表现极好(主持人指出这有点"Google 当年发明用数据追踪疾病(Google Flu)、二十年后绕回来"的味道)。
  • ⚠️ 他也直说短板:在另一些竞赛里没能挤进最后那几十名的位置,因为"没人在那儿帮它把最后的 0.001 刮出来"——"这些竞赛的成绩有时是你投入多少 TLC 的度量。"
  • 人类留在外循环([00:39:27]–[00:40:28]):⚠️ 它会卡住、呈阶梯状进展;外循环是"更有趣、更有创造性的部分"——"这儿有篇论文看看"、"你在做一件坏事"。⚠️ 他的类比:"像一个超级热切、而且不睡觉的研究生。"典型节奏是跑几个小时回来给你一些例子,然后你继续戳它。
  • 打分函数本身是人类的活([00:15:10]–[00:16:11]):⚠️ "一个常见情形是:你(或 agent,或你们一起)定了一个打分函数,然后迭代过程找到了作弊或漏洞——不,我不是那个意思。"所以要在外面套一层循环反复纠正,或在指令里写明别那么干。
  • ⚠️ 而这正是他认为最大的变化([00:16:11]):"在以前(即 2024 年),研究生要花大量时间写科学软件,光写代码就费劲,所以你试几个相关的做法就停了,因为你得写论文、做下一个实验。这东西在底下是不懈的,所以用它的人现在把全部时间花在恰当的层级上——几乎是科学创造力的层级:'有一个代价函数意味着什么?'那几乎就是科学问题的本质;你不再泡在'我得 import 这个 CSV、让这个数据库跑起来'的泥浆里。"
  • ⚠️ 一个小而有意思的能力:agent 会建议你该拉进来 join 的数据集([00:17:11])。
  • 他对"人会不会被替掉"的回答([00:28:19]–[00:30:19]):⚠️ "完全还有人类的位置。"他们有 co-scientist 做假设生成(他自己用它做过一个地球化学问题,"学到了一种我不知道会出现在岩浆里的离子"),"它会告诉你有意思的东西、你会学到东西,但我不认为它替代人类的创造力"。
  • 他明确用 jagged frontier 框架:⚠️ 在编码能力、搜集知识、找相关工作上有巨大的尖峰("这对科学家太好了"),而在严谨性、哲学与创造力上远没有——"有人说一切都会被抹平,但我仍然看到很强的 jaggedness"。
  • ⚠️ taste 还是 rigor([00:32:20]–[00:34:22]):主持人问哪个更重要,他的回答是两个都要、但不必是同一批人——他观察到软件工程师正在往两边分化:一批人被拉向"我来做创造性的源头",另一批被拉向"我要确保这东西不崩、能扩展、不出错";⚠️ "我认为这比科学更宽,整个软件工程都会这样演化:带来创造力的人和带来严谨的人,会成为两个锚。"

气候:contrails 与那个卡了两年的反事实问题

  • 量级([00:42:28]–[00:44:32]):⚠️ 按现有估计,凝结尾迹(contrails,不是阴谋论里的 chemtrails)造成约占全部人为暖化的 1%。物理上有两个相反效应:作为薄白云反射阳光(只在白天),但在地球黑体辐射的远红外(约 10 微米)上几乎是黑的,所以会吸收并双向再发射外逸热量——像毯子一样全天 24 小时保温,净效应是暖化。
  • ⚠️ 局部强度:在航空流量大的地方(如欧洲),contrail cirrus 可能覆盖百分之几的天空,局部增加约 1 W/m² 的强迫;而全球平均的全部人为强迫约 3 W/m²。
  • 成因与干预([00:44:32]–[00:46:34]):contrail 来自冰过饱和的空气区域(⚠️ 他用冰糖/岩糖打比方:过饱和糖水里一点糖就会把全部糖析出),这些区域形状像薄饼、只有几百米高;飞机尾气里的一点水汽会成核结冰——⚠️ 在坏区域里每排出一克水、冰或烟尘,大约会把 10 公斤水拽出来,是 1 万比 1 的量级。
  • ⚠️ 干预极便宜:这些区域不可见,但只要找出来,让飞机下降两个 flight level 即可绕开,"要花一点燃油,但不多"。
  • 他们造的系统:看卫星图识别 contrail(持续监测) + 因为天气模型的精度不够找出冰过饱和区,所以自己训一个卷积网 / UNet 去预测它们会出现在哪,再把图喂给航线规划软件让飞机躲开。
  • ⚠️ 那个卡了两年的问题(本页最硬的一条 ERA 战果)([00:47:34]–[00:49:34]):要算"这条 contrail 到底造成了多少暖化"是个反事实问题——你测得到实际的红外辐射,但拿不到"没有这条 contrail 的那个宇宙"。他们长波(外逸红外)那侧的反事实模型还行,而反射阳光那侧卡了两年;他们自己的尝试连自己的合成注入测试都过不了,⚠️ 而 ERA 找到的模型过了——"它搜了所有的混杂因子"。
  • ⚠️ 而且结果不是一坨怪代码:是"一个很简单的模型,只是某个混杂因子的组合我们没试过,而它非常有效——事后看很显然"。长波那篇已有论文,这篇在 EGU 讲过、尚未投稿。
  • ⚠️ 两条让 contrails 在政治上特别可做的性质([01:08:48]–[01:10:50]):
  • 它是局部的(不像 CO2)——"一个国家修自己头上的 contrails,主要改善的是自己头上的气候,所以他们喜欢这件事";
  • 效果不对称、几乎无法被反向滥用:暖化是持续且全球的,冷却只在太阳角度合适时发生;在两倍 sigma 的意义上,只有极地夏季的 contrails 能确定是冷却的,而南极几乎没有航班——所以"不会有人为了取暖故意去造"。
  • CO2 那条线为什么重要([00:50:34]–[00:51:36]):⚠️ 我们并不知道生物圈的碳通量——海洋与陆地各吸收多少,误差条本来就不小,而2100 年的误差条非常大:"仅因为'会被吸收多少'的不确定性,CO2 浓度的误差条就有 300 ppm,而现在是约 440–450 ppm"。

天气 vs 气候:为什么 AI 革命了前者、没革命后者

([00:52:36]–[00:59:43])本页第二条可迁移的方法论分界。

  • 定义上的差别:天气是"你在吸引子上的哪个位置"(约 15 天内,因为大气是混沌的、蝴蝶效应);气候是"吸引子本身的统计"。
  • 天气侧的阶跃是真的,但不是 LLM 带来的:⚠️ "那是基于 2018 年代的机器学习,加上大量数据与算力";他举的成果是热带气旋路径预测提前很多天就准得多(⚠️ 他提到牙买加被飓风重创那次"很多经典模型没预测出来",尤其是增强(intensification),因为那由海表温度驱动——"飓风本质上是热机")。
  • 气候侧为什么抗拒:
  • ⚠️ 它是非稳态的:植物的行为在变、冰的行为在变,吸引子本身在移动;而大家谈的tipping point 就是吸引子突然改变,"极其难以预测"。
  • ⚠️ 而且跑模拟时你分不清"是我的模型不好所以发散,还是这是真实的物理不稳定性"。
  • ⚠️ 它是低数据问题:"我们没有 30 年之后的数据,也不想等 30 年、50 年才知道自己是对的还是过拟合了";往回看也有限——"一百年前没人拿着仪器,所以某个地点一年一个数据点的话,运气好有 50 个点"。
  • 结论:⚠️ "到目前为止 AI 并没有革命气候,因为它非常抗拒——这是个低数据问题。"
  • 现状的替代品是 process model([00:57:42]–[00:59:43]):把极复杂的气候还原成上千个零件,再找写过第 763 号零件那篇论文的专家、他给某组数据拟了一条三次曲线。⚠️ 他举的"最神秘"的例子正好与 contrails 相连:云里的冰到底怎么行为——冰晶长大后会掉落,而掉多快取决于它的形状,而形状并不清楚;内外的混合也只有近似。"而这不是'John 关心 contrails'的问题——冰的微物理对气候模型的行为有很强的含义,而我们就是不知道。"
  • ⚠️ 他的希望(本页最值得长期跟踪的一条)([00:59:43]–[01:01:45]):不是今天的 ERA,而是明天的——因为它不仅能拟合数据,还能读论文,而且能读的论文比我们多得多。"如果能把人们仔细评估过的全部知识整合进来,再去拟合数据,那会相当辉煌。"他自陈的瓶颈很诚实:"我读过的论文数是 n,而我连 n² 那种两两整合都很难做到;而那几十亿参数里不知怎么装了那么多东西,还能让它去读 PDF,于是它开始把人不会去拼的东西拼起来。"
  • 主持人补了一条为什么这个形状重要([01:03:45]):这条路径是还原论式的——拼出来的零件各自是人能理解的,然后才组合成图景;"对生物或气候这类问题,如果答案不是这个形状,我们大概不会信它;如果一个黑箱大模型说'细胞就是这么工作的',我没法检查,我不知道该不该信。"

什么时候数据驱动模型就够了

([01:04:45]–[01:07:48])

  • 他的判据就是天气与气候的那条线:⚠️ 如果你在数据丰富、"封闭"的状态(天气,或因为有 PDB 而成立的蛋白质),那统计模型就行——AlphaFold 正是如此,"而且他们把它跑遍整个 PDB 并公开,这非常酷"。
  • ⚠️ 而当问题是开放的、非稳态的、需要大外推时(气候),就必须谨慎得多。他引 Box:"所有模型都是错的,有些是有用的。"
  • 主持人提供了生物侧的对应经验(本库记为同行判断):⚠️ 生物里要永远先跑简单基线,而且"有很多问题极其抗拒任何超出简单基线的东西,即使你有很多数据"(他举 Arc Institute 的 virtual cell challenge 里简单基线表现很好/可能存在过拟合)。Platt 的回应是"我也跟人这么说:先拟个线性回归,就拟一下"。
  • 主持人还提了一条AlphaFold 带来的认识论冲击([01:04:45]):物理出身的人习惯"模型是一个或少数几个方程,解出来你就知道了一切",而 AlphaFold 这类模型极其有用、打开了很多工具,但在核心上常常不给出物理学家历史上想要的那种直觉。

干预与气候韧性:FireSat

  • 他的框架([01:26:01]–[01:27:01]):⚠️ "气候变化像一种严重的疾病:你是治症状(适应)还是攻击根因?如果足够严重,答案是两者都要。"他本人与团队"非常非常关注干预",尤其是相对成本可行的那些。
  • FireSat 的物理与设计([01:22:58]–[01:25:00]):⚠️ 很多野火如果足够早被发现就很容易扑灭——"扑灭这个房间大小的火很容易,一旦到一英亩就难得多",而它们往往先小着一阵。所以:
  • 用中波红外(回到黑体辐射:那就是火的温度)让火在图上凸显;
  • ⚠️ 一个约 50–80 颗的低轨星座,就能在全球任何地方发现约 5 米见方的火,15–20 分钟内(颗数越多越快);
  • 传感器原生分辨率约 50×50 米,靠多光谱 + 超分辨做到 5 米级——"上面洒了不少 AI";⚠️ 中波红外需要制冷,所以卫星不算特别小。
  • 进展:与 Muon Space 合作已发射一颗原型,组织形态是非营利的 Earth Fire Alliance;他们还做火场边界检测并通过 Google 的产品(搜索、Android)推给公众;并与美国林务局合作,用一个神经网络代理模型替掉 1970 年代 Rothermel 那套 process model,以便跑得极快。
  • ⚠️ 动机的量级:世界卫生组织估计全球每年约 30 万人因野火烟雾超额死亡。
  • 能源侧的判断([01:10:50]–[01:21:58]):
  • ⚠️ 非移动场景里,可再生 + 电池现在基本无争议地更好;而飞机没有解(电池动力飞机很小、航程很短,"物理上很难想象,除非出现核电池这种东西")。
  • ⚠️ "气候变化没有银弹"(他自称讲过"pie chart of badness")——温室气体来自整个经济的许多处,必须一处处修。
  • 电气化一切的后果:⚠️ 所需电量会增长到约五倍;而水泥、钢铁这类很难电气化(炼钢本身是还原过程);更关键的是最后那 20% 需要基载电源,"所以聚变可能正是用在那里的"。
  • 聚变(他做过十年)([01:12:50]–[01:18:56]):
  • ⚠️ 他的时间表判断:"有确定的概率,有人甚至在这个十年结束前就做出商业相关的聚变——我觉得是三年而不是三十年。"
  • ⚠️ Lawson 判据解释了为什么聚变难:密度 × 温度 × 约束时间的乘积必须超过某个常数;"因为它是三个数的乘积,所以每条技术路线都有一个阿喀琉斯之踵——某一个数很小,然后他们拼命去抬那个数"。由此他给了一条读新闻的判据:⚠️ "那些激动人心的新闻常常只在讲三个数里的一个,你必须三个都有才能聚变。"
  • AI 在其中的位置是控制:⚠️ Google DeepMind 做过托卡马克的控制系统防止破裂(disruption);而FRC(场反构型)这类"自持的橄榄球形等离子体"不稳定性简单——"Z 不稳定性就是来回晃,做个 PID 控制器把它保持在反应器中心就行"。
  • ⚠️ 一条前 LLM 时代的经验([01:13:51]):他们曾与聚变公司 TAE 合作做"推荐下一步实验"的系统,而那边的科学家非常怀疑——"他们理应如此":即便在人类操作下,"你会听见一声巨响,然后装置停两周去补窟窿"。

给年轻科学家的建议,以及他自己的"过拟合"警告

  • ⚠️ "过去 12 到 18 个月发生了一次相变"([01:29:03]–[01:30:04]):以前的工作是为单个问题造专用模型("如果你认为那是你的工作,其实挺好玩");现在有了通用 AI,⚠️ "整个 AI for science 社区还在摸索——这些东西能 work 这件事太新了,我们集体还不确定什么是最好的做法,也许没有单一最好的,也许是一条工具链。**"
  • 他给的建议是"两条都要"([01:30:04]–[01:32:06]):⚠️ 发展深的领域专长(他说"我不认为领域专长会消失,因为它通向 taste",并补了一句开放问题——"人怎么在不做那些苦活的情况下获得 taste,这是个有意思的未解问题")+ 把所有可用的工具都玩一遍("不是说我们这些聪明的老人知道会发生什么——我们也在实验")。他以自己 21 岁的儿子为例:既在做 RNA 的领域专家,也在 vibe coding。
  • ⚠️ 训练 vs 发挥(本页最有意思的一条反优化建议)([01:33:06]–[01:35:06]):主持人问"过去靠一头撞问题练出来的技能,现在那些问题会被瞬间解决,你会怎么建议你儿子"。他的类比是爬山:"你当然可以开车上山,但偶尔徒步上山是可以的、甚至有趣的";更准确的是运动员——"有发挥的时候,也有训练的时候,也许人们就是得训练"。
  • 他自己的例证:⚠️ "在 80、90 年代没有这些开源包,我得自己写数值库、自己写机器学习——我大概用四种语言重写过四遍 boosting,所以我现在懂 boosting。"
  • 配套的制度([01:34:06]):⚠️ 他在自己组里非常努力地保护 20% 时间——"你想学点什么、想试点什么,连告诉我都不用";理由是"创造性的汁水就在那儿"。
  • ⚠️ 他对当下文化的判词:"世界似乎什么都想优化、想把一切榨干,但当你过度优化时你会损失一些东西——你过拟合到了生产力上。"他自己承认这条建议"可能是在逆着文化潮流游"。
  • 什么技能是持久的([01:37:07]–[01:38:08]):⚠️ 关于世界的根本性领域知识(生物、物理科学)、数学、严谨与核查、以及创造力与跳出框外。他对"我们是不是都变成中层管理者了"的回答是⚠️ "你不想当个空西装"——因为LLM 会出错,而且"它们犯的错和人犯的错不是同一类,很怪",所以你不能完全信它们;不过你本来也不该信自己(他引费曼:⚠️ "你绝不能骗自己,而你自己是最容易被骗的人")。
  • ⚠️ 他的"一个愿望"([02:00:18]):主持人问"如果能用魔法消除你领域的一个瓶颈"——"请谁来做出那个'什么都能做'的实验室:我发一个 JSON blob 过去,它就能做任何实验。"他自己接着说这基本上等于要解 AI-complete 的机器人问题——"因为现在像 ERA 这样的东西全是计算性的,总得有人去采数据。"
  • 同一组判断在前面出现过([01:31:05]–[01:32:06]):⚠️ 物理实验不会消失,因为实验是 ground truth,也是瓶颈;"人们在谈 lab in the loop,但这还非常非常开放——据我所知没人有一个什么都能做的通用实验室,只有一堆很具体的可控实验室。"

事实性细节与科学史(他的一手回忆)

  • 经历([00:01:00]–[00:03:01],多为主持人介绍、他确认):14 岁上大学、18 岁在 Caltech 读博,导师/共同导师是 John Hopfield(两三年前获诺奖);两个教科书级算法——Platt scaling 与 SMO(训练 SVM 的标准算法,今天 sklearn 里还在);发现并命名两颗小行星;2006 年技术类奥斯卡;在 Google 做过聚变、量子计算、气候建模等。
  • 费曼的"计算物理"课(1982)([01:38:08]–[01:40:09]):与 Hopfield、Carver Mead 合开,DARPA 资助("每周去能吃一顿上等肋排,我每周都去");课的结构是⚠️ 周二请客座讲,周四费曼站起来解释那些为什么全错;他还提到所谓 "费曼效应"——⚠️ "他讲的时候你说'是的是的我懂了',走出教室一想:不,我没懂。"
  • ⚠️ 他对当时状态的概括:大家并不知道问题是什么;那时还没有量子门模型;讨论的是可逆计算、每次操作的热力学下限之类。
  • ⚠️ 1982 年的算力:"四舍五入是零"——他当 Carver Mead 的系统管理员,组里有一台 VAX 11/750(约 1 MIPS),整个研究组共用一块 80 MB、洗碗机大小的硬盘。
  • NeurIPS 的由来([01:42:11]–[01:43:11]):⚠️ 80 年代初围绕 Hopfield 网络有巨大兴奋;Snowbird 的一个名义上私密的 workshop 所有人都想混进去,于是办了 NeurIPS;那个 workshop 又源自 1985 年 Santa Barbara 的 workshop、以及 Caltech 本地的 "hopfest"。
  • ⚠️ 一条他点出的历史闭环([01:43:11]):当年人们兴奋的是联想记忆(associative memory),"而如果你往下挖 transformer 是什么,它们就是联想记忆"——甚至有篇论文叫 Hopfield Networks is All You Need。他的总体评价是:那一代集体确实革命了计算机科学,但当年的希望与梦想远远超出了能力,因为我们实际上没有算力。
  • ⚠️ 为什么是神经网络赢了([01:44:11]–[01:46:14]):"神经网络赢是因为它们是唯一受算力限制的东西"(他补了一句:有了 transformer,现在又开始受内存限制);而它们骑在 BLAS 上,所以算法与硬件共同演化——"我很确定大脑不是靠矩阵乘工作的"。他记得 Hinton 组 2010 年前后就在用 GPU,但2007–08 年 GPU 并没比 CPU 快多少;⚠️ "它们真正起飞的时间和 ImageNet、以及一些语音识别成果同期,这不是巧合。"
  • ⚠️ 他自称造了 "convolutional net" 这个词([01:59:16]):"当时大家都叫它 LeNet,因为那是个很具体的东西、他们都给 Yann 打工;我不给 Yann 打工,我不想叫它 LeNet,所以我叫它卷积网——据我所知这可能是真的。"
  • 小行星怎么命名(40 年前 vs 现在)([01:46:14]–[01:50:15]):当年在 Caltech 上 Gene 与 Carolyn Shoemaker 的行星科学课,流程是去 Palomar 用快望远镜拍胶片 → 隔几分钟同点再拍一张 → 回校用立体镜看有没有东西"浮起来" → 用测量显微镜测已知参考星与它的位置 → 寄给小行星中心的 Brian Marsden;如果你那次观测正好是让他的软件把若干 apparition 串成一条轨道的最后一次,你就获得发现权与命名权。
  • ⚠️ 现在:智利的 Vera Rubin 天文台 / Simonyi 巡天望远镜把这一切自动化,"六周发现 11000 颗小行星"——"现在他们大概都不费心起名了"。
  • 一个私人小故事:他把其中一颗命名给父亲,另一颗(Carolyn 让给他的那颗)命名给母亲;⚠️ 去年一位业余观测者通过掩星发现"母亲那颗"有一颗卫星——主体约 4 公里、卫星约 1 公里。
  • 技术奥斯卡怎么来的([01:50:15]–[01:52:15]):1986 年他在 Schlumberger 的 AI 实验室做暑期实习,用弹性理论写了一个弹性体模拟器(做布料与可拉伸物体);⚠️ 那条线的后代成了 Pixar 等公司电影里用的物理模拟器,而奖是 20 年后才给的——"他们要确认这东西被广泛使用"。他对实习生半开玩笑地说:"实习做得特别好的话,你会得奖。"
  • 量子计算([01:52:15]–[01:58:16]):⚠️ 现在处在 NISQ 时代(他说这个词是 John Preskill 提的、"不是个好词,抱歉");提到 Willow 的量子纠错结果与他参与署名的 quantum echoes 算法(⚠️ 风格上正是费曼当年的提议:把一个参数化的哈密顿量拟合到观测数据上,例如解码 NMR 参数);团队按 Neven 几年前定的路线图在推进。
  • ⚠️ 他的时间判断:"我不认为是三十年以后,也不认为是明天;大概是几年到数年的量级。"原因是这些在 NISQ 阶段本质上是模拟计算机,极其挑剔,所以"不要指望突然出现某种相变";超导 vs 中性原子谁赢仍 TBD(物理比特/逻辑比特的比例仍然偏大,而这与二维连通性有关;中性原子理论上能任意连接,"但实践上我们并不真的知道限制在哪")。
  • 他的收尾([01:59:16]–[02:00:18]):⚠️ "我对 AI for science 的潜力极度兴奋……我认为科学家不会被取代,而且我希望他们能把全部时间花在创造性的事、严谨的事、哲学的事上。"⚠️ 主持人当场加了一句保留:"我也希望他们是对的,而不只是对一个不舒服现实的应对。"

相关主题

  • AI for Science(scorable task 映射、predictive vs descriptive、天气 vs 气候的数据丰裕度判据、process model 的拼图问题、contrails 的反事实问题、FireSat)
  • AI 做 AI 与自动化研究(ERA 的 UCB 树搜索与 Gemini 当变异算子、并行 10 叶子的交叉学习取舍、auto-Kaggle 起源、"在 Gemini 2.0 上不可能"、人类留在外循环)
  • 评估与基准(Goodhart 对每个排行榜单独生效、半像素标签被利用、隐藏 hold-out 的必要性、多重假设检验与 false discovery rate)
  • AI 与就业(taste 与 rigor 的两极分化、训练 vs 发挥、20% 时间、"过拟合到生产力")
  • 物理 AI 与机器人(⚠️ 他的"一个愿望"是"发 JSON blob 就能做任何实验的实验室"——他自己把它等同于 AI-complete 的机器人问题)

⚠️ 自动字幕专名对照(未核实的照录)

ERA(Google 的 AI-for-science 系统;字幕里也写作 "era")、Michael Brenner(ERA 论文一作,字幕有时作 "Burner")、Antigravity(Google 的 harness)、co-scientist、OCO-2 / OCO-3、GOES、contrail cirrus、Rothermel(1970 年代火蔓延模型)、Muon Space、Earth Fire Alliance、TAE(聚变公司)、FRC(场反构型)、Lawson 判据(字幕作 "loss in criteria")、Willow / quantum echoes / Hartmut Neven(字幕作 "Nevin")、John Preskill(字幕作 "Prescll")、Vera Rubin Observatory / Simonyi Survey Telescope、Brian Marsden、Gene & Carolyn Shoemaker、Carver Mead、Danny Hillis、Brian Catanzaro(NVIDIA,主持人转述的"15 分钟说服 Jensen"故事)、Dave Kirk、Bill Dally、Arc Institute virtual cell challenge(主持人提到)。