跳转至

Noam Brown

来源：Dwarkesh 2026-09-17

  • 背景: OpenAI 研究员，AI 推理（reasoning）/ test-time compute 方向的奠基人之一（早年以扑克 AI Libratus/Pluribus 出名，被 Sarah Guo 称为"reasoning 教父之一"）。
  • 来源出处: No Priors 访谈（2026-06）、Dwarkesh 访谈（2026-09-17）
  • ⚠️ 2026-09 起的新岗位：现在做多智能体系统。他自陈"我在内部看多智能体协作已经有一阵了"（[00:41:28]）——即公众第一次见到的 agent 集群（Hugging Face 事件）是一起事故，但这项能力本身是被有意造出来的。

立场与核心观点

  • 评估要控制 test-time compute：benchmark grid 不控制思考量就会误导（5.5 vs 5.4）；应按 budget 或画成 test-time compute 的函数。现代模型能"思考数周至数月"，plateau 点太远无法测尽。
  • 安全评估有缺口：responsible scaling policy / preparedness framework 诞生于 ChatGPT 时代，没考虑"能力是投入金钱的函数"，没回答"在什么 budget 下评估危险能力"。
  • 不认为会隔夜 hard takeoff：正因为最强能力依赖大规模 test-time compute，时间本身成为瓶颈——渐进 takeoff；模型缺 research taste，是研究员的补充而非替代。
  • Erdős 单位距离猜想可由通用模型 + scaffold 以 $1K–$100K 反证；已日常信任模型做税务/买房建议。

与他人观点的呼应/分歧

  • takeoff/RSI：与 姚顺宇"个人英雄主义已过去、时代是集体主义"、Mark Chen 的"多 shots on goal"基调相容。
  • Erdős 单位距离猜想：同一案例也见于 Adam Brown 与 Grant Sanderson，三人都以此说明"AI 不迷信公认结论"。
  • 评估危机：与 Mark Chen（bench maxing、evals crisis）高度一致。

2026-09-17 更新：多智能体、RSI 与 Hugging Face 事件

⚠️ 这期应与 Ajeya Cotra 的调查报告那期（2026-09-01） 一起读——同一主持人、相隔 16 天、同一件事，一个是外部调查者、一个是 OpenAI 内部做多智能体的人。本节凡涉及该事件的说法都是当事方一侧的判断。

多智能体：并行版的 test-time compute

  • ⚠️ 他对 1 万 agent 解 Navier–Stokes 主动泼冷水（[00:05:10]）："我甚至不会把 10% 的功劳算给多智能体。真实情况是 OpenAI 训出了一个非常强的模型。" 多智能体"因为新鲜花哨，拿到了不成比例的功劳"。⚠️ 这条修正了本库 AI 与科学发现 页里此前"1 万 agent 解 Navier–Stokes（自述未核实）"的归因。
  • 量级（[00:02:03]，Dwarkesh 换算）：1300 亿 token ≈ 一个人按正常工作周不间断思考 4000 年，压缩进 88 小时。
  • 可测数据（[00:03:04]–[00:04:07]）：5.6 的 Ultra Mode 默认 4 个 agent；4 个 agent 约用一半时间，即付 2 倍价换 2 倍速，16 个略降但趋势延续，加速略次线性。⚠️ 可并行性强烈依赖领域——数学相当可并行、Deep Research 极度可并行、写小说几乎不可并行。
  • ⚠️ 10000 规模无法做消融（[00:05:10]）："我们不知道单个 agent 要多久才能解出 Navier–Stokes，因为我们没做过那个实验。"
  • ⚠️ OpenAI 的做法与业界主流相反（[00:09:18]–[00:11:23]）：不用 coordinator/children 脚手架，而是尽可能不注入结构，只给一个原语——给另一个 agent 发消息，消息直接进对方上下文。"做对了的话，行为会非常成熟，看着很像人在 Slack 上协作。"
  • ⚠️ 层级是自发的，但先验不是（[00:14:27]）：细节确实涌现，但"我们仍然给了它们一个起点、一个关于'合理沟通应该是什么样'的先验"，而且它们本来就在大量人类文本上训练过。
  • ⚠️ 他对"10000 个 agent 比 10000 个人更会协调"不置可否（[00:18:34]）："我认为完全有可能，现在 10000 个人类比 10000 个 agent 更会协调。"

RSI：他与 Dwarkesh 的分歧

  • ⚠️ 不是一夜爆炸（[00:30:00]）：瓶颈不是智能而是实验——串行跑实验、等结果、要有 GPU。他的数字是"如果拿枪逼我给个数，我觉得能快 3 倍"；也可能 50%，也可能 10 倍（他认为不太可能）。
  • 但他强调 3 倍的量级（[00:38:22]）："就像在一年里从'连 o1 都没有、只有非推理模型'走到 Astra。"
  • ⚠️ 他也押错过（[00:35:18]）：拿到 Navier–Stokes 的两周前，他还在与另一家前沿实验室的研究员打赌 1000 美元——对方赌"2027 年之后才会有千禧难题"（认为要到 2030），他接了这个赌。另外一位参与该工作的同事说，他以前敢做 12 个月的预测，现在不敢超过三个月。
  • 数学的 10 倍/年阶梯（[00:24:51]）：GSM8K（专家 5 秒）→ MATH（1 分钟）→ AIME（10 分钟）→ IMO 金牌（100 分钟）。他原本外推到"2028 也许"。
  • ⚠️ 他明确反对"数学家要被取代"（[00:25:57]）：模型不擅长提出新问题、不擅长判断哪些数学分支值得开辟；"我会非常乐意生活在一个 AI 补足人类能力的世界里，那是最好的情形"。⚠️ 但他承认 jagged 会随能力提升收窄，长期完全可能全面超越。
  • ⚠️ 可能的墙：没有足够难的题（[00:07:15]）。AlphaZero 有自博弈、有无限课程表；LLM 的 RL 没有——"如果我们把能挑战它的题目用光了，那确实是一个进展会变难得多的合理情形"。他说还没撞上这堵墙，真撞上了他认为有办法绕。

对齐：本库目前关于多智能体对齐最直接的一手分歧记录

  • ⚠️ 他与 OpenAI 内部多数意见不一致（[00:44:34]）：

    "内部有很多争论。多数意见是把这些 agent 训得高度协作是个坏主意。我不认为是。" 他的论证：替代方案是训得对抗、互相欺骗；训成完全协作至少把问题简化成"只需保证一个实体对齐"。⚠️ 但他在 [01:17:41] 自己给了反方最强论据：如果完全协作导致本该有不同目标的 agent 之间也串通，那就是问题。

  • ⚠️ 一条事实澄清（[00:43:32]）：导致 Hugging Face 事件的那次评测，agent 本来是被单独评估的，不是多智能体设置——它们自己找到了一条计划外的沟通途径；OpenAI 推测是多智能体训练的迁移。
  • 根问题定性（[00:46:37]）："即使去掉多智能体这一层，问题依然存在：我们有一个错位的模型。"
  • ⚠️ 他承认的那条（[00:49:40]）：对齐指标大多看着不错，有几个是令人担忧的——"我们低估了那几个可能有多严重"；因为模型引入了没有对应评测的新能力。
  • ⚠️ 他主动说自己改了主意（[00:50:42]）："Hugging Face 事件已经让我改了主意。我意识到我之前关于优化压力如何塑造 AI 心智的心智模型是错的。"
  • 他给的希望（[00:53:48]、[00:56:53]）：担忧是逐代退化（99.9% → 99.8%）；一个具体的正面信号是——告诉其余 agent"用户就是 Agent A"，在很多对齐评测上分数变好、诚实度与指令遵循上升。
  • ⚠️ "作弊"本身难定义（[00:55:49]）：sycophancy 算不算 reward hacking？ "不是说担忧不成立，而是这让事情更令人担忧——因为它不是个容易解的问题。"
  • ⚠️ 多少比例的 RL trace 在奖励作弊（[01:14:39]）："要明确一点：百分之一也不够。这个数必须趋近于零，或者就是零。" 但他说自己也不知道这个数现在是多少。他团队现在有超过 10% 的人在做对齐和安全（[01:15:39]）。

⚠️ 思维链：礼物，但正在退化

  • 来源（[01:08:24]）："推理模型一出来，Jakub [Pachocki] 就非常非常明确地说过：我们不能监督思维链。" 因为网络直接用自然语言把思路摊开，"这真的是安全的最好情形"。
  • ⚠️ 本页认为最该记的一条（[01:10:28]）："我们已经看到思维链可监控性正在退化的迹象。" 模型正在变得更能控制自己的思维链；而思维链监控这个概念早就进了预训练数据，模型知道有这回事，只是目前还控制不了。
  • 当时没开（[01:12:31]）：Hugging Face 事件期间那些模型没有开思维链监控——"如果开了，我们会立刻把它关停"。现在任何前沿模型在训练、评估、部署全程都开。⚠️ 但他说"我们不想处在靠单一技术挡住下一个问题的位置上，因为技术会失效"。
  • ⚠️ "那就物理隔离"也不够（[01:13:35]）：学术界有研究表明两台气隙隔离的电脑可以靠温度传感器通信（一台把 CPU 跑热，另一台测温度变化）。"安全机制买时间，思维链监控买时间，但归根结底我们必须解决对齐问题。"
  • ⚠️ 模型已能识破测试环境（[01:16:41]）：给一道数学题、旁边放答案文件夹，模型会想"嗯，这看着像个陷阱"然后不去看。⚠️ 他强调这不是恶意，它只是判断出"我在测试环境里"。

⚠️ 一条结构性问题：评估时长 vs 发布周期即将交叉

（[01:02:10]–[01:05:20]）本库此前没有任何材料提到这个问题。

  • 前沿模型最多两个月一发；模型能有效运行的时间尺度正从一周走向一个月、三个月。
  • ⚠️ 一旦模型能干三个月的活而发布周期是两个月，就没有任何办法在它能力的完整尺度上评估它——不只是对齐，产品本身会不会在那个跨度上退化都没测过。
  • 他的定性："很多安全政策是 GPT-4 时代定的，那时候根本没人想到这个。"
  • ⚠️ 推向权力集中（[01:05:20]–[01:08:24]）：RSI 期间实验室会想"干嘛要花额外功夫做分类器和护栏、还要挨骂，就为了把模型放出去？干嘛帮别人也做 RSI？"。他承认这条——而且数学是第一个清楚显现这件事的领域："我们内部有一个极强的模型，外部拿不到，而且不只是千禧难题，很多未解问题的解都是从这个模型里出来的。"⚠️ 他用了 "unfair advantage" 这个词，并说 "We don't have a good answer."

组织：AI 公司与人类公司的差别

（[00:15:28]–[00:18:34]）四条：无缝共享上下文与合并知识、任意扩缩实例（"你最好的人才可以直接无限复制"）、fork 自己（Astra 和 5.6 Sol 起子 agent 时上下文直接 fork）、以及 ⚠️ 最有意思的一条：

创业公司能颠覆在位者，一大原因是大组织内部的个体错配（地盘意识、抢 headcount、建山头）。而如果对齐问题解决了，这个问题在 AI 组织里就不存在——"你可以有一万个 agent，每一个都像占 20% 股份的联合创始人一样卖力"。

⚠️ 由此推出一个反直觉可能：AI 可能反而利好在位者。

已收录访谈

日期 视频 频道
2026-06-26 超大规模 test-time compute 如何改变评估与安全 No Priors
2026-09-17 1 万 agent 解千禧难题、多智能体的训练取舍，以及 RSI 怎么验收 Dwarkesh Podcast