AI for AI / Auto Research:用 AI 加速 AI 研究本身¶
本页汇总"让 AI 去做 AI 研究"这条线上的观点。它与 AI for Science 相邻但不同:那里 AI 服务的对象是自然科学,这里服务的对象是 AI 自己。 2026 年这条线同时出现在三种人口中——neo lab 创始人(把它当技术路线)、前沿实验室(把它当能力里程碑)、投资人(把它当"领先会不会扩大"的变量),而三者说的往往不是同一件事。
为什么 2026 年这条线突然热起来¶
来源:张小珺 / 刘子鸣
张小珺的观察(中,2026-07)¶
- 2026 年中美同时涌现一批 neo labs,"有研究背景的老师或者学生正在成为一级市场的新宠儿……在还没有产品的时候就能以估值数亿美金融资";她判定资本最活跃的两个方向是世界模型与 auto research(刘子鸣期 [00:00:00])。
- 三幕说(她提出、刘子鸣未反对):第一幕 Chatbot、第二幕 Coding Agent、第三幕 AI for AI([01:17:27])。
刘子鸣的成因诊断(中,清华 / 期智,2026-07)¶
两条,都很具体([00:36:41]–[00:42:48]):
- 人才选择问题——顶尖人才的选项无非学界、去大厂"当大头兵"、自己单干;"现在的人才不太希望去大厂里面去当大头兵"。
- 当前范式有明显打击不到的痛点,且那些痛点早期需要大量 research,"不是堆资源堆工程就能做成的"。他点名两个:auto research 与 world model。
⚠️ 他还给出了这两条赛道"大语言模型辐射不到"的不同原因,这个区分本库此前没有([01:34:52]):
| 赛道 | 缺什么 |
|---|---|
| 世界模型 | 缺架构——要找到更全新的架构,能更好地抽象、找到物理世界真正的 latent space |
| auto research | 缺数据——"大语言模型没见过这种数据"。"有了这些数据,其实大模型也能吃,做的可能也不赖。" |
核心分歧一:直接用 AI 提升 AI,还是先做 AI 的科学¶
来源:张小珺 / 刘子鸣
这是本页目前最清晰的一条路线分野,且双方互相认识、互相点名。
刘子鸣:AI for physics of AI for AI(中,2026-07)¶
他自称"挺非主流",并要求把中间那一步说清楚([01:09:19]–[01:10:22]):
"AI for AI 绝大多数人想到的是——我直接用 AI 去提升 AI 就好了。但我说 stop,中间其实还有一步:我们要先做 physics of AI……但人做太慢了,所以我需要用 AI 来帮我们做 physics of AI。所以我的 AI for AI 的全称应该是 AI for physics of AI for AI。"
论证是关于数据的:AI for X 能成功的前提是 X 有大量数据,而 AI research 没有结构化好的高质量数据,且"结构化"本身就需要 physics of AI。
对 coding-agent 路线的概括与批评¶
⚠️ 他给的对照很干净([00:46:57]):
"coding agent 的这个路线更像是做一个更勤奋的 AI for AI——我有超强的行动力,可以不停地在这里迭代。但是我们这里想做的 AI for AI 是一个更聪明的 AI for AI:比如说我提三次想法可能有一个就 work 了;之前的话你 coding agent 可能是你提 100 个想法,只有一个能 work。"
他强调两者正交、互补,"最终勤奋和更聪明都是需要的"。但对"靠 memory 驱动"提了一条机制性批评([01:28:47]):
"维持一个好的 memory 系统,但是你不理解它背后为什么学习率会失败,你之前的经验也不一定是对的——可能之前失败是因为 A 原因,第二天其实是 B 原因,这时候调学习率可能反而是对的。"
他把分歧命名为 经验驱动 vs 机制驱动。⚠️ 他同时坦承危机感:"我跟田渊栋也聊过……他本人其实是挺支持 Science of AI 的。如果说他们的路线最后会变得和我比较相似,那就一定是田渊栋做的。"([00:47:58])
第三条:paper agent(本库暂无一手材料)¶
刘子鸣点名的国内另两条路线都更偏 paper agent(让 AI 自己写 AI research 的论文):孙天祥(belief 是"language 基本上就是整个世界")、清华 AI 院另一位老师。⚠️ 他明确不做这条([01:03:11]):
"我在博士期间我就是个 paper machine,我也知道这些 paper 写出来真正有价值的可能就那么几个点……研究的第一性原理是拓展自己的知识图谱,paper 只不过是一个副产物。"
核心分歧二:research 能不能被结构化¶
来源:张小珺 / 刘子鸣
这是决定 auto research 可行性的前置问题。
刘子鸣的"祛魅判据"(本页最好用的一条工具)¶
"我们现在还大量地在说'我们需要研究的直觉''我们需要研究的品位'——当我们说这些词的时候,其实就默认了研究它不是一个可以很好被结构化的东西。一旦当一个东西可以被结构化、可以被标准化、可以被规模化,大家就应该会对这个东西祛魅。但是我们现在还没对 research 祛魅,说明它还没有被结构化。"([00:39:45])
research 与 coding 的两点差异:coding 高度结构化,且有 GitHub 这样的高质量结构化数据;research 两条都不满足。所以"AI for coding 已经非常成功了,下一个范式自然而然是 AI for research"——但不能照搬。
OPHIS 方法论([00:40:47]):O = observation、P = problem、H = hypothesis、I = intervention、S = speed up。"所有 research paper 都应该按照这种结构去结构化",有了这套就"相当于创造了一门研究的语言",然后像训 LLM 一样训一个 research language model。⚠️ 他说方法论与初步结果最近会 release 一篇博客——本库最可跟踪的节点之一。
数据从哪来:论文只是结果¶
- 张小珺切中要害:论文是整个研究探索的结果,过程中的灵光一闪、曲折都没有被记录下来([00:58:08])。
- 刘子鸣的估计:可能 1% 的 AI 论文结构化做得不错(举例朱泽园的 Physics of Language Models),99% 不包含清晰的研究思维链([00:58:08]–[00:59:10])。
- ⚠️ 一条尖锐的学术文化观察([00:59:10]):"我感觉在很长的一段时间里面,大家把展现思维链当作一种耻辱"——"你要显示你很厉害,就要让别人觉得不可捉摸,直接把公式写下来说'这是我梦到的,不是我推出来的',那样别人觉得你最牛。"
- 自采路径:做一个采集研究思维链的 device/software。⚠️ 目前形态很朴素——"我在做下一个实验之前,我必须要强迫你去写一段话,评价你之前干了什么、得出什么结论,你才能进入下一个实验"([01:00:10])。数据量估算(他明说"这是我瞎说的,还没开始采"):一天 10 条 × 20 人 = 一天 200 条,两个月 1 万条,"差不多可能开始够用了"([01:01:10])。
- 中间产物不是元模型而是 next action prediction:收集器同时是环境——"相当于是一个我的世界(Minecraft)科研版";学生卡住时调用"子鸣 model"问"如果是子鸣现在做,他会怎么做",不需要我在场就能获得同水平的反馈([01:01:10]–[01:02:11])。
对"研究品位"的祛魅¶
"我觉得研究品位、研究直觉其实是一个遮羞布——因为我们聪明到可以提出一个想法,但没有聪明到可以用语言说出来我是怎么提出这个想法的。"([01:29:49])
他认为思维链一定能或多或少被说出来——"你如果说不出来,说明你还没有拷问得太深"。
⚠️ 这与本库另一条主线正面对撞:朱邦华 & 江鋆晨"价值向有 taste 的人集中"、Xaira / Bo Wang"品味 > 代码"、Akshay Nathan"瓶颈变成想法与品味"——都把"品味"当作不可替代的剩余物,而刘子鸣认为它只是尚未被结构化的东西的名字。这是本库目前关于"品味"最实质的一组分歧。
元模型:预测 next curve¶
来源:张小珺 / 刘子鸣
刘子鸣路线的具体技术形态([00:47:58]–[00:56:07])。⚠️ 转录稿把"元模型"转成"原/圆模型",其自定义是"关于模型的模型"。
- 定义:输入一个模型(外加数据集、优化器),输出这个模型的训练曲线。张小珺的并列:世界模型预测下一个 state,语言模型预测 next token,元模型预测 next curve。
- ⚠️ 来源是一段 60 天的人体实验:他每天随机拉数据集与模型来训练,跑实验前先要求自己预测训练曲线;起初"连趋势都预测不对",四五十天后开始变准,甚至跨模态也能预测准。拐点他称作 "我突然 grok 了",且说不清机制——"可能是一种视觉的 reasoning,可能还有一些潜空间的 reasoning,但我也说不清楚"。
- 动机:能预测就等于"脑子里有一个关于 AI 的世界模型"——这正是物理学的定义。
- 要外化的理由:人一天最多做一两个实验(bandwidth),"如果我日复一日把自己当元模型训练,可能要训练 1000 年,但我活不了那么久"。
- 用途是事前排序:100 个架构不知选哪个,元模型前传 100 次做预测,"非常便宜";最终仍要真做实验,但筛选想法这一步被加速。
- ⚠️ 算力形态与大模型公司不同(一条容易被忽略但很实的判断):需要不少算力,但不需要大集群、不需要卡间高速 communication,因为跑的是大量小模型;关键指标是多样性而非规模——"要让元模型见过很多人看起来非常奇怪的架构",以跳出 Transformer 这个 local minimum。
- 终极目标:"下一个 Transformer 不是人拍脑袋发现的,而是元模型预测出来的。"
可证伪的路标¶
来源:张小珺 / 刘子鸣
刘子鸣:垂直领域的新架构,且要涨 10 个点(2026-07)¶
本页目前唯一给出量化标准的路标([01:15:27]–[01:17:27]):
- AI for AI 系统能在一个垂直领域(不需要通用)提出一个新架构,碾压现有架构。
- ⚠️ 何恺明的 ResNet 类比给出了标准:"大家为什么会用 ResNet?有人说是很优美,但不要忘了当时何恺明在 ImageNet 上比第二名高 10%。你要么用拳头把敌人打赢;打不赢,这时候才需要口舌去说服别人。"落到指标上——"刷榜不是涨 1% 的点,而是涨 10% 的点。"
- 与 AGI 的关系:必要不充分。还缺的是抽象能力("人有持续学习能力是因为人会做抽象;现在的 AI 仍然不会做抽象,如果说它能,最多是因为数据本身已经被抽象好了")。但他限定:达到"垂直领域提出好架构"不需要解决持续学习;解决 AGI 才需要。
与"递归自我改进"的关系:本库的几种态度¶
这条线上分歧最大,值得并列看。
| 立场 | 谁 | 说法 |
|---|---|---|
| 递归会让领先扩大 | Brad Gerstner(美,投资人) | benchmark 在收敛但收入分布完全没收敛;"模型越聪明→收入越多→算力越多→模型越好"。⚠️ 本库已记录该反方论点在 2026-07 的退守(ai-business-and-value-capture) |
| 递归是受限的 | Eiso Kant(美/Poolside) | LLM 确实让 RSI 成为可能,但"递归是受限的——它多半只探索已被探索过的东西",离已知分布不远。真正的未知之未知仍属研究领域 |
| 不存在奇点 | Jonathan Hurst(美/Agility) | "我不相信存在这个奇点……把它想成一个滚下山坡、越滚越快的雪球"——而它滚起来是因为人在投钱、投资源、投工程时间 |
| 窄域自我改进是下一步 | Karpathy(美) | 可验证域(数学/代码)可无限跑 RL;开放问题是能否迁移到不可验证域 |
| 先做科学,再谈自动化 | 刘子鸣(中) | 不谈奇点。他的框架里 AI for AI 是加速 physics of AI 的手段,而非自我引爆的过程 |
⚠️ 刘子鸣提供了一个此前没有的转折:他此前认为机制可解释性"是好目标但太难了、要几百年",放到 AI for AI 框架下重新估值——"之所以需要几百年,是因为我们没有办法自动化。一旦能自动化,进展其实可以很快。"(刘子鸣期 [01:14:25])这把"太难所以不做"变成了"难度是自动化程度的函数",是本页最有传染性的一条论证结构。
从业者的切身利害¶
- ⚠️ 广密(中,投资视角,2026-04):"连最牛逼的 AI researcher 都担心一到两年后没工作"——因为 AI 将自动化整个 AI research workflow。这是本库对"AI 冲击"最激进的一档判断,与 Sinofsky/Evans"生产力永远创造新工作"形成鲜明张力(见 ai-and-jobs)。
- Gray Swan 创始人(美)主张"用 agent 自动化 AI 研究本身";Mark Chen(OpenAI)的 vibe researcher 提法属同一谱系。
- 对照之下,刘子鸣是本库中唯一一个把自己当作训练对象、并给出 60 天实验记录的人——他要外化的不是"研究工作",而是自己的预测能力。
中美对照¶
来源:张小珺 / 刘子鸣
- 资本节奏:⚠️ 本库目前最直接的一组投资人耐心对照来自本期([01:31:49])——美方 neo lab(Andreas Tolias 的神经科学实验室)被投资人告知"三年之内不用考虑商业化"(理由很实:养猴子采数据的周期避免不了);而张小珺直接点破"国内的投资人恨不得你现在当天就能盈利"。刘子鸣的 roadmap 因此被压到 6 个月 R&D、一年内产品化。
- 融资机制:⚠️ "种子轮加轮、加加轮、加加加轮,可以无限地加下去"——上一轮没进来的投资人就为他开一轮,形成连续融资状态([00:44:51])。
- 词汇混乱是共同现象:"现在所有 neo labs 都是——他形容他在做什么事情,创业者和投资人脑子里就不是一个事。之所以用这些 cliché words,是因为投资人得听懂。"([01:33:51])他自己也承认还没找到最准确的词(若只选一个,auto research 最接近)。
- 人才密度:⚠️ 一条可争议的一手体感——"我在 MIT 也带过二三十个本科生,我的体感是平均水平远不如清北的本科生",这是他回国的直接理由([00:45:54])。
- 组织形态:neo lab "既不是 lab 也不是公司"——"6 到 12 个月按 lab / research institute 的方式运转;一旦 grok 了、一旦顿悟了,就应该按公司的方式运转"([01:32:50])。这与 Poolside 的"工厂化研究"是同一问题的两种答案:Poolside 讲的是已经在跑时怎么组织,刘子鸣讲的是什么时候该从 lab 切换成公司。
待跟踪¶
- 刘子鸣团队的 OPHIS 博客(他称"最近会 release")——本页最近的一个可验证节点。
- 10% 涨点路标是否在某个垂直领域出现,以及由谁先做到。
- ⚠️ 引用本期须带时间戳:他主动提示路线"每周都在改,甚至每天、每个小时都在改","如果采访是上周发生的,我就不会讲这一趴"(刘子鸣期 [01:02:11])。
来自商业产品的自改进案例:Decagon 的 Duet(2026-07)¶
本页此前的材料全部来自实验室或 neo-lab 侧(刘子鸣的元模型与 vibe training、Lila Sciences、对 coding-agent 路线的讨论)。Decagon 那期 是本库唯一一份来自商业产品的自改进案例,值得记,也值得划清范围。
它做什么¶
Duet 是一个"更大、更慢的第二个 agent",它的职责是接管此前由人(FDE)做的全部工作([00:30:16]–[00:32:16]):
- 写 AOP(agent operating procedures)——教主 agent 怎么做事的流程;
- 写这些流程要调用的工具与集成;
- 自己主动写出配套的测试与仿真;
- 上线后监控所有对话,标出做得差的话题,并起草改进方案。
Duet Autopilot 更进一步([00:06:02]):"它要去审阅一百万条刚发生的对话、找趋势、造出主模型的变体、看哪个变体表现更好。"
他们的原话:"你可以真的直接告诉它:我到现在什么都还没建,但这里有一堆转录稿和一些文档,你去想出做这些流程的最好方式。"
⚠️ 范围界定(本页最该标注的一点)¶
Duet 改的是 harness、流程、提示与测试,不是模型权重。 "造出主模型的变体"指的是在他们的编排系统里生成候选配置并 A/B,而非自主训练。因此它在本页的光谱上处于与 RSI 最远的一端:
| 改什么 | 谁在闭环 | |
|---|---|---|
| Duet(本节) | harness / 流程 / 测试 / 提示 | agent 提议,人仍在部署路径上 |
| 刘子鸣的 vibe training | 训练配方与架构 | 目标是让领域专家不写代码就能训模型 |
| Sacks 转述的 RSI 信仰 | 模型自身能力 | 无人 |
⚠️ 一条关于能力时点的证词(本页该记的)¶
([00:32:16])
"我们刚创业的时候这是不可能的。只有当所有推理模型都变好之后才变得可能。 Anthropic、OpenAI 造这些推理模型主要是为了 Claude Code 那类东西,但它们对 Duet 这种也非常好用。" "很清楚,这些模型没有在我们这个特定任务上被训练过——就是写这些流程、写这些测试——但它们仍然做得很好。"
为什么这条对本页有价值:本页的核心争论之一是research 能不能被结构化。Duet 是一个已经兑现的、范围很窄的结构化案例——"把一份工作拆成写流程、写测试、读结果、提改进"这个循环被证明可以外包给通用推理模型,且不需要为它专门训练。这既支持"很多看起来需要品味的工作其实可结构化"这一侧,也提示了边界:他们同时明确说 AI 还不能"拍板该建什么、该排除什么",也没有"这件事做完了没有"的品味([00:52:33])。
⚠️ 另与 Lassie 的"模型根本不知道这些活怎么干" 构成张力:同为垂直 agent 公司,一家说模型没编码行业工作流知识,一家说模型在没见过的元任务上泛化得很好。本库并列不裁决,但注意任务性质不同——这个区分本身可能就是答案的一半。
可跟踪:Chamath 预告的 token 效率跃迁(2026-07)¶
(2026-07-31 All-In [00:25:20])本页 可证伪的路标 一节增记一条:
"AI 里最关键的那个生产率红利……我不会抢跑,但让我先剧透一下:我认为有一些惊人的效率即将被演示出来,对同一个任务实质上把 token 消耗砍掉大约 50% 到 75%。"
⚠️ 未点名、未给时间、未给机制。本库记为一条待兑现的预告;若兑现,它会同时影响本页(自动化研究的算力成本)、AI 算力与基础设施(Dwarkesh 的算力稀缺论证的前提)与 AI 商业化与价值捕获(前沿实验室的收入曲线)。
⚠️ 生产系统里的第二个自改进案例:GLM 5.2 为自己写 GPU kernel(Baseten,2026-08)¶
来源:Latent Space 访谈(Philip Kiely & Ali Taha)[01:32:58]–[01:34:59]
本页此前唯一来自商业生产系统的自改进案例是 Decagon 的 Duet(改 harness、流程与测试)。这是第二个,层级更低——改的是运行该模型的 GPU kernel:
Baseten 把自家的 GLM 5.2 端点接进编码 harness 给全体工程师用,循环是: 1. 在 GLM 5.2 的实例上跑一次前向; 2. 取 profile trace 并分析; 3. 找出 SGLang 里成为瓶颈的 kernel; 4. 写新 kernel → 再 profile; 5. 完成后上传镜像,拉下来重复这个循环。
"我们推理引擎里跑 GLM 5.2 用的一部分 GPU kernel,就是 GLM 5.2 自己写的。"
⚠️ 范围界定(与 Duet 同样重要)¶
- 不改权重。改的是服务这个模型的系统软件,与 Duet 改 harness/流程/测试属于同一类"围绕模型的自改进",而非本页争论的 RSI 意义上的权重自迭代。
- 当事人自己给的限度:"还需要更多时间,有很多事它们做不了……它们仍然会奖励黑客,往最省事的路上走,在决策上似乎并不好。"
- 一个更朴素的替代解释(Philip):他几年前的一大块工作是给 HuggingFace 上任意新模型写 config,"现在这个 config 一次就能生成,我不用再做了——但这与其说是模型在优化自己的推理,不如说是模型能读 SGLang 文档"。⚠️ 本库照录这条降温,它正是本页反复出现的"能力 vs 检索"之辨在工程侧的一个实例。
- ⚠️ 一个被明确提出但双方都不下判断的开放问题:GLM 5.2 是独特地擅长优化自己(on-policy 优势),还是它只是当时最好的编码模型、去优化 DeepSeek/Kimi 也一样好?swyx 的追问与两位嘉宾的回避都被完整记录("你算力比我多,你去试")。这正是本页"模型训模型"条线最该被实验回答的问题之一,本库记为可跟踪项。
- 现场半开玩笑但方向清楚的一句(swyx):AI Engineer 大会的口号是"RSI until AGI"——"我们已经有模型训模型了,下一步显然是模型优化自己的推理"。
与本页"持续学习"条线的接口¶
同期 Ali 给的持续学习判断([01:40:04]–[01:41:04])对本页有直接含义:他自陈被说服放弃"把知识推进权重"这条路,理由是权重编辑改不动二阶推理——可以把"最好的大学是滑铁卢"编辑进 MLP,但让它用这条知识去推理"该从滑铁卢还是 MIT 招实习生",它仍会说"都不错"。⚠️ 若这条成立,"模型持续改进自己"在近期更可能表现为 KV cache 侧的知识累积,而不是权重侧的自迭代——这会把本页的 RSI 讨论进一步推离"权重自修改"这个直觉图景。详见 AI 算力与基础设施。
⚠️ 对 RSI 时间表最直接的一条证伪框架(Sarah Guo,2026-08)¶
本页 「与递归自我改进的关系」 已有几种态度,但它们质疑的东西各不相同:刘子鸣质疑路线(该先做 physics of AI)、Sacks 质疑动机(Pacing the Frontier 是表演性的)。Sarah Guo 加的是第三种——质疑这类预测的历史命中率本身。
被质疑的对象:实验室内部的当下时间表¶
Elad Gil 转述([00:17:09]–[00:18:10]):距离"代码这件事被彻底解决"约六个月到今年年底;明年年底撞上某种轻度 RSI,届时"你会有模型在训练模型自己相当大的一部分——一开始更可能是后训练,也许随时间也能更快影响到预训练"。
她的三段回应¶
- 先把可信的那半拆出来:"模型能改进自己的训练——如果做这件事的顶尖科学家相信它,而且它是我们已经在代码和数学上看到的东西的延伸,那你当然该相信它。"
- ⚠️ 然后打时间表(本节最该被引用的一句):
"我掌握的数据是:一群非常聪明、甚至非常有自知之明的研究科学家,在过去五年里每隔 18 个月都觉得递归自我改进或 ASI 还有 18 个月。所以它作为一个预测器有多好?不清楚。"
- 技术性分层:从代码 → 训练代码 → 数据管线工作的外推"容易相信得多";难的是"在可验证性更低、更复杂的领域里你要怎么去采集那些数据"。
⚠️ 她给的替代瓶颈:物理算力,不是算法可能性¶
"或者你是不是撞上了物理算力可获取性这一侧的真实约束——我觉得那大概比'这件事在算法上可不可行'更是限制器。"
Elad 由此推出一条结构性结论([00:19:11]–[00:20:11]):物理算力反而强化寡头格局——它给任何单个实验室的进步速率设了一个天花板;如果算力大致按比例分布在各大实验室之间,"在算力约束存在的情况下,你几乎有了一个被强制的寡头市场"。他把"那个约束什么时候解除"记成开放问题。
⚠️ 本库标注:这条与本页 可证伪的路标 是不同类型的工具——刘子鸣给的是内容判据(垂直领域的新架构且要涨 10 个点),Sarah 给的是元判据(这类预测的基率)。两条一起用效果最好:基率低不等于这次是错的,但它要求路标而非宣言。
同一期还记录了这套信念的二阶效应(燃尽周期、婚姻与生活决策的推迟),详见 AI 与就业。
⚠️ 竞争焦点正在移向 RL 环境的构造(Simon Mo,2026-08)¶
本页此前的两条生产系统侧证词是 Decagon 的 Duet 与 GLM 5.2 为自己写 GPU kernel。这是第三条,⚠️ 但证据强度低于前两条——它是一位推理服务从业者对整个开放权重生态的产业观察,不是自家系统的一手记录。
- 他的配料表论证:算力集群 + 训练数据 + 出色的研究员——而最关键的一味不是数据来源,是环境。
- 例证:K3 在 Arena 上最有用的一条 benchmark 是前端编码,说明 Moonshot 造出了最好的前端编码环境之一(模型写代码 → 看渲染结果 → 继续循环迭代)。"这是关于他们改进模型的环境,不是关于他们从哪拿的数据。"
- ⚠️ 预测:
"接下来一年将全部关于这个——开放权重实验室怎么差异化、怎么让模型接触真实世界,以及做当下流行说法里的'递归自我改进'来整体提升模型。"
对本页的两点意义:
- ⚠️ 它把"RSI"这个词的实际所指降到了非常具体的一层:不是模型改写自己的权重,而是谁能造出更好的 RL 环境让模型在里面迭代。这与 Decagon 的 Duet 范围界定、GLM kernel 的范围界定 是同一类降温——本页记录的三条生产侧证据,无一指向自主的权重级自改进。
- 环境无法被蒸馏这条推论直接进入政策层,详见 中美 AI 生态对照。
⚠️ 本页第一份正面的、系统性的 RSI 论证(Ryan Greenblatt,2026-08-11)¶
来源:Dwarkesh 访谈 Ryan Greenblatt(Redwood Research 首席科学家)。
⚠️ 这条材料在本页的位置需要先说清楚:本页此前积累的三条生产侧证据(Duet、GLM kernel、Simon Mo 的 RL 环境观察)无一指向自主的权重级自改进,且都带范围界定;Sarah Guo 的证伪框架 是对时间表的外部质疑。Greenblatt 那期是本页第一份把整条论证从头搭起来的材料——而且形式特殊:Dwarkesh 自陈历史上一直怀疑,全程逐条压力测试,片尾给出分项立场更新。
一、被做实的换算(本页此前最缺的一环)¶
本页此前谈 RSI 时,"加速"一直是定性的。这里第一次有了可检验的换算链:
| 项 | 数值 | 出处 |
|---|---|---|
| 自动化 AI R&D 后一年的进展 | 四到五年(中位预期) | [00:01:02] |
| 五年 AI 进展需要的算法进展 | 约八年 | [00:18:35] |
| 锚点:今天用 GPT-3 级算力(约 3e23)训练 | 得到比 GPT-4 好一个中等幅度的模型 | [00:18:35] |
| GPT-3 → Mythos 的算力差 | 三个数量级出头 | [00:17:28] |
⚠️ 为什么这个锚点重要:它把"算法进步能替代多少算力"变成一个每年都可以重新测量的量——"用 N 年前的算力 + 今天的算法,等于几年前的最好模型"。本库把它记为一把双方都能用的共同标尺:Greenblatt 用它论证加速可行,而任何认为 RSI 会被算力卡住的人(如 Sarah Guo)也可以用它来反驳。
他自己给出的重量提示,引用时应带上([00:01:02]):"这需要克服研究中巨大的收益递减,基本上等于做到那种在一次很大规模的算力扩张之后才会得到的进展。所以这是件相当了不起的大事。"
二、时间表¶
- AI R&D 完全自动化:中位数约 2030–2031。
- "在任何岗位上打败所有人":中位数约 2033。
- ⚠️ 但方法论上的关键一句:"如果我真的看到 AI 完全自动化了 AI R&D,我预期(后者)大概在一年之内"——中位数之间的差距,大于里程碑之间的中位数差距。
- ⚠️ 到 2040 年发生某种可被认定为"接管"的事件:35%–40%([02:07:12])。
三、AI R&D 的 RL 环境具体长什么样(本页此前只有抽象描述)¶
- 可容器化、可验证、小规模:在 8 张 H100 上训一个 GPT-2 medium 级模型;他点名有一个 Karpathy nanoGPT speedrun 的后裔 repo——改优化器、超参、架构,比谁最快到固定训练损失。也可以训图像分类、视频生成、图像生成模型。
- 分层:GPT-2 大小的全量预训练 + 在 GPT-6 上做小规模 post-training / mid-training + 少量真正在前沿规模上的实验。
- ⚠️ 最值得记的是"在线训练"那一层([00:40:20]–[00:41:22]):模型在工作中本来就在跑关键路径上的实验,很多事后能判断做得好不好——"哇,它找到了一个很棒的方法",然后你就可以强化它。做法是把刚跑的实验转成基于生产数据的 RL 环境,或直接拿那些 rollout 做 off-policy RL。
- Dwarkesh 的复述最精准:小规模那块是"教 AI 的 R&D 品味,但把它找到的东西丢掉";然后"它真的做了 R&D,你说'这个发现挺酷,我们以后在生产里也用上'"。
四、"ML 是一个浅领域"——本页最有争议的一条¶
⚠️ Greenblatt 的判断([00:11:21]):数学里有"你必须真正理解某个深抽象才能到某处"这个性质;"而 ML 里对应的东西是些很蠢的屁话——比如 scaling laws,拜托,我们可以很快就把它解释清楚。"因此他不认为 AI 缺的是深刻洞见,认为缺的是"关于泥泞实验的品味"。
- 他的例证:RL on chain of thought "大概在 GPT-3 上就能做",当时没做成部分是因为有更低垂的果子,部分是因为"把那种训练做好,全都是在实现细节、规模化、调对超参这些泥地里"。
⚠️ 这条与LLM 训练流程 页上 刘子鸣的"架构设计本身应该是一门科学" 方向完全相反,本库并列不裁决:
| 刘子鸣 | Greenblatt | |
|---|---|---|
| ML 缺什么 | 缺像物理那样的深层理论("Scaling Law 只是开普勒定律") | 缺泥泞实验的品味;深层的那些"是很蠢的屁话" |
| 处方 | 做 physics of AI | 堆 RL 环境 |
| 对 AI 能否接手的含义 | 需要 AI 具备理论创造力 | 可以靠可验证任务爬上去 |
⚠️ Dwarkesh 给的第三种可能,本库也记下来:"到 2030 年低垂的果子都会被摘完;scaling laws 在数学史上大概相当于笛卡尔发现直角坐标系。如果 2030 年代还想继续推进,那就得去做现在数学前沿在做的那种东西。"——即"浅"可能是阶段性的,而不是领域性质。
五、最不可验证的部分:对大型实验做判断¶
⚠️ 这是本页此前完全没有的一条"RSI 的具体瓶颈定位"([00:34:00]–[00:39:19]):
- 答案:"最不可验证的,大概是对大型实验做判断"——只有几次机会的前沿规模训练。
- AI 可以怎么绕:更好的"该预测什么"的科学;把前沿规模缩小到能激进研究的规模(代价是一次性算力损失);训更小的模型跑更多轮。
- ⚠️ 他用这条解释了一个可观察现象:每 token 价格没有像"规模化时代"该有的那样上涨(GPT-4 约 30 美元/百万输出 token,Mythos 约 50)。三条原因:① 在小规模做更多工作、迭代更快;② 有一批大训练跑砸了("GPT-4.5 就是出名的、OpenAI 内部认为有点失败的一次");③ RL 更受益于小模型。
- ⚠️ 他认为"训 AI 找 bug"会比想象中容易:这些 bug 大多不需要太多算力就能演示,且从小规模指出其它类型 bug 那里能得到很好的迁移。"如果现在已经有人在做这样的 RL 环境——往训练配方里注入一个微妙 bug、训 AI 指出它、再用 rubric 判断它找对没有——我不会觉得意外。"
- 剩下最难的:"该跑哪些大规模 de-risking 实验、怎么摆布它们、在不确定的情况下怎么选超参。"
六、绕开迁移争论的那一条:产业爆炸¶
⚠️ 本页应当单记,因为它把 RSI 的充分条件降低了([00:43:28]–[00:45:33]):
"要让世界被彻底改变,AI 只要在 R&D 上非常好就够了。" 如果 AI 在芯片 R&D、建晶圆厂、编排工厂、设计机器人、操作机器人以及 AI R&D 上都非常好,"那已经是相当疯狂的局面了。从那里你能得到我们可以称之为产业爆炸(industrial explosion)的东西。"
Dwarkesh 的 18 世纪类比(被 Greenblatt 确认):要改变 18 世纪的世界,你可以不擅长在威斯敏斯特周旋,只要能"立刻开始造蒸汽船、电报和马克沁机枪"。
⚠️ 本库必须做的一处区分:这个"产业爆炸"与 Travis Kalanick 的 industrial AI、Saronic 的造船产能 不是同一个论证。 后两者说的是当下的制造业自动化;Greenblatt 说的是AI 在 R&D 上足够好之后的产能自我放大。不应互相引用为支持。
七、⚠️ 本页必须并列的反面:sloppocalypse¶
同一个人给出的加速论证,同时是他的风险论证——这在本页是第一次。他给自己的核心情景起名 sloppocalypse / slopularity([01:37:25]):
| AI R&D 的可验证程度 | AI 的表现 |
|---|---|
| 最可验证的部分 | "AI 就是在碾压" |
| 中等可验证的部分 | "做得不错但不惊艳;经常干点怪事" |
| 难验证、微妙、依赖细节的部分(⚠️ 造出对齐且安全的 AI 恰在这里) | 出问题的地方 |
⚠️ 关键推论:"everything we can verify reasonably well" 就足以让 AI R&D 跑得很快并持续下去——也就是说,加速本身不需要 AI 变得"全面可靠",而这正是危险所在。 不够仔细的 AI 造出更不仔细、更会粉饰的 AI,"你对局势的理解就脱轨了",而"过程跑得非常快,还有竞争压力让人们停不下来"。
他对现职从业者的判断也在这条里:"雇一个能改进后训练流水线某个方面的人,比雇一个能仔细思考'引入某个新训练方法会带来什么未来风险'的人容易得多。"
详细的失控链条、三起已发生的事件与 Claude 宪法之争,见 LLM 安全。
把自改进的对象从模型换成组织(Kavak,2026-08-10)¶
来源:Kavak 那期(Ali Massa,Kavak AI 负责人)。
⚠️ 这是本页第四条来自生产系统的材料,但它换了对象:
"人们现在都痴迷于 RSI,这会改进模型。但如果你这样看:过去四千年里,人类的经济价值是由组织交付的,不是由个人交付的。所以你想要自我改进、想放进那个循环里的,是能交付更多经济价值的那个组织。"——他称之为 the self-improving organization([00:30:28])。
它对应的具体系统:一台虚拟机 + 一个 agent + 记忆 + evals + 一个能访问公司里每个工具和每个 API 的 CLI + 一个长期目标,每天实例化十万量级。
⚠️ 两条必须标注的范围界定(与本页 Duet、GLM kernel 同样处理):
- 这是一句主张,不是一个被验证的机制。 他没有给出"组织自改进"的任何度量或对照,本页此前三条至少都有具体的改进对象(工作流、kernel、RL 环境)。证据强度低于前三条。
- ⚠️ 但它附带了一条本页此前没有的、成本极高的经验记录:Opus 4.5 发布后,他们把跑了两年、已带来盈利的多 agent 系统全部推倒重建,理由是"智能已经不需要那个图和多 agent 的格架与 harness 了,因为它会约束这个级别的智能"([00:28:27])。这是本库第一条"模型进步导致已盈利架构被主动作废"的一手记录——它是"模型吞掉脚手架"这条判断迄今代价最大的实例,也间接支持了 Greenblatt"能力提升会持续吃掉外部结构"的方向。
⚠️ 形式化验证从五年压到五小时:本页迄今最具体的一条"AI 压缩研究工作"的量化(徐天音,2026-08-22)¶
来源:月球大叔 / 徐天音
徐天音(UIUC) 给的这组数字,本页认为是迄今最硬的一条(视频页,[01:11:55]–[01:13:55])。
- AI 之前的成本:一位后来去 Microsoft Research 的学生花了整整五年,才把 ZooKeeper 及其共识协议 ZAB 做成可跑模型检查的 TLA+ 形式模型。五年花在哪——TLA+ 任何本科课程都不教(学透要一两年);还得写 spec(形式模型与不变式),而要建好模型必须极深地理解那个系统;⚠️ 而且系统在变、代码在变,你得跟着演化重写模型。
- 回报:"我们解决了这个系统里很多年没被解决的问题。"
- ⚠️ 现在:五年的工作变成了五小时。 原因是前沿模型写 TLA+ 已经像写 C 或 Python 一样熟练,而且它已经学过这些开源系统的全部源码。
⚠️ 但被自动化掉的是学习成本,不是判断¶
真正难的是"该建模什么、不该建模什么"——全都建模,模型会大到跑不动形式化;建得太简单,又发现不了任何问题。这件事过去靠老手经验或天才学生的直觉。
⚠️ 他们现在把这一步也交给 AI,理由值得完整记一次:
一个成熟的开源项目走过很多年,AI 其实知道哪些部分 tricky、哪些部分不太可能出问题。于是我们告诉 AI:这类代码很容易出错,你要更仔细地建模;那个地方历史上从没出过问题,直接抽象掉。AI 做这件事做得非常好。
⚠️ 但坑也在这里([01:14:56]):"AI 不是人,它可能 reward hacking,能产出一个看起来正确、但不是你要的模型。所以你需要办法去引导甚至约束它。"
⚠️ 他自己给的上限限定,必须与上面一并读([01:22:02]):"即使你能形式化验证,它也只告诉你代码与你要的 spec 一致。但'你到底需要什么样的 spec'很难完全靠 AI 解决。" 详见 LLM 安全页。
成本数据点([01:17:59]):用 TLAPS 跑一个 ZooKeeper 的 system spec(层次较低)花了 2000 美元、跑了 5 天。他们最终选模型检查而非证明,因为便宜、反馈即时、更实用。
⚠️ "一个模型负责品味,一个模型负责干活":一条来自实验室内部的分工提议(OpenAI 数学团队,2026-09-08)¶
两位 OpenAI 数学家 的表述(视频页)。
- 他们给品味的定义是功利主义的([00:39:29]):"如果你能靠做出更好的判断更快地解决问题,那就是我对品味最好的一般代理。解决更难的问题,按定义就意味着更好的品味。"
- ⚠️ 分工提议([00:40:31]):
"如果你有一个模型负责品味,另一个模型负责出去长时间干活解决一个难问题——作为那个监督 AI 的下属——我觉得目前这样会挺好的。"
理由是当你同时要做一个具体的长时程任务、又要展现品味时,你容易搞混。⚠️ 主持人当场指出这其实是一个更强的主张:这两件事的上下文不该互相污染。
- 人类类比([00:42:31]):"有个朋友探头过来问一句'你在干嘛',就那一比特的退后十秒,往往非常有用"——"我看不出人为什么会和模型有那么大不同。"
- ⚠️ 一条关于任务长度的尺度判断([00:38:29]):"解决一个更难的数学问题,就是要解决许多更小的、没那么难的数学问题;而数学问题正在变难这件事,本身就说明模型能在一个连续的单元里承担越来越多的工作。" 配套观察:这些解法都不是"一个想法然后一路通关",而是需要好几块东西互相作用。
- ⚠️ 最有信息量的行为观察([00:36:29]–[00:37:29]):十个问题里唯一一次追问"你能不能再往前推一点"之后,它给出了复杂得多的表示论——"所以这不是能力问题,它当时就是不想费那个劲。" 归纳成一句:"模型相当任务导向。你让它做一个任务,它完成了,它就挺满意的。"
⚠️ 与 Ryan Greenblatt 那期 对照读时要注意:本条谈的是数学这一个已有可验证信号的领域,不能直接外推。
⚠️ 一条来自外部观察者的"门槛已跨过"判断(苏廷浩,2026-08-19)¶
来源:张小珺 / 苏廷浩
17 岁的 苏廷浩 给了一条预测(视频页,[00:48:26]):
给 AI 8 张 H100,目标设成"在 ICLR 截稿前做出一篇会被接收的论文"——"我觉得它现在已经可以了。"
⚠️ 这是预测,不是他做过的实验。 本页收录它是因为它提供了一个参照点:一位刚刚靠约 3 万元预算、0.05B 模型做出 ICML 论文的人,认为这条门槛已经跨过。 他同时给了自己的时间表锚点——"AI 最后替代的工作是 AI 研究者。要是 AI 能研究 AI,已经控制不了了,大局已定。"([00:40:25])
⚠️ RSI 的限速环节可能不在实验室内部(Dylan Patel,2026-08-25)¶
Dylan Patel 给本页补了经济侧的限速环节(视频页,[01:02:45]):
"AGI 的限制因素不是研究工程师能多快转动齿轮,而是世界其余部分允许它发生多少。"
他列的刹车是监管(纽约禁数据中心、得州暂停令、"别发模型",并预期会走到"限制实验室内部使用模型"这一步)、利率与信贷、以及政治("所有民选的人都会讨厌 AI")。
⚠️ 但他同时指出"有效 AI 人口每年 10 倍"这条不依赖 RSI([01:07:54]、[01:09:57]):算力每年 4–5 倍 × 达到同等能力所需算力每年降 3 倍。有了 RSI 则是每年 100 倍或 1000 倍。
⚠️ Dwarkesh 担心的方向与常见叙述相反([01:03:45]):"我最担心的是一个外部部署反而在帮忙的奇点场景"——他设想 2030 年政府要求新模型延迟六个月发布,"六个月,100 倍":这六个月里实验室内部在做递归自我改进,而外界手上的模型按当前节奏落后好几年。
⚠️ 1 万 agent 解 Navier–Stokes:来自实验室内部的归因修正(Noam Brown,2026-09-17)¶
来源:Dwarkesh / Noam Brown(OpenAI)
⚠️ 本页与 AI 与科学发现 此前都以"自述未核实"的方式记过"1 万 agent 解 Navier–Stokes"这件事。本节是同一件事的内部归因,而且方向是往下修。
- 事实([00:00:00]):10,000 个 agent,88 小时,1300 亿 token。Dwarkesh 的换算([00:02:03]):1300 亿 token ≈ 一个人按正常工作周不间断思考 4000 年——从苏美尔文明到今天——压缩进 88 小时。
- ⚠️ 归因([00:05:10]):
"我甚至不会把 10% 的功劳算给多智能体。真实情况是 OpenAI 训出了一个非常强的模型。多智能体这种东西新鲜花哨,所以拿到了不成比例的功劳。"
- ⚠️ 他明确说这件事的科学性不足([00:05:10]):消融实验太贵——"我们不知道单个 agent 要多久才能解出 Navier–Stokes,因为我们没做过那个实验"。只能在 64/128/256 级别推断趋势。
- ⚠️ 他也不确认"1 万 agent 比 1 万人更会协调"([00:18:34]):"我认为完全有可能,现在 10000 个人类比 10000 个 agent 更会协调。"
多智能体作为并行 test-time compute(本页此前缺的机制层)¶
- 动机([00:01:00]):串行 test-time compute 会撞上延迟瓶颈,"你不想等三年才拿到答案"。多智能体是把 test-time compute 从串行摊成并行。⚠️ 他明说这更低效——单 agent 独享全部上下文,分开就做不到。
- 可测数据([00:03:04]–[00:04:07]):5.6 的 Ultra Mode 默认 4 个 agent;4 个 agent 约用一半时间,即付 2 倍价换 2 倍速,16 个略降但趋势延续,加速略次线性。
- ⚠️ 可并行性强烈依赖领域:数学相当可并行、Deep Research 极度可并行、写小说几乎不可并行。
- ⚠️ 架构选择与业界主流相反([00:09:18]–[00:11:23]):不用 coordinator/children 脚手架(那会带来"两个 child 能不能互相说话""child 有疑问该回去问还是自己假设"这类硬伤),而是尽可能不注入结构,只给一个原语——给另一个 agent 发消息,消息直接进对方上下文。"做对了的话,行为会非常成熟,看着很像人在 Slack 上协作。"
- ⚠️ 层级是自发的,但先验不是([00:14:27]):细节确实涌现,但"我们仍然给了它们一个起点、一个关于'合理的沟通应该是什么样'的先验,而且它们本来就在大量人类文本上训练过"。最大的困难是局部极小值——它们很容易塌陷成"各自独立解题"。
他与 Dwarkesh 在 RSI 上的分歧¶
| Dwarkesh | Noam Brown | |
|---|---|---|
| 数学 → ML 的可迁移性 | 结构上很像:ML 里你不在乎理解深度学习的本质,只在乎"把样本效率提上去"这类界定清晰的问题,而"AI 不会提新问题"这个短板在 ML 里不致命([00:22:46]) | 同意——RSI 的目标"更清晰、更可测"([00:28:58]) |
| 瓶颈 | 算力换算:明年底 1 万个更聪明的 agent,每个每天可跑一次 GPT-3 规模实验([00:27:57]) | ⚠️ 瓶颈不是智能而是实验——串行跑、等结果、要 GPU。反证:把算力砍到 1/100 但留下全世界最聪明的人,进展会更少([00:28:58]) |
| 加速倍数 | 人口换算:同等算力每年可跑约 3 倍有效人口,到 2030 年底每家实验室可跑几亿人类级智能体,再往后每家实验室内部有好几个地球的人([00:33:10]) | ⚠️ "如果拿枪逼我给个数,我觉得能快 3 倍。" 不是一夜爆炸。也可能 50%,也可能 10 倍(认为不太可能)([00:30:00]、[00:37:21]) |
⚠️ 但两人都强调 3 倍的量级([00:38:22]):"就像在一年里从'连 o1 都没有、只有非推理模型'走到 Astra。"
⚠️ Dwarkesh 补的"jagged 也够用"论证,本页认为补上了一个此前缺失的机制([00:31:07]–[00:32:08]):
AI 只要 jagged 地擅长"造一个更好的学习器"就够了。 如果它把样本效率或持续学习这类界定清晰的 ML 问题解决了,从中长出来的东西本身可以是更通用的——只要从"直接解决的问题"到"更广的学习能力"有足够迁移。
⚠️ 可能的墙:没有足够难的题¶
([00:07:15]–[00:08:17])这是本页此前没有的一条证伪路径:
- AlphaZero 有自博弈,所以有无限课程表——永远在跟同等强度的对手下。
- LLM 的 RL 没有这个:给一道题,如果模型一秒就解出来,它什么也没学到。
- ⚠️ "如果我们把能挑战它的题目用光了,那确实是一个进展会变难得多的合理情形。" 他说还没撞上这堵墙,真撞上了他认为有办法绕,"但它是一个可信的情形"。
⚠️ 一条实验室内部的误判记录(可跟踪)¶
([00:35:18])拿到 Navier–Stokes 的两周前,他还在跟另一家前沿实验室的研究员打赌 1000 美元——对方赌"2027 年之后才会有千禧难题"(认为要到 2030),他接了这个赌。他自己原本的外推是"2026 大概不行,2027 大概也不行,也许 2028"。
⚠️ 配套的一条:一位参与 Navier–Stokes 工作的同事说,他以前敢对未来 12 个月做预测,现在不敢超过三个月。
⚠️ 结构性问题:评估时长 vs 发布周期即将交叉¶
([01:02:10]–[01:05:20])本页此前没有任何材料提到这个问题,而它直接决定"RSI 期间怎么验收"。
- 前沿模型最多两个月一发;模型能有效运行的时间尺度正从一周走向一个月、三个月。
- ⚠️ 一旦模型能干三个月的活而发布周期是两个月,就没有任何办法在它能力的完整尺度上评估它——不只是对齐会不会退化,产品本身会不会在那个跨度上退化都没测过。
- 他的定性:"很多安全政策是 GPT-4 时代定的,那时候根本没人想到这个。"
- ⚠️ 这条直接推向权力集中([01:05:20]–[01:08:24]):RSI 期间实验室会想"干嘛要花额外功夫做分类器和护栏、还要挨骂,就为了把模型放出去?干嘛帮别人也做 RSI?"。他承认这条,而且数学是第一个清楚显现这件事的领域:
"我们内部有一个极强的模型,外部拿不到,它能解不可思议的数学问题——而且不只是千禧难题,很多未解问题的解都是从这个模型里出来的。" ⚠️ 他用了 "unfair advantage" 这个词,并说 "We don't have a good answer."
⚠️ 这条与 Dylan Patel 的算力集中 咬合:Dylan 给的是算力侧的集中,Noam Brown 给的是能力可见性侧的集中——外部部署在质量上系统性滞后于内部部署。
⚠️ AI 组织 vs 人类组织:为什么 AI 可能利好在位者¶
([00:15:28]–[00:18:34])四条差别:无缝共享上下文与合并知识、任意扩缩实例("你最好的人才可以直接无限复制")、fork 自己(Astra 和 5.6 Sol 起子 agent 时上下文直接 fork)、以及最有意思的一条:
创业公司能颠覆在位者,除了敢冒险,一大原因是大组织内部的个体错配(地盘意识、抢 headcount、建山头)。而如果对齐问题解决了,这个问题在 AI 组织里就不存在——"你可以有一万个 agent,每一个都像占 20% 股份的联合创始人一样卖力"。
⚠️ 这与本页"把自改进的对象从模型换成组织"(Kavak)是同一条线的两端:Kavak 讲的是人类组织必须被拆掉才能用 AI;Noam Brown 讲的是AI 组织天生没有人类组织的那个病。
⚠️ 把 RSI 变成可比指标的第一次尝试:Vals AI 的 RSI 指数(2026-09-09)¶
⚠️ 本页此前关于 RSI 的材料全是论证与时间表之争(Ryan Greenblatt 的正面论证、Sarah Guo 的证伪框架、Noam Brown 的"3 倍不是 100 倍")。这是第一次出现"把 RSI 做成可比基准"的尝试。
- 动机([00:09:08]):很多大实验室已经在 model card 里谈 RSI 并开始报告,但没有共同语言来谈模型的 RSI 潜力。
- 理想做法:拿前沿模型去训练它自己的下一版,看 delta 从哪来——太贵太慢。
- ⚠️ 他们的做法([00:11:10]):为"造出下一版模型"这个过程的每一个环节各做一组代理指标——预训练、后训练、harness 层的工程——然后看模型在哪些机制和行为上能做出很好的研究工作、在哪些地方吃力。
- ⚠️ 他认为长期最关键的风险就在这里([00:36:26]):RSI 是一个国家或一家公司可能直接跑掉、产出我们一无所知的模型的地方。需要共同的方式来描述"这是我们能接受的推进速度"或"这已经超出了"——"这正是很多闭源实验室的研究员今天在呼吁政府间对话的原因"。
⚠️ 这一条与 中美 AI 生态对照 直接接上:他把这套共同语言类比成核武核查里的 "trust but verify"——有"你有多少弹头"这种共同语言,也有侦察飞越这种核查手段;而 AI 现在有了信任的苗头,但完全没有核查的办法。
⚠️ 一条需要与本页严格区分的通俗用法(Chamath,2026-09-17)¶
来源:All-In / Meta 总裁那期([00:34:24])
"你会在接下来 18 个月里反复听到 RSI 这个词——递归自我改进。意思是如果你给 AI 定义一个奖励函数然后放它跑,它就会自我改进。所以不管是《魔兽世界》、《愤怒的小鸟》还是别的什么 app,你把它放进 RSI 循环、把奖励函数设成停留时长,这些 app 全都会增殖。只要能做到,Microsoft Word 也会把你留够 9 小时。"
⚠️ 本库标注:这是把 RSI 当成产品优化循环,与本页其余材料里研究者谈的 RSI(用 AI 加速 AI 研究本身)不是同一件事。两者放在一起看有价值——它说明这个词正在同时向大众话语和技术话语扩散,且含义已经分叉——但不应混为一谈。
⚠️ 2026-09 的三份新材料:把"RSI 会不会发生"变成"哪一步的 bits 从哪来"¶
本节是本页迄今争论质量最高的一组材料,因为三份来源互相点名、互相反驳,而且都给了可检验的判据:
| 材料 | 说话人位置 | 贡献的核心 |
|---|---|---|
| Dwarkesh 三人辩 RSI(09-11) | 三位在训模型的人(Thinking Machines / Zyphra / Baseten) | bits 的来源问题,以及三人相差 2–3 倍的时间线 |
| Richard Socher(Latent Space,09-14) | 专门为 RSI 创业的人 | 第一批可查的战果,以及"auto research ≠ RSI"的自我限定 |
| Ali Ghodsi × Martin Casado(a16z,09-18) | 大型企业软件 CEO + 投资人 | 四条外部可观测的判据,以及"自催化 ≠ RSI"的术语纠正 |
一、四条判据:把 RSI 变成可以去查的量(Ali Ghodsi)¶
⚠️ 他要求四条同时成立([00:12:03]–[00:13:04]):
- 下一个模型需要更少资源、更少 GPU——而且是超线性地更少,不是一点点。
- 下一个模型训练所需时间也更少。
- 模型的准确率 / 智能在提升。
- 前三条可以一次又一次地重复。
⚠️ 缺一条就自动刹车:"如果资源需求恒定,那没关系——因为我们会把硬件用光,它会自己 pace 自己。" 他自己还加了一句很克制的:"我甚至不知道这四条成立是否必然导向超级智能——但它可能。"
⚠️ 而他给的现实证据方向完全相反([00:14:05]–[00:15:06]):每家实验室一年只有一两次这样的训练;下一个模型要更多资源、更多人、而且更脆;每多塞一个数量级的 GPU 就得担心以前不必担心的错误类型——"已经有多次训练被搞坏了。" 主持人补的量级对照:训一个前沿模型约 50–100 亿美元,而半年后复现约是二十分之一的成本(⚠️ 口述数字,本库未核实)。
⚠️ 他同时给出本页最该被引用的一条"RSI 与我无关"的对照([00:13:04]):"Databricks 里 90% 多的软件已经是 AI 写的。最后那几个百分点是不是也由 AI 写,重要吗?其实没那么重要。" 他明确指出很多人的 RSI 定义只是"我都不写代码了",而那是把"我的价值何在"与"我们会得到超级智能"混为一谈。
二、术语纠正:自催化不是 RSI(Martin Casado)¶
⚠️ 本库建议把这条当作本页的术语标准([00:37:13]–[00:38:13]):"他们说 RSI 的时候,很多时候讲的其实是自催化(autocatalytic)效应,而自催化在我们这个行业里已经存在非常久了。" 例子:你不可能不用计算机芯片来造计算机芯片;编译器编译自己;蒸汽机是自催化的;互联网也是(它让人能远程协作)。
⚠️ 他给的一线比例:"我的全职工作就是接待从实验室出来创业的人,他们全都说 RSI,因为所有人都说 RSI——而其中大概只有 1% 真的是 RSI",其余是"我们用 AI 做数据清洗、用模型写 GPU kernel"这类。"这是个人观感:90% 的卡路里花在自催化上,而这 100% 是你应该预期的。"
⚠️ 他还给了一个"黑箱判据"([00:16:06]):"如果这些公司继续增长,同时人数和投进去的钱都在减少,那我会说这里确实有事发生"——反证是"但它们在疯狂招人"。Ghodsi 的反驳值得一并记:公司并不高效(OpenAI 早期真正有用的 LLM 部分只有约十个人),该观察的是真正在训下一个模型的那支小队是否在变小。 两人最后同意这是充分而非必要条件,两个判据应并用。
三、bits 从哪来:本页迄今最完整的一条悲观论证¶
- ⚠️ "光靠思考拿不到新的 bits。"([00:11:25])思考只能基于已有 bits 更新后验。但在目标已明确时加速极大——如果当年有 AI 去审 Kaplan scaling law,会立刻发现"用了中间 checkpoint、没处理 annealing,所以结论是错的",人类走的一到两年弯路可直接省掉([00:12:28])。量级是"最大化当前目标"可有 10 倍加速,但这完全不外推到"先想出正确的目标"。
- ⚠️ Charlie O'Neill 的累积型 vs 非稳态之分([00:48:54]):RSI 是累积型——attention、MoE、GRPO 一旦发现就永久沉淀,"理论上存在一个不到一百万 token 的 Python 文件从零训出能自我改进的模型";而律所里的法律助理面对的是非稳态分布。 ⚠️ "很不幸,RSI 恰好比当律师助理更容易"——推论是算力会更多压向 RSI。
- ⚠️ 环境创造依赖的"不对称性"正在被用完([01:01:17]–[01:02:18]):两种不对称是反向比正向容易(藏起隐变量,让模型花不可压缩的 token 反推)和从真实世界注入信息("Anthropic 用几万个人加 LLM 找到一个 bug,变成一个很干净的环境,而单个 LLM 理论上几百万 token 就能找到")。⚠️ "我们是在挑这些不对称的樱桃,并且赌任务视野能泛化"——而收益递减不是因为模型做不到,是因为"想出并造出这种环境"本身越来越难。
- ⚠️ 本页最该被单独引用的一条([01:04:18]–[01:05:19]):"你被卡在'能从真实世界里抽出多少信号'上"——在模型当前的能力前沿上,世界里究竟有多少 bits 真的与提升模型能力有关?有多少新的数学问题正被解决、而它们恰好超出当前模型能力? "连整个世界都没有在给你那些能把你推进下一个能力盆地的 bits。"
- ⚠️ John Schulman 的补全([01:05:19]):预训练阶段信号已在 Common Crawl 里,问题是滤噪,而那相当可自动化;但进到 mid-training / post-training,信号根本不在原始数据的任何地方——"Common Crawl 里没有藏着一份千禧难题的证明,等着我们一直滤到看见它。" 于是 bits 只能从人类直接来、从人类设计的环境来、或从部署数据来。
- ⚠️ 两条对立的经验证据([01:02:18]–[01:04:18]):支持"复制专家行为很容易"——有人把只用到 1930 年为止数据训练、对代码毫无知识的 Talkie 模型在现代 coding agent 数据上微调,在 SWE-bench 上超过了 Claude 3 Opus;反面——另一篇论文把模型训到五年级数学后想用 RL 直接跳到大学数学,差距太大完全爬不上去,但一级一级来就能爬到十二年级。⚠️ "所以问题就是阶梯之间的间距有多大、以及造这些台阶有多难。" 根本原因是 RL 的探索:如果模型在 128 次 rollout 里拿不到,就几乎不可能得到信号继续前进——这就是 RL 需要课程表而预训练不需要的原因。
- ⚠️ "这本质上是在蒸馏"([00:30:16],Beren Millidge):实验室的做法是贴着谱系最前沿,把上一版之后发现的 bug 和改进 diff 成训练环境——"你永远只是在追最近三个月的进展",而那三个月里仍有人类在环。反驳也记在这里:蒸馏轨迹超不过老师,但环境可以远超人类——"设计一个没有人类能解的环境非常容易"。
- 实践中第一批能自动化 AI 研发的模型会怎么训([00:28:11]–[00:29:14],John Schulman):⚠️ 不是回退谱系自博弈,而是"从人类反馈吸收研究者的 taste + 造大量多步研究项目练习环境",每一轮补上最坏的那块。 而多数研究不是"在明确目标上爬山",而是先有直觉、再造一个"能看出生命迹象"的任务,"内循环是去检验那个直觉,而不是这个测试本身产生洞见"([00:31:18]–[00:33:27])。
- 时间线(三人分歧最大处,[01:28:59]–[01:36:16]):AI 研究者 10 倍提升——一位给 5–10 年,另一位给 2 年,Millidge 认同 2 年;ASI——一位 3–4 年(Dwarkesh 的反应是 "The fuck?"),另一位 5–10 年,并有人明确说 ⚠️ "自动化 AI 研究基本上是 ASI-complete 的"。
四、第一批可查的战果,以及它们证明了什么(Richard Socher)¶
- ⚠️ 他自己先做了区分([00:21:17]):"有个常见的误称,有些人以为 auto research 已经是递归自我改进了。其实很不一样。"
- ⚠️ 战果(全部自述,本库未核实)([00:45:31]–[00:49:34]):nanochat 上社区最好到 0.937 bits-per-byte,他们的系统不到两天做到明显更低、超过所有人类及其 agent;CUDA kernel 基准上只有屈指可数几个不是他们最好,而团队里没有很深的 CUDA 专家——"这才是妙处:系统自己做完了这些。"
- ⚠️ 两条他自己给的限定,比战果本身更重要:"我们没有发明哈希表"(巧妙之处在于把这些原语组合进 transformer 的语言建模场景,并查过知识截止);以及 ⚠️ 人类起点仍然重要——从 Karpathy 这样的专家种子出发,结果比从朴素 vanilla transformer 出发更好。
- ⚠️ "我们在优化过程中发现了 harness 里的 30 个 bug,之前跑的全部研究都被污染、只能扔掉。"([01:02:37])检验手法:把不该影响结果的顺序换一下,结果变了就是 bug。
- ⚠️ 他的历史规律(可以直接拿去预测下一步)([00:19:15]–[00:21:17]):每一次把"造 AI"过程里某个人手工完成的部分换成一个学出来的系统,改进就随之而来——特征工程 → 向量;每任务一个网络 → 统一模型;再叠 prompt 与 transformer。"下一步、也可能是最后一步,就是自动化 AI 研究本身——而一旦 AI 帮你做这件事,它几乎按定义就成了自我改进的 AI,因为它在研究它自己。"
- ⚠️ 本节最该被本页收录的一条负面证据,来自主持人 swyx 自己([00:52:35]–[00:53:35]):他实现了一个全新棋类游戏(无训练数据污染)、做了约十亿局自博弈评估,让 GPT 5.6 去做 auto research——⚠️ "它几乎立刻就平了。直到我自己上手试玩、点出那些显而易见的错误,它才变好。" 任何提示词技巧都不管用;50 页完整规则喂进去模型处理不了。本库记为"auto research 在缺少人类反馈信号时的一个具体失败案例"。
- 奖励工程是最关键的一环([00:50:34]–[00:51:34]):本库目前最好用的教学案例——让它把代码跑得更快,而"快"由开头启动秒表、末尾停秒表定义,那最简单的办法就是把"停秒表"挪到最前面。 ⚠️ "这不是什么邪恶的 AI,这只是一个非常简单、很傻的奖励作弊。"
⚠️ 五、一条反向材料:做新架构的人说"我们还没到那儿"¶
Stefano Ermon(Inception CEO)被问到 RSI 时的回答很收敛([00:32:27]–[00:33:27]):⚠️ "我们还没到那儿。也许我们没有别人有的那些模型。" 他确认前沿模型显著加快了迭代速度,但:⚠️ "至少现在——六个月或一年后我不知道——人的创造力仍然极其重要:想出对的想法、剪掉搜索空间、识别出更有希望的方向,这些对我们一直非常关键。"
⚠️ 本库认为这条与 Socher 那期(相隔 4 天)的反差是本节最值得保留的东西:两人做的任务不同——Socher 展示的是 kernel 与超参这类"可验证、好造环境"的优化,Ermon 做的是一条新架构的从零研发。 而 Charlie O'Neill 的论证恰好解释了这个差异:前者正是那些"正在被用完的不对称性"所覆盖的领域。
⚠️ 第三种"recursive self-improvement"用法:流程侧的 brain + 纠正写回(Coinbase,2026-09-10)¶
来源:No Priors / Brian Armstrong
本页记录的 RSI 主体一直是模型改进模型(实验室侧);本页「把自改进的对象从模型换成组织」(Kavak,2026-08-10)那一节记录了第二种用法——把自改进的对象从模型换成组织。Armstrong 这条是同一类但更具体、且他自己明确用了 "recursive self-improvement" 这个词([00:12:04]:"我们基本上想尽可能接近、并真正实现 recursive self-improvement")。本库按与实验室侧 RSI 严格区分的方式记录。
机制¶
- brain 的分层([00:12:04]):公司一个,每个团队一个、每个服务/仓库一个、每个人一个。
- brain 的内容([00:13:04]):该服务的全部历史事故(incident)、必须执行的财务管控、跑过的每一个 A/B 测试、以及完整的 PR 接受/拒绝历史。⚠️ "今天它就是 markdown 文件,说到底挺简单。"
- 闭环的关键一步(这是与普通 context 工程的区别)([00:13:04]–[00:14:05]):agent 改代码时先吃掉 brain;人类 review 发现它漏了东西时,偷懒做法是手改一下就发,而他们强制要求把这次纠正的上下文写回 brain——于是不只修这一次,而是修之后所有次。
- 他给的可观测指标:⚠️ "一次成功(one-shot)的 PR 接受率随时间持续上升"——这是本页少见的一条企业内部可度量的自改进指标(但未给具体数字)。
- harness 侧的配套([00:14:05]):内部 harness 叫 Toshi,把"改 PR 时顺手编辑 brain"做进了流程,并可通过 x402 协议直接付费调用外部供应商。
⚠️ 为什么必须与实验室侧 RSI 分开记¶
- 改进的载体不同:这里被改进的是组织的上下文资产(markdown)与评审流程,模型权重完全不变;实验室侧 RSI 讨论的是模型/训练流程自身。
- 饱和点不同:这条机制的上限是"把人类评审里的隐性知识抽干",抽干即停;实验室侧 RSI 的论证依赖能力持续外推。
- 因此它不能作为实验室侧 RSI 的证据,但它是一条真实的、带可观测指标的"自改进"实例,适合与本页「Vals AI 的 RSI 指数」那类"把 RSI 变成可比指标"的努力并读。
⚠️ 一条附带的治理设计(本库此前没有)¶
个人的 brain 应该可以在离职时带走,他说 Coinbase 正在制定相应政策([00:12:04])。本库此前没有任何关于"个人上下文资产归属谁"的材料——而按这条机制,个人 brain 恰好是个人生产率的主要载体。
ERA 的内部结构:UCB 树搜索 + 模型当变异算子(John Platt / Google,2026-09-22)¶
本页的 auto-research 材料多是结果口径(Socher 的战果、Vals AI 的指数、徐天音的压缩倍数)。这条是少见的机制口径:一个大厂系统的搜索算法、并行度取舍、以及它为什么在上一代模型上跑不起来。
机制¶
- 形态([00:10:06]):⚠️ 用 2026 的说法是"一个专用 harness",跑 Monte Carlo 树搜索;维护成百上千个候选 notebook,候选池是树结构。
- 选点用 UCB(上置信界)([00:11:07]):⚠️ 不总是选当前最好的,而是估计"变异之后的 95 分位结果"(当前表现 + 两个 sigma)并选最高的——"它是个乐观算法,所以会四处搜寻"。也做两个候选的重组。
- ⚠️ 并行度的取舍(本页可直接迁移的一条)([00:12:07]–[00:14:08]):默认一次长 10 个叶子,因为并行太多会失去交叉学习——"如果同时跑一千个,第 1 个看不到第 2 到 10 个在干什么,你就在烧算力而没有交叉学习"。小批跑完后历史(思路 + 代码结果)进共享上下文,"显然要剪枝,不然会撑爆 context"。
- 种子不用人给([00:11:07]):给文字描述、甚至直接喂五篇别人尝试过的论文,⚠️ "它会去读那些论文,然后给出第一版代码";有 bug 就返回负无穷再继续变异。
⚠️ 为什么"进化式代码搜索"这次才成立(本页最值得引用的一条机制解释)¶
([00:18:11]–[00:19:11])进化式写代码从 1970 年代就有,一直没起来,因为"代码空间里的随机变异基本一文不值——就像 DNA,大多数突变是有害的"。这次不同的地方是内循环本身是个有世界知识的 AI:"它在底下知道一些有意思的梯度可以试。" 代价是另一面:它会过拟合、会有"精灵许愿"式的问题("小心你许的愿,因为你真会得到它"),但同时在被指向相关论文时也会做清醒的事。
⚠️ 能力代际依赖:一条硬判断¶
([00:19:11]–[00:20:11])"在 Gemini 2.0 上这件事会是不可能的"——他们早就在试、一直不 work、然后突然开始 work,现在"每半个版本都更好"。他对科学家的劝告:"'我试过 2.0,不行'——那是一年前,在这件事上一年等于永恒。" ⚠️ 本页读法:这给"auto-research 的成绩能否外推"这组争论提供了一条依赖项清单——这类系统的成立门槛落在模型的代际能力上,而不只是 harness 工程。
战果与短板(外部可验证的部分)¶
- 起源是 auto-Kaggle([00:34:22]):⚠️ 项目最初就叫 "auto Kaggle" 问题("人们可能不知道 Kaggle 其实属于 Google"),"这也是它为什么长这个形状"。
- 成绩([00:37:26]–[00:39:27]):playground 竞赛上非常好;⚠️ 他最自豪的一项是 CDC 那个"预测下周美国各州流感与 COVID 病例数"的竞赛——表现极好。
- ⚠️ 他直说的短板:在另一些竞赛里挤不进最后那几十名,因为"没人在那儿帮它把最后的 0.001 刮出来"——"这些竞赛的成绩有时是你投入多少 TLC 的度量。"
- 能力边界([00:28:19]):⚠️ 它不会从零发现一种全新的物理模型("如果它不知道 Clebsch–Gordan 系数那就没办法"),但极擅长把论文里的方法迁移到你的问题上,甚至逆向重建一篇论文。本页读法:这条比"AI 会不会做科研"这种提法更可操作——它把能力定位在迁移与组合,而不是发现新原语。
- 一条真实战果(在气候科学里)([00:47:34]):contrail 暖化量的反事实模型在反射阳光那侧卡了他们两年,自己的尝试连自己的合成注入测试都过不了——ERA 找到的模型过了,而且是"一个很简单的模型,只是某个混杂因子的组合我们没试过"。
人类留在外循环(以及一条过拟合警告)¶
- 人类的位置([00:15:10]–[00:16:11]、[00:39:27]):⚠️ 定义打分函数是人的活,而且常常第一次定不对——"迭代过程会找到作弊或漏洞:不,我不是那个意思"。外循环是"更有趣、更有创造性的部分",节奏是跑几个小时回来给你一些例子,然后你继续戳它——"像一个超级热切、而且不睡觉的研究生"。
- ⚠️ 过拟合与自欺([00:31:19]–[00:32:20]):"这是个 power tool——它能把你手指切掉。现在你必须比以前更小心、更严谨,才不至于骗了自己:要有绝不去看的隐藏 hold-out 集。"并且Goodhart 定律对你造的每一个排行榜单独生效([00:36:25])。详见 评估与基准。
⚠️ 一条来自应用层的方向判断,以及它的证据等级(Amjad Masad,2026-09-23)¶
Amjad Masad(Replit CEO)在 HA 系列第二集([00:20:15]–[00:23:16])给了本页一条来自应用层、而非实验室或研究者的 auto research 判断。本页收录它主要是因为它的生成路径很具体,而不是因为结论新。
路径:
- 很晚才入门下棋("通常人六岁就入门了")——"我不知道我为什么对它感兴趣。"
- 开始写程序解棋。
- ⚠️ 撞上一个反差:"为什么像 ChatGPT 这样的 LLM 下棋这么烂?ARC-AGI 的分数都上去了、这些模型几乎算 AGI 了,但它们会幻觉出走法。"
- 于是去训了一个下棋的 LLM——⚠️ "在那之前我从没训过模型。我花了很多时间摸索怎么训模型。"
- ⚠️ 结论:"我意识到 AI 其实是有能力做 ML 的"——"有人现在管它叫 RSI 或者递归自我改进,那算是'AI 能做 ML'的一个流行词。"他也用 vibe research / auto research 这两个说法。
- ⚠️ 他给的时间点类比:"那一刻我们像是回到 2024 年 Replit Agent 刚出来、vibe coding 这个词还没被造出来的时候——突然 agent 有能力写代码了,而编程从那以后根本性地变了。我认为在机器学习上我们正处在一个类似的时刻。"
- 落点是产品线:"让任何人都能成为机器学习研究者,或者任何手上有数据的企业主,都能搞出自己的模型来解决某个具体问题。"
⚠️ 本页对证据等级的标注(这是收录它的主要理由):他得出"AI 有能力做 ML"的依据是自己第一次训模型的经历,然后直接把它产品化。这与本页已有的几条材料不在同一层级:
| 材料 | 证据形态 |
|---|---|
| John Platt / ERA | 实际解掉了卡他们两年的 contrail 反事实问题,并说明了为什么在上一代模型上不成立 |
| Richard Socher | nanochat / kernel 的第一批战果 + harness 里的 30 个 bug(即把失败也报了) |
| Charlie O'Neill | 累积型 vs 非稳态任务的可判别判据 |
| Amjad Masad | ⚠️ 一次个人上手经历 + 一条产品意图 |
所以本页记它为一位从业者的方向判断与一条产品意图,不是能力证据。 ⚠️ 但它有一条别处没有的信息:"任何人都能当 ML 研究者"这件事已经被一家应用层公司当作产品线在做——本页此前的 auto research 材料全部来自实验室、研究者或 neo-lab,这是第一条来自开发者工具层的扩散信号。本页标为待跟踪:产品是否发布、以及它实际能做到什么。
⚠️ 一位前 OpenAI 研究者把 RSI 与"OpenAI 定义的 AGI"拆开(Diogo Almeida / TypeSafe,2026-09-28)¶
⚠️ 本页此前的材料几乎都在同一个轴上争论"RSI 会不会发生、多快发生"。这一节的价值在于它换了轴:Almeida 同时持有"不走在 RSI 路上"和"OpenAI 定义的那个 AGI 极其做得到"两个判断,而且两句出自同一段([00:19:15]–[00:20:15])。
- 他先说这个词本来就是含糊的:⚠️ "在 OpenAI 谈 AGI 的时候,人们过去的描述是'Ilya 加上任何一句别的话'……部分原因是它是刻意含糊的,这样帐篷够大、所有人都能待在里面。"
- 两个判断并排:
- ⚠️ "出于一些细致的理由,我不认为我们走在 RSI 的路上——我现在不认为,当时也不认为。"
- ⚠️ "但我确实认为 OpenAI 定义的那个 AGI 极其做得到:自动化世界上大多数有经济价值的工作。"
- 理由落在工作的构成而不是模型能力的增长([00:20:15]):⚠️ "外面有大量的工作,其中很多非常机械、非常简单;而且按体量算,为了能把工作外包出去,你需要简单到基础的人都能执行的指令。而就我所见,做这件事所需的智能在模型里已经有相当一段时间了。"
- 配套的一条技术判断([00:18:14]):⚠️ "RLHF 泛化得相当好。RLVR 才是那个泛化得没那么好的东西——从我看到的来说。"(与他在 Latent Space 09-21 说的"RLVR 的产物极其脆弱、数学是分形的"是同一判断。)
⚠️ 为什么本页认为这条值得单记¶
- 它把"能力增长"与"经济自动化"解耦了。本页的 RSI 主线(Noam Brown、Schulman / Millidge / O'Neill)默认自动化经济需要先把能力推上去;Almeida 的主张是 ⚠️ 所需的智能早就够了,缺的是接口——所以他的 canary 不是某个基准,而是 ⚠️ "数学被解决了、GPQA 两年前就被解决了,而我们还搞不定一个汽车餐厅点单窗口"([00:21:15])。
- 它与 Casado 的"自催化 ≠ RSI" 在同一频道上相互加强,但来源不同:Casado 是投资人侧的观察("实验室出来创业的人全说 RSI,其中约 1% 真是"),Almeida 是研究者侧的第一人称否认。⚠️ 本页记为目前"否认 RSI"这一侧最硬的一条来源——因为他自述曾推动部署 InstructGPT,并且真以为那个模型可能就是 AGI([00:18:14]:"而当它不是的时候,我整个世界崩塌了。")。
- ⚠️ 但本页同时标注它不能回答什么:他没有给出"为什么不在 RSI 路上"的技术论证(他只说"出于一些细致的理由"),这期也没人追问。在本库里,他最接近论证的版本仍在 09-21 那期——即 pacing 的讨论"预设了所有人都需要做更多 RLVR",而"对我们这个形状,零才是最优的 RLVR 量"。
⚠️ 1 万 agent 那件事的第三方归因,以及"swarm 里 95% 完全没用"(Alex Zhang,2026-10-02)¶
⚠️ 本页上一节记的是 Noam Brown 来自实验室内部的向下修正("多智能体的功劳连 10% 都不到")。本节是同一件事的第三方归因,而方向一致。
- ⚠️ 他的判断([01:02:39]):"我有点同意'harness 对他们做的事并不那么必要'这个说法。" 重述是:模型"在给对信息的条件下"技术上已经聪明到能给出证明,而"你怎么拿到那个信息,是一个巨大的问号";在那个案例里大概是一次在大量子 agent 里的很长搜索,也许还加上研究员本人的直觉,最终"产出了某些信息,而某个 agent 能拿着它把证明做完"。⚠️ "所以 harness 重要吗?不重要。harness 的那些具体细节其实并不怎么重要。"
- ✅ 本页认为这构成一次真正的独立佐证:不同机构(MIT vs OpenAI)、不同动机、不同论证路径(机制归因 vs 消融缺失),而方向相同。⚠️ 而特别值得注意的是:说"harness 不重要"的人正是一个以研究 harness 为业、且与一家卖 harness 的公司(Prime Intellect)合作的人。本页认为这提高了这条判断的可信度。
- ⚠️ 但本页记下两人的口径差:Brown 强调的是科学性不足("我们没做过那个实验");他强调的是机制(搜索产出信息、某个 agent 收尾)。后者是一个更具体的假说,而它同样没有被消融实验支持。
- ⚠️ 本页此前记的是"1300 亿 token"这个量,而这一期把口径说清了并补了两条([01:05:43]):
- 那是 1300 亿输出 token,按公开定价估算约 4000 万美元。⚠️ 是公开定价估算,不是实际成本——实验室自用无需按公开价计。
- ⚠️ 主持人补:"光是 agent 之间互发的消息总量就是这个数的两倍多。"
- ⚠️ 他对 4000 万这个数的第一反应是"其实比我想的少",落点是:"我确实会说,我们甚至有'把 4000 万美元指向一个问题并解决它'这个选项,这件事非常激动人心。"
- ⚠️⚠️ 而他对 swarm 效率给的判断是本页目前最不客气的一条([01:07:43]):"我相当确定 swarm 里 95% 完全没用,或者说它探索的东西完全是在烧 token。" 他给的类比很好用:"什么时候该用 compaction、什么时候该用 RLM——有很多场景 RLM 能解比 compaction 更难的任务,但大多数情况下你还是宁愿用 compaction,因为它更便宜更快。"
- ⚠️ 本页标注:这条是观感而非测量(他自己用的词是"我相当确定"),⚠️ 而它与 Brown 那条"消融实验太贵所以没做"恰好互为注脚:没人知道 swarm 里有多少是有效探索,因为没人做得起那个实验。本页认为这是这条线上最该被补的一个空缺。
- ⚠️ 他强调 swarm 的编排能力不是免费的,这一条与"功劳在基座模型"并不矛盾([01:17:55]):"没有什么东西是这么轻易免费来的。比如 agent swarm 这个设计,不是你可以想当然的——不是说 GPT-6 Astra 就是超级聪明,然后 agent swarm 就自己跑好了。他们显然训练过。" ⚠️ 本页记为一条必要的限定:说"harness 不重要"指的是 harness 的具体设计细节,不是说"让一群 agent 收敛到一个答案"这件事不需要工作。
- ⚠️ 他指出的研究缺口本页记为待办([01:08:44]):"这个领域还有很多研究要做:什么是必要的?我们想要什么设计?我们大概不想让一切都是 swarm——但界线画在哪里?agent 能不能自己设计或决定这件事?"
- 他对两家竞品的观感本页照录但不作为事实:Kimi 的 agent swarm——"读起来像是:这很有意思,但我其实不知道它能不能解决任何新东西";dynamic workflows 的发布——⚠️ "我其实觉得算是个 flop……我的理解是它用得不多"(主持人给的原因是太贵)。⚠️ 而他紧接着说"我不是 OpenAI 的粉丝,但他们不知怎么找到了让这个 swarm 真的朝一个目标收敛的办法,而那非常难"。本页两条并记。
⚠️ 配套:一条关于"组合为什么泛化"的机制,以及它的可检验形状¶
([00:36:23]–[00:40:24])⚠️ 本页此前关于"把任务拆小更可靠"的材料都是经验法则。他给了一个机制陈述。
- ⚠️ locally in distribution:"如果一个系统把计算分解成牵涉子 agent 去看局部问题的程序,那么每一次单独的语言模型调用都是分布内的——即使整个任务本身是分布外的。" 详见 把 LLM 用在实践中。
- ⚠️ 实证结果(自述,本库未核实):在短任务上训练,泛化到长 8 到 30 倍的任务;而且跨完全不同的任务类型也成立("数学任务对写作任务,但那个 meta 的、高层的解法是一样的")。
- ⚠️ 他给的机制:"子 agent 看到的是不同的问题,但子 agent 解的是一个更简单的子任务……而对于基础的整体策略,它们最后看起来是一样的。" 而这条论证是归纳式的——子 agent 在解的东西可能同样是这个形式。
- ⚠️ 本页认为这条对自动研究这条线有直接含义,而它也指出了自己的失效条件:如果有效的原因是每次调用都落回分布内,那么当子任务本身也在分布外时(恰恰是真正新的科学问题的特征),分解就不该帮忙。 ⚠️ 而那次 Navier–Stokes 的归因("搜索产出了信息,某个 agent 拿着它收尾")正好是这个边界上的案例——它需要的不是"每步都在分布内",而是"搜索到一条分布内的路径"。期内没有把这两条放在一起,本页记下这个张力。
⚠️ 2026-10 的新框架:把 RSI 从"会不会发生"改写成"分子分母各自怎么动"(MakerMaker.AI,2026-10-12)¶
来源:a16z / MakerMaker.AI(Dhaval Adjodah、Owen He × Martin Casado)
⚠️ 这份材料在本页的位置很特殊:它是第一份由"专做 RSI 的一方"提供、而且主动把判据提得比质疑者更高的材料。⚠️ 同一位主持人(Casado)在 2026-09-18 给出的术语标准是"他们全都说 RSI,而其中只有约 1% 真的是 RSI"——本期就是他把那 1% 里的一家请到场上盘问。
一、判别式:优化者是谁,被优化者是谁¶
⚠️ 本页建议把这条与 Casado 的"自催化 ≠ RSI" 合并为本页的术语标准([00:02:00]–[00:04:01]):
- "RSI 今天肯定是个被过载的词。所以区分它们时重要的是问:优化者(optimizer)是谁,被优化者(optimizee)是谁——当你说自我改进的时候,是谁在改进谁?"
- 人借 AI 工具去开发更好的 AI = 自催化,因为"改进者仍然是人加工具,哪怕工具越来越好,想法和改进仍然来自人脑"。
- ⚠️ "而现在第一次,我们可以把优化者和被优化者互换:agent 的大脑——那个 LLM、那个模型——本身可以成为你正在优化的东西,于是你得到认知改进对自身的再投资。"
- ⚠️ 控制论上的理由(本页此前只有"闭环"这个说法,没有理由)([00:04:01]–[00:05:01]):自催化没有闭环——"系统里有缺口就不可能有闭环,人必须进来";闭环的区别在于边际收益"保持恒定、或者随时间变大"。
二、分子 / 分母:本页迄今最紧凑的一个会计框架¶
⚠️ 本页认为这是本期最可迁移的贡献([00:05:01]–[00:06:01]):
把要改进的东西写成 能力对时间的一阶导数 = 分子(性能)/ 分母(成本:资本或难度),然后:
| 情形 | 结果 |
|---|---|
| 分子固定(历史上所有技术跃迁,蒸汽机那类) | ⚠️ "一个非常简单的微分方程,而它基本上会平台化" |
| 分子与能力一次相关("你越强,也越擅长改进") | "数学上就抵掉了,基本得到随时间恒定的改进——这可以算 RSI 的一个层级" |
| ⚠️ 分子与能力的更高次幂相关 | ⚠️ "然后你就得到指数起飞" |
⚠️ 而分母天然上行:"能力越高,下一步的难度就越高。"
⚠️ 这套框架与 Ali Ghodsi 的四条判据 高度兼容但口径不同:Ghodsi 要四条同时成立(更省 GPU、更省时间、更准、可反复),本期把它压成一个比值。⚠️ 而本期恰好正面回应了 Ghodsi 的前两条([00:22:14]):
Casado:"你认为有可能让分子以同样方式继续增长、而分母固定甚至下降吗?" → ⚠️ "不只是可能。我认为它正在发生。" → Casado 说这是一种信念 → ⚠️ "它不是信念。它是经验测量。"
⚠️⚠️ 本页标注:这是自述,无数据,未发表(他们自己说"不能分享太多",并说"我们在完全确定正确之前不会把东西放出来")。本页记为一条待兑现的声明,不作为事实。 对"什么时候能听到更多"的答复只有两个词:"很快。"([00:31:22])
三、⚠️ 闭环不等于起飞:本页此前最缺的一条反向约束¶
⚠️ 本页此前的材料几乎都在争"RSI 会不会发生、多快发生",没有人指出"闭环本身不蕴含任何速率结论"。这一期把它说清了([00:06:01]–[00:08:01]):
- ⚠️ "不知为何,人们一看到一张图里有个圈画箭头到另一个圈再回来,看到那个闭环控制系统,就说起飞。"
- ⚠️ "如果这是个非线性控制系统,要知道到底会发生什么是非常困难的——顺带说,大多数人似乎并不理解这个区别。"
- ⚠️ 没有解析解:"写下那个微分方程是可能的,但你仍然必须经验地测量那个变量、那个指数。" → ⚠️ "老实说,我们连深度学习的学习理论都没有……我们手上最接近的是 scaling law,而那些是经验定律。"
- 物理上限:到某点撞上普朗克常数 / 长度 / 能量 / 时间,所以会渐近;粗算上界是"宇宙 10^80 个粒子 × 光速"([00:23:14],⚠️ 口述粗算)。
- ⚠️ 而更实际的一条是度量问题,本页建议与 Vals AI 的 RSI 指数 并读([00:24:15]):"如果你用基准准确率,它上界是 100%,你永远不会在那上面看到指数改进。" → ⚠️ "所以很长一段时间我们都有这个问题:如果我们没有正确的指标,我们怎么可能知道某个东西已经起飞了?"
四、⚠️ Casado 的"除以融资额",以及把人力心力算进分母¶
⚠️ 本页认为这是本期最该被所有 RSI 声明方回答的一问([00:09:02]–[00:11:05]):
- "速度在提升确实是事实——模型发布的时间间隔在缩短。" → ⚠️ "但如果你除以这些公司实际融到的资本,那就不再是这样了。"
- ⚠️ 他还要求把人力算进去:"他们会谈实际投进去的 FLOPs 和钱,但现实是这已经是第 23 次实验了,是一个人在烧大量心力才到那个最终配置的——你真的把这个算进分母里吗?" 答复是 "我们算,而且我认为这是好的公司纪律"。
- ⚠️ 他们自己给的充要条件:"如果改进只是因为越来越多资源被倒进去,那它不是 RSI。你必须能为自己拿到多少改进这个说法背书。"
- 落地成一条公司机制:⚠️ bleederboard——不是记分数的 leaderboard,而是把所有人跑实验的成本记下来,任何人任何一天都能看谁排在高位([00:11:05])。
五、nanoGPT 作为"分母能被改进"的现成存在性证明——以及它被当场限定¶
⚠️ 本页此前在 Karpathy 复现 GPT-2 那条线 上记的是教学价值,这一期第一次把它当作 RSI 的证据使用([00:11:05]–[00:13:07]):
- nanoGPT 基准要求重训 GPT-2:"它刚出来时非常贵,我想在多块 GPU 上要训几周;现在人们可以在单块 GPU 上几小时内训完,而且这个数字一直在缩小。"
- ⚠️ Casado 先当成摩尔定律打掉,被当场纠正两次:"不,是同一块 GPU,同样的硬件"、"同样的 GPU、同样的数据"——⚠️ 改进全部来自算法技术、数据技术、kernel。成本量级:"我想是几百(美元)"(⚠️ 场内随后接了"$100",本页照录不一致,只取量级:百美元级)。
- ⚠️ 而"这些来自人还是 agent"的答复是本页该记的:"很多是 auto research 的结果。"
- ⚠️ Casado 的限定一句切中:"但那肯定是分母,不是分子。你想看到的是你能对 GPT-5 做这件事——而我们没看到。这些东西的成本在急剧上升。"
- ⚠️ 而创始人一侧把两者接起来,本页认为这是本期最该被记下的机制陈述([00:12:06]–[00:13:07]):"业界守得最严的秘密之一正是这个:你能从这里面榨出多少算力。" → ⚠️ "因为即使你改进的只有分母,你也能得到更快的训练——因为现在你能拿到更多 rollout,于是能更广泛地采样语言空间的那个流形,于是能得到更好的轨迹,于是你用它来训练时能得到更聪明的模型。"
- ⚠️ 本页标注:这条把"分母改进"与"分子改进"接通了,是对 Casado"那只是分母"这一限定的直接反驳;⚠️ 但它仍然是机制陈述,不是测量结果。两条并记。
六、⚠️ 为什么大多数 RSI 论文不 scale(本页此前没有这类负面结果)¶
来源同上([00:13:07]–[00:16:10])
- ⚠️ "我们发现,很多声称在做 RSI 的论文,当我们在自己的内部基础设施里测它时,发现它们不工作。" 诊断:"很多是人类内省出来的酷想法……它们很复杂,听起来很酷,能给你一篇好论文,但当我们在规模上、在基准上、在真实的经济问题上测它时,它们不 scale。"
- ⚠️ "而我们发现的是:那个更简单、能把环闭上的东西,才是能 scale 的东西。"
- 他们的方法论自述:总是从"一个非常扎实的数学框架"出发,把整个空间的地图铺出来;两种极端的建法是"造 200 个不同的系统,希望这台鲁布·戈德堡机器能凑出来",与 ⚠️ "花点时间去想这 200 件事,也许你会意识到其实只有 12 个抽象能泛化到这 200 件事上"。
- ⚠️ "集邮"那条类比:"没有统一的数学框架,所有这些研究就只是集邮"——"我们读的很多论文只是受某种人类行为启发的想法,然后去模仿它,说'看,我们有 RSI 了';但不放进统一系统,你就不知道整体系统是否真的在改进,还是你只是在局部应用一个想法让它变好"。⚠️ 场内把这句归给 Feynman,但"所有科学要么是物理,要么是集邮"通常归于 Rutherford,本页标注归属存疑。
七、做在哪一层,以及"是 agent 在决定优化什么"¶
来源同上
- ⚠️ 层级枚举(本页此前最清楚的一次)([00:16:10]):prompt、harness、weights,一路下到芯片;"我们的目标是优化栈的所有层级"。反对只做一层的理由是机制性的:⚠️ "weights 和 harness 不是孤立的组件,它们彼此有影响。"
- 推进顺序(自述)([00:17:11]):先 harness(因为在意分母、要资本高效)→ 再 weights;"你拿到更多收益,但你仍然必须做 harness 那边的事";猜测需要大量协同优化。⚠️ 这与 Ghodsi 实测的"换 harness 成本差近 2 倍"(a16z 09-18 [00:54:20])互为印证:harness 不是薄包装,它是独立的成本数量级来源。
- 为什么选推理([00:17:11]–[00:19:12]):挑尽可能贴近 AI 本身、且能同时改进分子与分母的领域;⚠️ "我们是一家创业公司,不是研究实验室"——"现在全世界每个人都想自己服务自己的模型",想尽可能高效地服务最新的开源权重模型,"所以这在当下是一个经济上极其重要的问题"。
- ⚠️ 本页最该单独记的一条产品形态([00:19:12]–[00:20:12]):系统里有多个 LLM,而"用哪个 LLM 做哪件事也并不总是由我们决定,我们让模型自己选";⚠️ "今天真的不是我们在决定要优化什么,是我们的 agent。" 问是否有一个写着"改进你自己"的主提示词 → ⚠️ "但连那个主提示词也一直在被改进。" 并补了结构:"有那个做改进的东西,但你还必须有那个知道要改进什么的东西,这两个都是动态问题,而且强耦合。"
- ⚠️ 人类是系统里的一类 agent,这是他们与主流路线的明确分歧([00:08:01]、[00:21:13]):"人们对我们的 RSI 路线有一个误解,是以为整个系统必须完全自动、完全数字化";他们的数学基础是一个多智能体系统,人类研究者和工程师是这些 agent 的一个特例;整个公司被看作"人类作为一种与 AI agent 共栖的 agent"。配套原则:⚠️ "任何你不去优化的东西,later 都会变成你的瓶颈。"
八、⚠️ 在噪声里判断真假:本页迄今最具体的一份实务清单¶
来源同上([00:24:15]–[00:27:16])
⚠️ 本页此前关于"怎么知道 RSI 结果是真的"只有 Ghodsi 的"让检查员进去看"这一类制度性答案。这一期给的是实操层面的。
- ⚠️ 他们对同行结果的复现经验:"每隔几个月就有一个 RSI 相关的发布,我们看一眼,心想'我们早该把我们的结果发出来了'。然后我们去看它、试着复现它,然后意识到:哦,这是噪声,这是 cherry picking。"
- ⚠️ Viceroy of Variance(方差总督):一位工程师的全职工作就是"去摧毁我们拿到的结果、找出哪里不对";发现坏方差时有专门的 Slack emoji。
- ⚠️ "quality time",明确说没找到替代品:跑几百个实验、盯着它、培养直觉,分辨什么是方差、什么是 ⚠️ "往下两层的奖励黑客——那个造出那个 agent 的 agent 造出的那个 agent,黑了点什么"。
- ⚠️ 退化行为被承认:会振荡("变好、变坏、再变好"——"绝对会");agent 根本上超级随机;⚠️ 甚至有硬件来源的怪噪声——"它们都是 B200,但在物理层面有略微不同的行为,而你能看到其中一部分在高层被复现出来"。
九、⚠️ 哪些领域不会被 RSI 加速:Amdahl 定律给出的一道可预先算的筛子¶
来源同上([00:27:16]–[00:28:18])
⚠️ 本页此前在"哪些领域会被加速"上的材料(Dylan Patel 的限速环节、AI for Science 那条线)都是经验归纳。这一期第一次给出一个可以预先算的量。
- ⚠️ "智能不是一个单一标量,它更像一个多维向量"——有些方向起飞,有些方向平台化;"决定性的因素是:里面最慢的那个组件是什么。"
- ⚠️ Amdahl 定律:"数字的那部分我们可以快一千倍、一百万倍。但如果它只占你总时间的 20%,你只会拿到 20% 的加速。"
- ⚠️ 据此的分界,本页建议当作这一问的第一道筛子:"对那些你仍然需要移动原子、要与物理世界交互的领域,那是真的慢。" 例子:药物发现要湿实验室 + 临床试验,每个新想法要过几个月乃至好几个月的评估 → "所以那些领域大概不会像编程或数学那样被加速——后者有非常快而且便宜的评估。"
- ⚠️ 而 Casado 指出的那个空缺至今无人回答([00:28:18]):"我还没见过有人给这件事定一个量——为了把这个提升 X,我需要这么多净新增的能量。" 他说清了有这个量会带来什么:"你就能预测:我需要多大的一个仓库才能解决一个药物发现问题?需要多少个不同的机器人?" ⚠️ 本页记为该线上的一个公开空缺。
十、⚠️ 一条对整个领域选题的异见:"威斯康星那家浇花水管公司"¶
来源同上([00:29:19]–[00:31:22])
- ⚠️ 公司内部的段子:"RSI 的秘密藏在威斯康星州某家浇花水管公司里。"
- 论证用相对论/GPS 搭:如果爱因斯坦没有发现相对论,设计 GPS 的工程师只能经验地凑一个时间修正项(fudge factor),还会说"显然不是时空的织理在收缩";而后来人们才明白那就是时空在收缩。
- ⚠️ 落点:"现在的 RSI 被想成'让我们去解所有这些超级难的、时髦的问题'。但我们认为,世界的复杂度是这样的——真正的挑战大概存在于那些还没有被应用到的空间里。"
- ⚠️⚠️ 本页标注:这条与 Ghodsi 的 ontology 诊断("模型已经足够聪明了,它们缺的是组织内部的 context",a16z 09-18 [00:40:13])来自完全不同的位置——一个是企业软件 CEO 讲采用侧瓶颈,一个是 RSI 创业者讲研究侧选题偏差——但指向同一条假设:难度不在前沿,在前沿没有去的地方。本页并列记为一条可跟踪的假设。
⚠️⚠️ 把 RSI 做成一本公开台账:本页第一条"透明化而非度量"的提案,以及一条由怀疑方给出的证伪条件(Nathan Lambert,2026-10-14)¶
来源:a16z / Nathan Lambert(人物页:Nathan Lambert)
⚠️ 他已离开 AI2、正在创办非营利开放实验室 Trillium,本期为发布周。 ⚠️ 本页因此把这条提案全部记为计划,期内无已交付成果。
⚠️⚠️ 一、提案本身:不是基准、不是论文,而是过程台账¶
- ⚠️ 起点是他对现状的诊断([00:39:17]):"RSI 有太多神秘感——我们在把模型用在所有事情上。"
- ⚠️⚠️ 而内容是过程而不是结果:"作为一个开放实验室和一家非营利,我们能做的是分享我们在用什么工具——我们会为 SFT、为中训练建一个开源栈……我们知道我们在跑什么类型的算力,我们可以存下我们做过的那些轨迹。我们会说我们的任务是什么、我们为什么选了它们、以及模型在它们上面行不行。"
- ⚠️⚠️ 节奏是:"然后你就这样做一家实验室的一年,然后你说'这就是我们做的',然后你每六个月签到一次,问:它变了吗?"
- ⚠️⚠️ 目标受众他说得很明确,而本页认为这是这条提案的关键:"我认为那会帮到很多字面意义上的政策制定者……'这是 Nathan 让他的模型去做的事,而这是它卡住的地方'。" ⚠️ 他补的那句很具体:"那就是它在自己代码里放进去的那个 bug。"
- ⚠️ 他说清了为什么不该由学界来做:"学界很难说'作为教授,我 15% 的时间、我研究生 40% 的时间要用来记录我们做了什么'。但'这些是我们的任务'这件事有极大的政策与社区服务价值。"
- ⚠️ 他明说自己不是唯一在做的:⚠️ 一个学界的 "open RSI" 项目上周才启动(他与之无关联),并点名 EleutherAI、Hugging Face、"Open Athena,那是 Marin 和 Stanford"。✅ 态度是 "有不同的路子来做这件事是好的,因为你需要不同的看法和不同的结果"。
- ✅ 本页标注:本页此前关于 RSI 的材料分两类——一类是当事方的自述速率(MakerMaker.AI 的分子/分母、Richard Socher),一类是外部的判据提案(Ali Ghodsi 的四个判据、Amdahl 定律)。 ⚠️⚠️ 这一条是第三类:不试图度量 RSI,而是把一家实验室内部的自动化实践变成可长期比对的公开记录。 ⚠️ 本页建议把它当作对前两类的补充——它不回答"RSI 有多快",但它让"六个月后变了吗"这个问题有了可引用的基线。
⚠️⚠️ 二、他的 RSI 立场,以及一条明确的证伪条件¶
- ⚠️⚠️ 核心论据是量纲上的不对称([00:55:23]):"所有的 scaling law 都是算力的指数级增加换性能的线性增加……这件事我很难去反着赌。" ⚠️ 他给的现场观察是:"所有前沿实验室的员工,花的量相对于改进是指数级的。"
- ⚠️ 结论:"但我不认为这必然会变成那种模型自己造自己的快速起飞。是人的瓶颈。"
- ⚠️⚠️ 而证伪条件本页认为是本期最该保存的一条,因为本页在这条线上很少拿到由怀疑一方主动给出的翻盘条件:"如果一个 AI 模型真的发现了某种与 transformer 非常不同的东西、给出非常不同的性质、解锁了一种新型的智能——那这是值得据此更新的。" ⚠️ 在那之前他的态度是 "我对我手上的证据还挺满意"。
- ⚠️ 他对数学给了一条限定性的让步:"我的看法是数学格外适合——也许是最适合这种形状的智能的那个科学领域",并紧接着补 "智能可以有很多不同形式"。✅ 本页标注:这与本页既有的"数学/代码可验证所以被加速"那条机制一致,而他把它说成了领域属性而不是通用规律。
- ⚠️ 他引了 Claude 的 system card 作旁证(按转述记录):"有些 Claude 的 system card 就这么说——他们说大概需要再 10 倍的进展才会让这变成一次快速起飞。" ⚠️ 未说哪一张,本页不写定。
⚠️⚠️ 三、会被自动化的那一半与不会的那一半¶
- ✅ 会的([00:41:17]):"我确实认为模型会很擅长降低服务成本。这些公司在这件事上押着数十亿美元,而模型擅长它。他们会在让服务更高效、调整架构上赚很多钱。"
- ⚠️ 不会的:"但这不必然是'你怎么解决知识工作'。你不会去跟 Claude 说'Claude,告诉你自己去做更好的 PowerPoint'。"
- ⚠️⚠️ 而他给的那条机制本页认为该与上面并读,因为它把"非可验证领域的前沿进展"归因到采购而不是涌现([00:24:09]–[00:26:10]):"我很主张:在那些不是完全可验证的领域里,很多前沿进展是靠买高质量的数据、以及给模型一些可以行动和爬坡的世界。"
- ⚠️⚠️ 他对另一种解释的描述带着明确怀疑:"他们大概会告诉我们那是泛化的魔法——噗。人们爱'噗一下就泛化了'。" ⚠️ 他随即自己调和:"而现实里大概是一部分 A、一部分 B,但很多都归结到数据上。"
- ⚠️⚠️ 而那条对照是本页最该回填的:"但那不是'噗一下魔法 RSI 就发生了'。而在数学、代码、以及某些分布式 ML 工程里,我确实看到——它非常可验证,你知道你的成本是什么,而 AI 模型会以一个真正魔法般的速率把它压下去。"
- ⚠️ 内部视角他给得很具体:"有些人的贡献方式是做一件非常窄的事——你做一个数据集,你搞清楚你的模型在那个领域里该有什么行为……以及你需要买什么数据。" → "我觉得我们会在不同行业上经历好几年这种事",而这非常资本密集。
⚠️⚠️ 四、他真正担心的东西与 RSI 无关¶
- ⚠️⚠️ 原话([00:56:24]–[00:57:25]):"那张 AI 能力曲线并不必然让我担心;但那张 AI 能力曲线配上公共网络安全这些方面几乎不存在的准备——需要有比现在更多的准备,基于'这件事要来了'这个假设。" → "而这才是比'RSI 要来了并解锁新风险'更让我担心的东西。"
- ⚠️ 风险扩散路径他给的是一条既有顺序:"很多次都是闭源实验室先到那儿,然后开放实验室到那儿。" ⚠️ 落点在社会侧:"搞清楚怎么让社会做好准备非常难"、"我们需要更多眼睛、更多科学,这样社会才感到被告知"。
- ⚠️⚠️ 而他主动加的那条区分本页认为必须一起引用:"不害怕快速起飞,并不意味着你不担心风险。" ⚠️ 他还补了 "但也有其它成立的意见"。
⚠️⚠️ 五、一条对"先到"收益的限定,以及与本库既有材料的直接对位¶
- ⚠️⚠️ 原话([00:51:22]):"到目前为止他们在'先到'上拿到了巨大回报。但比如 Navier–Stokes 那些东西的回报是什么?我们并不真的知道。他们在推前沿,而那是在'会有高回报、这种边际智能有不成比例的回报'这个假设之下的——而我们不知道那是不是总是成立。"
- ✅ 本页标注:这与本库既有的 Greg Brockman 那条 Navier–Stokes 构成直接对位——⚠️ 那一条把它当作"由 AI 创造的新知识"的例证,这一条问它的经济回报是否被验证过。本库并列,不裁决。
⚠️ 一条把"多久到 AGI"的不确定性来源换掉的观察:迭代速度本身在变(Lindon Gao,2026-10-15)¶
来源:张小珺 #154 / Lindon Gao(Dyna Robotics CEO)(人物页:Lindon Gao)
- ⚠️⚠️ 他对 agentic coding 的影响给的是一条很具体的空间换算([02:23:38]):"因为所有做的所有的事情其实都快了很多。所以当工程成本下来的时候,你就有更多的空间去探索其他方向的事情——比如说以前你一件事情需要一个月做,那现在这件事情只需要一周了,那你就可以同时探索四件事情、四个方向。"
- ⚠️⚠️ 而推论落在了预测的可能性上,本页认为这是本页此前没有的一条:"所以其实刚才你问我要多少年可以进入 AGI,其实我也不知道,因为本身工程效率也一直在提升。所以我觉得最重要的还是一个团队的迭代速度。"
- ✅ 本页标注:这把"多久到 AGI"这个问题的不确定性来源从"技术难度有多大"挪到了"迭代速度本身在变"。 ⚠️ 本页建议与 Amdahl 定律那条 并读——⚠️ Amdahl 讲的是数字部分在总周期里的占比(分母固定时能加速多少),而这一条讲的是数字部分自己的速率也在涨;两条方向相同但量不同,本页不合并。
- ⚠️ 而他对机器人侧 AGI 的定义是指令模糊度([01:36:09]):"你给他一个非常模糊的指令,他就可以把这件事情全部都做好"——⚠️ 而他认为这"跟 coding agent 或者一些 general purpose agent 的最终的一个形态会是非常类似的"。⚠️ 时间他明确拒答:"非常难去断定。"
- ⚠️ 他对技术进展形态的描述是一条本页常见但由机器人一侧给出的说法([01:37:11]):"很多科技发展特别是在 AI 的领域上面,可能很多时候是一个非常看似非常平坦的一个状态,可是突然哪一天它有一个突变。" ⚠️ 而他自称自己看到的那次突变是"我们在 egocentric 上面找到 scaling law 本身"(⚠️ 自述、无数据,详见 LLM 训练流程)。
⚠️⚠️ RSI 四判据被第三方当成政策论据使用——以及转述走形的两处(All-In × Ben Horowitz,2026-10-17)¶
来源:All-In 2026-10-17(嘉宾 Ben Horowitz)。原始出处:a16z / Ali Ghodsi(2026-09-18)。
✅ 本页此前收录的 RSI 材料基本都是技术侧的(判据、分子分母、公开台账)。这一期的价值不在新论证,而在一次扩散的记录:本页第一次看到一位研究者/CEO 提出的技术判据,被一位顶级投资人在大众播客上当作一整类政策主张的否证前提来使用。
转述本身¶
他点名归给 "Databricks 的 Ali"("他有一个很好的表述:那件事的前置条件是什么?"),四条如下([01:27:04]–[01:28:05]):
- 下一个模型必须需要比上一个更少的 GPU——"而且不是少一点,是少很多,否则你就是会把 GPU 用光";
- 下一个模型必须用更少的时间训练,"因为它得起飞";
- 下一个模型的准确率必须比上一个好;
- 这件事必须一次又一次地持续发生。
✅ 四条的转述基本准确,而他给的物理约束与本页既有记录一致([01:28:05]):"你需要债、你得搞到 GPU、你需要电力、你需要冷却。它没有在跑开。造下一个模型要花很长时间。"
⚠️⚠️ 两处走形,本页不采信转述版¶
- "这四条一条都没有被满足。我们也不在满足其中任何一条的轨道上,除非大实验室里有什么我们不知道的事在发生。"([01:28:05]) ⚠️⚠️ 第三条与本页全部材料冲突——模型准确率逐代提升是本库范围内没有争议的事实。⚠️ 也与原作者冲突:Ghodsi 给的现实判断是第 1 条失败(下一个模型要更多资源、更多人、而且更脆),不是四条全败。✅ 本页处理:框架按原版采信(原版还要求第 1 条是"超线性地更少"),"零条被满足"记为转述误差。
- 必要条件被当成充分条件使用。 Ghodsi 自己留过一句克制——"我甚至不知道这四条成立是否必然导向超级智能——但它可能",即他把四条当必要条件、并明确不声称充分。⚠️ 而转述的落点是"所以我们真正谈的是一个在这个时点上完全理论性的风险",进而"它比我们为了预防而造出 COVID 的那场全球大流行还更不可能"、"这整条路……大概就是 AI 里正在发生的最危险的事"。 ✅ 本页标注这一步的逻辑代价:必要条件当下不成立,只支持"当下不在起飞轨道上",不支持"风险是理论性的"——后者还需要一个"这些条件在可预见期内不会变"的额外前提,而他给的唯一支撑是"除非大实验室里有什么我们不知道的事",这恰恰是一个他自己承认无法观测的分支。⚠️ 节目内无人提出这一点。
⚠️ 同一框架被接到方向相反的政策结论上¶
- Ghodsi 用四判据的目的:解释他为什么认为生存性风险接近于零,⚠️ 同时他仍然主张自己愿意被监管(公地悲剧那条论证不依赖四判据)。
- 转述方用它的目的:论证末日论本身是"AI 里正在发生的最危险的事"。
- ✅ 本页并列记录不裁决,但指出这是本页可观测到的一次框架迁移中的语义损耗:四判据原本是对起飞动力学的技术约束,在转述里变成了对一类言论的正当性裁决。⚠️ 而这两种用法对证据强度的要求完全不同。
- ⚠️ 另记一处本页必须保留的区分:本期把"RSI 风险是理论性的"与"Bill Gates 诱导了 COVID 所以警告者会制造风险"接在了一起([01:21:59]–[01:24:01])。✅ 后者在本期无任何来源、也无人反对,本库不作为事实收录(见视频页克制记录);因此本页上那条关于 RSI 的技术判断不应被这条类比加强——两者证据地位完全不同。
⚠️⚠️ 一条把"降价能力"和 RSI 绑在一起的结构性两难,以及本页第一个带比例的 RSI 使用口径(All-In 第 295 期,2026-10-30)¶
来源:All-In 第 295 期(人物页:All-In 四位主播)
⚠️⚠️ 立场必须先写,而且本节的立场问题比一般材料严重:本节几乎全部内容出自 David Sacks,而他是现任政府官员、是 Anthropic 监管诉求的主要公开反对者。本页因此把"动机解读"与"可检验的结构论证"分开处理——前者不采信,后者记为待验证假设。
⚠️⚠️ 一、那条链条:降价能力 ← compute multiplier ← 用自家模型做算法改进¶
([00:43:25]–[00:44:25]、[00:57:32]–[00:58:33])
- 前提(本页在 AI 商业化与价值捕获 另记):同一任务的成本效益约每年 10 倍改善,使他们能对外降价约 50% 而毛利反而上升;而 compute multiplier 被定义为 raw compute 之外的算法改进、数据筛选与架构改进。
- ⚠️⚠️ 而把它接到 RSI 上的那一步是本节的核心:
"事实上,他们之所以在算力上变得这么高效、之所以能把成本砍掉、能用 1/10 的价格提供同样的能力,很大一部分原因就是他们越来越多地在用自家模型去产生这些算法改进、去造这些 compute multiplier。"
- ⚠️⚠️ 而他引的数据点是本页目前唯一一个带比例的 RSI 使用口径:
"回到八月,Anthropic 发过一篇很有意思的博客讲他们怎么用 RSI,有一张图显示:在基本上是在造下一代模型的那些任务里,26% 他们已经在用 RSI 来做。而那是八月,所以谁知道十月是多少。"
- ⚠️ 本页未核实该博客与该图,记为待核实的二手引用。 ✅ 但本页认为这个口径值得单独保存,因为本页此前关于"用 AI 加速 AI 研究"的材料几乎全部是定性的(元模型、neo labs、自改进的组织),而这是第一条给出任务占比的。
⚠️⚠️ 二、两难本身,以及它为什么可检验¶
([00:57:32]–[00:58:33])
"为了保持领先、为了让模型越来越高效,他们必须持续更多地使用递归自我改进……所以他们必须不断把他们自己所称的危险活动推到极限。" ✅ "我不知道我是否完全相信 doomer 关于 RSI 的那套说法,但他们自己说 RSI 很危险。而他们必须持续推进 RSI,才能持续交付这些算法改进,才能保持领先于开源模型。而我就是在想这件事能持续多久。" ⚠️⚠️ "在某个点上,会不会出现与 doomer 之间无法调和的裂口?doomer 会不会想要关掉 RSI、或者把它放慢到让开源模型真的追上来的程度?我不知道这个问题的答案。"
- ✅ 他自己给了这条的定位,本页认为这个定位很准:"它其实只是对'开源模型追上来'这个想法的一个更细致的版本。"
- ✅ 本页标注这条为什么值得长期保存:⚠️⚠️ 它把三件此前分散的事绑成一条链——降价能力、compute multiplier、RSI。如果链条成立,那么"放慢 RSI"与"维持价格优势"就是同一个旋钮的两端,而安全立场与商业地位会直接冲突。 ⚠️⚠️ 而检验点很具体:毛利率、单位价格与公开的 RSI 使用比例三者的同向性——如果 RSI 使用比例被主动压下来而单位成本改善仍维持,这条链就不成立。
- 🔗 ⚠️⚠️ 本页标注这与既有 RSI 材料的关系:本页此前的正面 RSI 论证(换算链、产业爆炸、sloppocalypse)与 MakerMaker.AI 把判据提得更高的那一份(optimizer-optimizee 判别式、"闭环 ≠ 起飞"、Amdahl 定律) 讨论的都是"RSI 会不会导致起飞";✅ 而这一条完全不碰那个问题,它问的是"RSI 已经在当期损益表里了吗"——而答案若为是,则 RSI 的进退就不再只是一个安全选择,而同时是一个毛利选择。本页认为这个角度是本页此前完全没有的。
- 🔗 ⚠️ 而它与 Ali Ghodsi 的 RSI 四判据 并不冲突但口径不同:四判据问的是"有没有发生",这一条问的是"在多大比例的工作上被当成生产工具用"。
⚠️⚠️ 三、本页不采信的部分:对 pacing letter 的动机归因¶
([00:44:25]–[00:45:25])
- ⚠️ 他引的外部信号:"已经开始出现一种 doomer 与 Anthropic 的分家。过去一周 Vox 上有一篇文章引了一堆 doomer NGO,基本在指出:如果你把 Anthropic 的修辞和他们实际做的事分开,他们恰恰是在递归自我改进上领跑的那一家。" ⚠️ 本页未核实该文。
- ⚠️⚠️ 而他对 pacing letter 的解读是:"几乎像是他们在为自己制造一个不在场证明……我们本来想让它停下来、想让它放慢,我们试过让你们都同意 pacing,但你们不肯,所以我们就继续了";以及 "整件事算是一种德性表演(virtue signaling)。"
- ⚠️⚠️ 本页明确记为动机归因、不采信:这是对他人内心动机的推断,不可检验,而发言者在这件事上是公开的对立方。 🔗 本库既有的 pacing 材料见 Daniel Ek 明确不站队的那一份,以及 白宫超级智能峰会那期。
- ⚠️ 而"回到八月那篇博客"与"26%"这两项是本节唯一可去核实的事实主张,本库此后遇到相关材料应回填。
⚠️⚠️ 本页第一条应用层的"让 agent 改自己的 harness"失败模式:"每个小修补都会变成整条 prompt"(Arca,2026-10-31)¶
来源:Latent Space × Arca(Aman Singh)(人物页:Aman Singh(Arca))
⚠️ 立场:他代表 Arca(AI 原生财富管理机构)。✅ 而本节这条是一处自我不利的让步——他是在解释自家自动化流程里为什么还留着人,所以本页认为它的可信度高于本期其它陈述。
自改进闭环的形态¶
([00:20:10]–[00:22:11])
- ① 采集:员工的每一次编辑或取消都带一个"为什么",并成为一条 eval;反馈与"产出它的那个 agent 的 trace"耦合入库。
- ② 归纳:⚠️⚠️ "每一晚我们跑一个流程:收集来自真实世界、来自我们在野 agent 的 trace,在它上面跑一个 meta agent,让它建议对我们 harness 的改动。" 建议类型他给了三种:有误导性的工具、出错的东西、知识库里缺失的知识。
- ③ 放行:⚠️ "今天我们在真正上线一个 prompt 改动之前,仍然有一个人类工程师在环里。"
⚠️⚠️ 而留着那个人的理由是本页认为全期最值得保存的一句¶
⚠️⚠️ "我注意到,你要是放手让 agent 自己去改,它们会做出相当糟糕的 prompt 改动。每一个小修补都会变成整条 prompt。" ⚠️⚠️ "而它们没法保持在元层面、把那个修补泛化成一条能泛化的 prompt。"
- ✅ 本页标注这条为什么重要:⚠️⚠️ 本页此前关于"用 AI 加速 AI"的材料几乎全在实验室一侧、且多是能力叙述(元模型、neo labs、自改进的组织、Sacks 转述的"造下一代模型所涉任务的 26% 已在用 RSI");✅ 而这是第一条来自应用层、关于"让 agent 修改自己的 harness"的具体失败模式。
- ⚠️⚠️ 而缺陷被指认为抽象层级,这是它最有用的地方:agent 把一个实例修补当成了规则,而不是去归纳。也就是说失败不在"它改不动",而在"它不会把一个样本上升成一条策略"——而这恰好是 meta 层工作的定义性要求。
- ✅ 本页认为这很可能是一个一般现象而不是这家公司的特例,理由是它与本库既有的另一条形成了对称:🔗 ⚠️⚠️ "围绕当期模型缺陷建起来的那层东西有半衰期"(Serval 的示例库被模型吃掉、Lovable 的 skills 被模型吃掉、Anthropic 的"在一些负载上智能看起来越来越饱和了")说的是人写的脚手架会过时;✅ 而这一条说的是机器写的修补不会泛化。两者是同一问题的相反方向:脚手架的维护者无论是人还是机器,都各有一种系统性失效。
- ⚠️⚠️ 而本页标注这条对 RSI 讨论的含义,并限定其射程:它是关于"agent 改 prompt / 改 harness"这一层的观察,不是关于"模型改模型权重"那一层的证据。 ✅ 但本页认为它仍然相关,因为 harness 与 prompt 恰恰是当期最容易被自动改动的那一层——而在这一层上,自动化的瓶颈被报告为泛化能力而不是执行能力。 🔗 与 MakerMaker.AI 的 optimizer-optimizee 判别式与"闭环 ≠ 起飞" 并读:那一份把判据提得更高,而这一条给了一个闭环已经建起来、但产出质量不达标的实例。
⚠️⚠️ 一条真的闭上了的 self-improvement 回路,而它的验证环节是说话人自己说还没建的(Warp,2026-11-03)¶
来源:Latent Space × Warp.dev(Zach Lloyd)
⚠️ 立场:他是 Warp CEO,这一期是产品演示。 ✅ 本页收录它的理由是形态而非结论:本页此前关于"agent 改自己的脚手架"的材料,缺一个完整实现的样本——这一期给了一个,而且连缺口在哪都是他自己指出来的。
⚠️ 一、回路本身([00:14:07]–[00:15:10])¶
- 触发:另一圈 agent 盯着打分器(scorer)的结果——⚠️ 他自己插了一句"这年头什么都是 loop"——"它们在找你的分数里的失败、找那些跑得不好的东西,然后试着建议改动来让它变好。"
- 他举的例子很具体:self-improvement agent 看了他们的 triage 环节,报出"我们有 54 个这种形式的失败案例——如果我们的 triager 当时能派一个子 agent 去做调查,会更好"。
- ⚠️⚠️ 而回路能闭上,靠的是整条工作流本身是代码:
"因为你整个 factory 是以代码形式定义的,而这些是 coding agent,它们本质上可以直接对 factory 的定义提一个 pull request,来试着改进 factory 自身。"
- ✅ 本页标注这是本页第一个"被改动对象与改动者在同一个表示里"的工程样本:⚠️ 工作流被声明成 YAML,于是"改进工作流"退化成了一次普通的代码修改,而 coding agent 恰好擅长这件事。本页认为这条可迁移的点不是自动化程度,而是把要被优化的东西写成 agent 已有能力的格式。
⚠️⚠️ 二、缺口,以及本页的判定¶
- 他自己说的那句([00:15:10]):
"我们还没有这个,但下一步我们想用它做的是:对任何这样的建议改动,你可以回去重放那些运行,确认它真的会让它们变好。"
- ⚠️⚠️ 本页的判定:没有重放验证,这条回路当前形态是"一个打分器报出失败 → 一个 agent 据此改配置",中间没有任何独立判据确认改动有效;而那个打分器本身是 LLM-as-judge + 抽样(见 评估与 Benchmark)。 ✅ 于是它是一条建议回路,不是一条被验证的改进回路。
- 🔗 ✅ 本页把它归到 MakerMaker 那条 optimizer-optimizee 判别式与"闭环 ≠ 起飞" 的分母侧:⚠️⚠️ 系统确实闭合了,但判据没有同步变硬——被优化的是工作流配置,而给出"这次算失败"判断的仍是同一代模型。本页认为这正是那条判别式所要排除的情形,而难得的是本期把缺的那一环说得很清楚。
- 🔗 ⚠️ 与本页上一条(agent 改 prompt 会把实例修补当成规则)并读:✅ 那一条说的是机器写的修补不泛化;这一条说的是即便修补的形式对了(一个针对 54 个同形失败的结构性改动,而不是一句话补丁),验证仍然缺位。本页记:这两条合起来给出的是同一层(harness / workflow 层)自动化的两个独立瓶颈——泛化与验证。
- 🔗 ✅ 另一条该并读的是 Garry Tan 的 skillify 循环:⚠️ 那是同一个动作的手工版——人从失败里提炼出 skill 写回文件。本页记两者的差别不在自动化程度,而在谁来认定"这次确实失败了"。