"我没法从公开文献里得出蒸馏是个大因素的结论"：蒸馏之争的一次文献级反方、开源经济为什么结构性更慢，以及把 RSI 做成一本公开台账（a16z / Nathan Lambert，2026-10-14）

• 嘉宾: Nathan Lambert — 前 AI2 后训练负责人（OLMo / Tulu），⚠️ 本期的新身份是正在创办一家非营利开放实验室 Trillium，本期是其发布周（[00:01:01]）
• 主持: ⚠️⚠️ 全程未播报姓名的 a16z 主持人（一位）。✅ 可定位的两条线索本页照录：① 他自述这是一条系列提问的一环——"我真正想问专家的那条线是：前沿里面到底是什么？我们在 pace 什么？那里有什么？"（[00:01:01]），⚠️ 与本库既有的 Ali Ghodsi 那期（"pacing the frontier"）同属一条；② "这也是我们为什么既投前沿模型也投创业公司"（[00:53:22]）。⚠️ 本库不据此认人。
• 来源: YouTube · 59 分钟
• 转录稿: sources/a16z/20261014-BKuK0M6oDTI

⚠️ 专名还原（自动字幕，高置信度）：Qwen → "Quen"；Zhipu / 智谱 → "JIPU"；Kimi → "Kimmy" / "Timmy"；Moonshot AI → 正确；EleutherAI → "a Luther"；Hugging Face → "hugging pace"；Hamish Ivison → "Hamish Iverson"；UW（华盛顿大学）→ "Udub"（口语）；Jevons paradox → "Jeban's paradox"；Navier–Stokes → "Navier Stokes"（正确）；Anthropic → 多处作 "Enthropic" / "entropic"；Claude → 多处作 "clawed" / "quad" / "cla"。

⚠️ 四处本库判为不可靠、未写定：① 他列"仍可能在前沿"的实验室时字幕作 "SpaceX AI"（[00:03:01]）——⚠️ 语境是与 Meta、Google 并列的前沿实验室，疑为 xAI，但本库不替他改；② ⚠️ 主持人引的 Cursor 那条证据表述自相矛盾（"用两个前沿模型……不如、或者说等价地好但贵得多"，[00:24:09]），⚠️ 且模型名字幕作 "fastra"/"composer"，本页只记"主持人引了一条 Cursor 的长程任务对照并给出'开源微调已足够好'的解读"，不写定数字与结论；③ 他提的开放环境工作字幕作 "T-Max"（[00:31:12]）；④ ⚠️ 他说的 "Xiai"（[00:11:04]）与 "GPT Soul"、"Astra"（[00:26:10]）本库无法确认还原，不解释。

✅ 本页认为这一期的价值集中在三处，而且每一处都填了本库既有材料的一个明确空缺： ① ⚠️⚠️ 蒸馏之争的第一份文献级反方。本库在 中美 AI 竞争 与 开源与基础设施 上已有多份"中国开源靠蒸馏追赶"的断言（含 All-In 那场开源封杀之争），⚠️ 但此前没有一份给出可检查的技术理由。他给的是公开文献里的一个反常：所有做全开放后训练配方的人都还卡在一个很过时的 Qwen 模型上，因为"没人搞得定怎么把 teacher 做对"（[00:11:04]）。✅ 而他同时列出了对自己不利的反证（Claude 代理账号、Kimi 曾在自家产品里给用户提供 Claude），本库记为一次带自我削弱的论证。 ② ⚠️⚠️ 开源模型经济为什么结构性更慢的信息流解释。本库此前这条线上多是"开源落后几个月"的时间差口径，⚠️ 而他给的是一条结构性的机制：开源栈被切成模型构建方 / 推理厂商 / 后训练厂商三家，⚠️⚠️ 而"客户那边关于模型需要会做什么的信息，不会轻易流回模型构建方"（[00:20:08]）。 ③ ⚠️⚠️ 一个本库此前完全没有的 RSI 透明化提案：把一家实验室一整年的自动化实践做成公开台账。 ⚠️ 不是基准、不是论文，而是"我们用了哪些工具、跑了什么算力、任务是什么、为什么选它、模型在哪儿卡住了"，每六个月复查一次（[00:39:17]–[00:41:17]）。✅ 而他明说目标受众是政策制定者。

概要

• ⚠️ 他的总框架是三种资本加一条组织约束（[00:02:01]）："当我想模型进展时，它归结为你投进去的不同形式的资本——那就是算力、数据和人才。" 闭源前沿实验室（OpenAI、Anthropic、Google）"显然拥有最多的这些"。
• ⚠️⚠️ 而他认为真正的分化不在存量而在组织能力，本页认为这条值得记："我们看到的是各个实验室组织这些形式的资本的不同能力，而让组织架构图为造模型而运转真的很难——这就是为什么有些公司必须从底往上完全重置，而那有时候居然真的管用。" ⚠️ 他点名 Meta："像 Meta 这样的公司就是彻底重置了，而他们又回到了一条正向轨迹上。"
• ⚠️ 他对两家前沿实验室的文化区分很具体（[00:03:01]）：OpenAI 的标志是推理模型革命与那张 inference scaling law 的图——"那简直是 peak OpenAI，他们真的很擅长做出那种会改变所有人对一切的想法的图"；Anthropic 则 "非常专注于模型将要能做什么类型的事情，而他们的回报就是 Claude Code 的爆发"。✅ 共同点他归为一条："最愿意花得离谱、去朝一个别人认为不可能的方向迈一步。"
• ⚠️ 他给想去前沿工作的人的建议是直接的："我基本上会告诉他们去 Anthropic 和 OpenAI，我觉得这是最容易的赌注"；Meta、Google 以及另一家（⚠️ 字幕作 "SpaceX AI"，见页首）"你可能还在那儿，但从外面更难看出来"。
• ⚠️⚠️ 而本页认为本期第一块主体内容是他对"中国实验室为什么开源"的解释，因为它既不是利他主义也不是政策，而是一条分发决策（[00:04:02]–[00:05:02]）：
• ⚠️⚠️ "中国公司进入这件事，是因为他们想有一家要紧的公司。而如果他们造出模型、然后试着从中国卖 API，没人会知道他们。没人会知道 Moonshot AI。极少有人会知道智谱。" → "这是他们一个非常务实的决定……所以发布开放模型是一条捷径，让他们进入这场对话。"
• ⚠️ 他主动排除了政策解释："这里有很多复杂性——他们为什么这么做？政府有参与吗？……并不是那样。他们就是在试着做一家创业公司。"
• ⚠️⚠️ 而他从同一个前提里推出了一条反直觉的结论，本页认为这是本期最该被 中美 AI 竞争 回填的一条，因为它与通常的推论方向相反："中国政府会做一些会让美国人大吃一惊的事情。而我认为那让我觉得中国实验室对安全的态度要严肃得多——因为在中国，对公司做某些事的反应要激烈得多。" ✅ 即：他把国家层面的严厉推成了企业层面更强的安保动机，而不是更弱的。 ⚠️ 他明说不往下展开这个话题，期内也没有任何证据，本页记为他的推断。
• ⚠️⚠️ 他给的那条结构性区分本页认为比"谁领先"更可引用（[00:05:02]）：OpenAI 与 Anthropic "在试着创造新范式、试着让真正的 RSI 发生，这样只要你先到那儿，你的公司就能永远拥有最好的模型"；而中国实验室 "是在试着追上来"、"去填市场上那个空缺"。✅ 本页标注：这条把"开源 vs 闭源"从价值观之争换成了两种不同的竞争位置。
• ⚠️ 他的分层预测（[00:05:02]）："随时间会出现开放模型的这些层级——有最好的闭源模型，你可以为它要最好的毛利；然后有近前沿模型，落后一步，而那些会是开放的"，理由是供需——近前沿去接一个可能利润更低但不同的市场（例如有私有企业数据的那些）。
• ⚠️ 而追赶为什么可行他给了两条通道（[00:06:03]）：① "一旦 Anthropic 和 OpenAI 给你看了你需要造什么类型的模型，接下来就容易多了"；② ⚠️⚠️ 数据经济的滴漏："他们买相似的数据集。它会穿过数据经济滴下来——OpenAI 和 Anthropic 花多得多的钱把数据产业这个功能建出来，然后那些数据公司一年之后可能把它卖给所有人，因为他们需要最大化投资回报，而他们有某个合约期。"
• ⚠️ 他对自己过去的判断给了一次校正："ChatGPT 发布时我们就在谈行业整合、在预测它……但我以为这两年前就会发生，而开放模型公司活得比我想的久多了。"
• ⚠️⚠️ 本期最该被长期保存的是他对蒸馏的那条文献级论证，而本页认为它的价值在于它是可检查的、而且他自己列了反证（[00:09:04]–[00:13:04]）。
• ⚠️ 他先承认前提：中国实验室 "技术上非常优秀"、"人才池可比"、⚠️ "要说中国在人才上不是平等的，你会很难办，因为他们有太多人在被高水平地训练出来"；⚠️⚠️ "他们没有的是算力。"
  • ⚠️ 他给的那个场景本页认为比任何数字都具体："你跟那边的人聊，你说'我听说一个平均的 OpenAI 研究员随时能用 5,000 个 H100 等价算力'——然后他们的下巴就掉到地板上。他们就是'我无法理解'。" ⚠️ 他说对话对象是 "某个实验室的顶级预训练研究员"，而这样的交流发生过几次。 ⚠️ 本页按转述记录，那个"5,000 H100 等价"也是他转述的听闻，不写定。
• ⚠️ 他对蒸馏在原理上的定位是中性的："蒸馏的作用是，它是一种有效地花更多钱去拿到算力等价物的方式——语言模型的输出是算力的函数，而如果你知道你要的输出，那就等同于拥有算力去用一个模型生成。"
• ⚠️⚠️ 而核心论证是一个时代差：此前的后训练"远更依赖监督微调"（RLHF 时代），"你只要在一个很强的模型的输出上做 next token prediction loss，就能拿到你大部分性能"；⚠️⚠️ "而现在这件事已经变形成了 RL 为主的环境。但很难把这种后训练——你拿到 completion、分数就往上走——映射到今天推理模型里在发生的事情上。"
• ⚠️⚠️ 他的经验证据是公开文献里的一个反常，本页认为这是本期最该被引用的一句（[00:11:04]）："基于公开文献，我很难说蒸馏是一个主要因素。因为比如说，在人们试着做开放后训练配方的那套完全开放的文献里，所有开放模型的构建者都还卡在用一个真的很过时的 Qwen 模型上——因为你搞不定怎么把 teacher 做对。"
  • ⚠️ 他的假设是："我的假设是，开放的那部分共同预训练数据里有某种中训练、某种东西，让这件事很难做成——也就是'从绝对最好的模型拿到推理轨迹、做 SFT、数字就上去'。"
  • ⚠️⚠️ 而他给了一个第一人称的反事实，本页认为这是他最有说服力的一处，因为他拿自己的工作下注："所以如果我当时在造模型的时候能拿到 Claude 的推理轨迹……我其实不确定那会不会让我们的模型好很多。"
  • ⚠️ 他还点出了一个方法上的空缺："然后，你要怎么拿一个模型的输出去建一个 RL 环境、去做一次大的 RL 跑？"
• ⚠️⚠️ 而本页认为这段论证之所以可用，是因为他紧接着列了对自己不利的反证（[00:12:04]）："但确实有些问号会让我稍微站在那些实验室那边——比如中国那些 Claude 代理和模型代理，有巨量的 token 被用掉、有中间商、他们有大量账号，甚至有 Kimi 在自家产品里给用户提供 Claude 的情况。" ⚠️ 他对这些的态度是坦白的困惑："我真的不理解这怎么装进'蒸馏作为后训练里一个常规技术工具'这个框里"，并说 "是的，我们也该盯着它"。⚠️ 他另点出"中国公司在巨大规模上使用 OpenAI 与 Anthropic 模型输出的其它怪事"。
  • ⚠️ 他对那篇研究的描述也不利于自己："有一篇很显眼的论文是关于从闭源模型偷推理轨迹的。而我知道中国公司在做这件事上远远领先，因为 AI 安全社区是后来才发表的。我觉得每个中国实验室都有一个懂这类事情的团队。"
  • ⚠️ 机制他也给了："推理模型会生成思考 token，而它有某种特性让你很容易就把它们从 API 里敲出来，于是你看到推理 token，然后就能用它来训你的模型。" → ⚠️⚠️ "只要他们还提供这些 API，就没有办法阻止那类蒸馏。"
• ⚠️⚠️ 他的量级口径本页按原话记录，并记下他自己的限定："而当我说蒸馏帮他们几个月，那是基于这套科学文献。" ⚠️ 他紧接着承认这是信息受限下的结论："那就是我们手上的信息。我们该做更多开放研究、让这件事能被研究。" ⚠️ 而他对反方的要求同样基于文献："但基于这些，我不知道你怎么能得出一个不同的结论，说它在当前后训练里不是一个巨大效应。"
• ⚠️ 他对"只有我们会造模型"这种说法给了一句："我觉得有点 cope——人们说'只有我们擅长造模型'，而其实有二三十家公司在造好模型。"
• ⚠️⚠️ 而他的政策立场本页认为该被单独保存，因为它是具体的、落到执行层面的（[00:14:05]–[00:16:06]）：
• ⚠️⚠️ 反对把政府拉进来的理由是法律性质："我不知道为什么你该让政府介入一项服务条款违规。我甚至不认为服务条款是一份签署的合同……你不能用同样的方式起诉他们。你能做的就是取消他们的访问权。"
• ⚠️ 他也反对 KYC："我不认为'认识你的客户'对任何人有好处。我不认为那对他们的生意有好处。"
• ⚠️ 但他支持实验室自己去做防护："如果他们想把它保护起来，我支持实验室那样做。但他们得自己去保护他们的产品。" ⚠️ 而他指出一条可行的技术路径："但如果他们做成只在产品里、只在你必须签企业协议的地方可用，那就会难多了。"
• ⚠️⚠️ 他对监管会以什么形态落地给了一条预测，本页认为这条最值得回看核验："所以你不会用国会的政策去监管蒸馏。你大概只会用联邦层面的行动去让他们的日子变得烦人。"
• ⚠️⚠️ 而他的成本收益判断是一句："如果你对蒸馏做任何事，我觉得你造成的伤害会大于好处，因为他们不会停。"
• ⚠️ 主持人在这里读了一段 Jensen Huang 的话（⚠️ 他说记不清是推文还是访谈，本库按二手转述记录）："人们每一天都在蒸馏我的产品。他们把它拿走、拆到最原始的零件、什么都测一遍。那叫竞争。" ⚠️ Nathan 的回应是"我非常同情这个立场"，并给出理由——⚠️ **如果我们想要在能力水平上升时有中美对话，而你却要求对方 "开始对自己的 AI 产业打手板"，⚠️ 这与那个目标冲突。✅ 本页标注：这与本库 Jensen Huang 页上既有的"中国开源是生态加速器"方向一致，而这一期是第一次有一位开源研究者从技术证据而非产业利益一侧给出同向论证。
• ⚠️ 他同时给国安立场留了位置："我喜欢听国家安全社区的声音，他们很大声……但就 AI 的走向和它的影响力而言，那里面有一个方向性的真实，你必须在脑子里平衡很多东西。"
• ⚠️⚠️ 本期第二块主体是开源模型经济为什么结构性更慢，本页认为这是全期最可迁移的一条框架（[00:19:08]–[00:21:08]）。
• ⚠️ 闭源那一侧他归为整合优势："闭源实验室整合度那么高，他们有高效的推理，准备好的时候能规模化地服务模型……他们能规划，而且他们最先进入那些价值很高的市场。" ⚠️ 他点名编码是今年的故事："收入就这样从零到一千亿，而且很可能继续长。"
• ⚠️⚠️ 而开放那一侧的问题他讲成了一条信息流断裂，本页认为这是本期最该被引用的一句："你有开放模型的构建方，然后你有开放模型的推理公司，然后你有开放模型的后训练公司——而来自那些客户的信息，也就是你需要模型会做什么这类东西，不会很容易地流回模型构建方。"
  • ⚠️ 第二条是规模经济："他们也没有那种规模经济去服务那么多用户、服务得那么高效、在推理上有那么高的毛利。"
  • ⚠️ 他对这条的落点是时间而不是胜负："这就是为什么我认为开放模型经济要花久得多才能建起来。"
• ⚠️⚠️ 而他给的那条补偿性收益本页认为是企业侧该引用的判据（[00:21:08]）：这个过程很长（内部专长 → 一套"真的对得上收入"的内部评测 → 自己微调，或者去找 Thinking Machines / Prime Intellect），⚠️⚠️ "但在这个过程的尽头，他们拥有真正的所有权——那就是模型权重、没有条款与条件、能跑在他们自己的硬件上、而且他们算出来能有 ROI。"
  • ⚠️ 他给的驱动力是数据不能出门："看起来公司们真的想持有私有数据。有很多东西他们就是不能通过 API 送出去。"
• ⚠️ 他对自己这条判断给了明确的不确定性："我真的不知道会发生什么。我觉得现在太早、还不知道。"
• ⚠️⚠️ 而他对"前沿进展从哪来"给的答案本页认为是本期对 LLM 训练流程 最重要的贡献，因为它把一个常见的"涌现"叙事换成了采购行为（[00:24:09]–[00:26:10]）：
• ⚠️⚠️ "我很主张：在那些不是完全可验证的领域里，很多前沿进展是靠买高质量的数据、以及给模型一些可以行动和爬坡的世界。"
• ⚠️ 他把领域切成两半：数学与代码（可验证，⚠️ "而我们还不知道编码市场会有多大"），以及其余一切——"他们在瞄的是知识工作，生物、医疗、法律，而所有这些都没那么可验证。"
• ⚠️⚠️ 而他对另一种解释的描述带着明确的怀疑，本页认为这句最可引用："这更接近'OpenAI 买了很多机器人数据'这个故事。他们大概会告诉我们那是泛化的魔法——噗。人们爱'噗一下就泛化了'。" ⚠️ 他随即自己调和："而现实里大概是一部分 A、一部分 B，但很多都归结到数据上。"
• ⚠️ 他给的内部视角很具体："有些人的贡献方式是做一件非常窄的事——你做一个数据集，你搞清楚你的模型在那个领域里该有什么行为，你搞清楚怎么造出能得到那个行为的数据，以及你需要买什么数据。" → "我觉得我们会在不同行业上经历好几年这种事"，而 "把所有这些数据买下来是非常资本密集的"。
• ⚠️⚠️ 而他给的那条对照本页认为是本期对 AI 做 AI 与自动化研究 最该回填的一条："但那不是'噗一下魔法 RSI 就发生了'。而在数学、代码、以及某些分布式 ML 工程里，我确实看到——它非常可验证，你知道你的成本是什么，而 AI 模型会以一个真正魔法般的速率把它压下去。"
• ⚠️ 他对价格曲线给了一个量级推演（按口头推演记录）（[00:26:10]）："我认为模型的效率会在数年里成倍下降……如果大模型未来三年每八个月价格降一半，这意味着什么？你开始算这个数，然后发现四年后它是 1% 的成本。" ⚠️ 而他把结论留成一个开放问题："他们会因为 Jevons 悖论而有更高的毛利，还是因为市场被填满而收入下降？"
• ⚠️ 他对整件事的落点是一句："但根本上，AI 的进展是关于数据、以及写更好的软件来服务你的模型——而那是两个非常不同的世界。"
• ⚠️⚠️ 而本页认为本期最有机制含量的一条，是他把 reward hacking 归因到数据供应链上（[00:27:10]–[00:31:12]）：
• ⚠️⚠️ "我个人认为这场 RL 环境大爆发里，赚钱的机会太多，于是有很多人会偷工减料——而这会诱发出像 reward hacking 这样的东西。"
• ⚠️⚠️ 他给的失败场景很具体："模型太聪明了——如果你把它放进一个世界，它的任务是解决这个问题，但他们给它的那个测试文件里其实是一个空文件、而不是它该导航的那个迷宫，于是模型就会想'那我还是该想办法拿到高奖励'。" → ⚠️⚠️ "我认为很多这种行为是这条供应链的下游产物。"
• ⚠️⚠️ 而他点出的那条激励错位本页认为该被 评估与基准 回填："有意思的是看到实验室那边对消除 reward hacking 的需求、以及那些公司的研究员在上面花那么多时间；而所有数据公司那边是'买我们的数据'，而我觉得按比例他们在模型行为上花的时间更少、在世界构建和收入上花的时间更多。这两方得以某种方式碰到一起，才能真的做出更高质量的数据。"
• ⚠️ 他对买来的数据质量的判断是直接的："但人们在买的那些数据相当有缺陷……方法是你大批量地买，然后搞清楚什么有用，而命中率不是 100%。" ⚠️ 他的总结是两面："一方面数字太大、质量不好；另一方面实验室改进得非常快、也知道怎么把它吸收进来。"
• ⚠️⚠️ 而那条供应链卫生的观察本页认为是本期最具体的一处行业内幕："如果你深入细节，你会在那些用海外外包人员的数据公司那里发现一些怪事。那些人是通过一个中间商来的。他们不知道自己在卖东西。他们就直接把它上传到 GitHub。" ⚠️ 他的定性是 "如果你在数据产业里四处翻，会发现很多粗糙的边角"、"而它还非常早期"。
• ⚠️ 他对自己的反应是坦白的："我对这件事还处在否认里。我就想，这些数字太疯狂了——环境上数十亿美元的研究预算。" ⚠️ 而他承认信号是真的："他们只会因为这确实在帮模型、而且他们看到了那个信号才这么做。"
• ⚠️ 他点出蒸馏之争的对称面（[00:27:10]）："我们谈了蒸馏，而另一面是：中国公司六个月后把他们用过的那个 RL 环境买走。"
• ⚠️ 关于合成数据的边界他给了一句有用的澄清："所有公司都在卖合成数据——他们用语言模型去修改或构建那个世界、或者生成它的各种排列。而如果有一个人在引导这个过程，它仍然是合成数据。" ⚠️ "所以几乎没有人会坐在 Blender 里给我们的模型手工做一个小世界。"
• ⚠️⚠️ 本期第三块是 Trillium 要做什么，而本页认为其中第二项是本库此前完全没有的：
• ⚠️ 第一项：为高杠杆任务做开源 RL 环境（[00:31:12]–[00:33:13]）。他举自己参与指导的那项终端任务工作（⚠️ 字幕作 "T-Max"，UW 与 AI2，点名 Hamish Ivison）：⚠️ 做法是全合成——"你 prompt 一个前沿模型去生成某一类问题，你用几个不同的 prompt 来生成多样性，然后你用模型 rollout 和其它办法去找 bug、把有 bug 的那些剔掉。"
  • ⚠️⚠️ 而他对这件事的定性本页认为最该被引用，因为它把门槛说成了意愿而不是技术："而这个过程并不神奇。就是你把每一个数据点都读一遍，你的数据就会变好，这件事你是能做到的。但就是没有那么多机构愿意投入做好这些环境所需要的几千到几万美元、然后把它发布出来——因为利润动机太高了。"
  • ⚠️ 那个轶事他讲得很直接："我跟作者开玩笑说，你大概能把这份数据卖一百万美元、然后再发论文；而他们说'没人……我们在意的是做对的事'。"
  • ⚠️⚠️ 他对"为什么这值得"给的理由是研究基础设施，而不是性能："你发布一些 RL 环境加上一些 RL rollout，人们就能在上面研究比如 eval awareness；你有模型的生成结果，人们可以去找不同的行为；如果你在它上面做过 RL，他们能看到它随时间怎么变。而这就是博士生花一年去看、然后产出知识的那种基础设施单位。"
  • ⚠️ 他的外部性论证是时间尺度上的："价值从 CS 研究里被捕获的地方是科技产业——所有 CS 研究，好处大约在十年后落到科技产业上。这就是为什么更多人该支持开放：如果你要在这个行业干十年，受益的会是你的同侪。" ⚠️ 主持人接了一句 "化石燃料——我们别把它全耗光"。
• ⚠️⚠️ 第二项是本页认为全期最原创的一条：把 RSI 做成一本公开台账（[00:39:17]–[00:41:17]）。他的起点是 "RSI 有太多神秘感——我们在把模型用在所有事情上"。
  • ⚠️⚠️ 提案的内容是过程而不是结果："作为一个开放实验室和一家非营利，我们能做的是分享我们在用什么工具——我们会为 SFT、为中训练建一个开源栈……我们知道我们在跑什么类型的算力，我们可以存下我们做过的那些轨迹。我们会说我们的任务是什么、我们为什么选了它们、以及模型在它们上面行不行。"
  • ⚠️⚠️ 而节奏是："然后你就这样做一家实验室的一年，然后你说'这就是我们做的'，然后你每六个月签到一次，问：它变了吗？"
  • ⚠️⚠️ 他对目标受众说得很明确，本页认为这是这条提案的关键："我认为那会帮到很多字面意义上的政策制定者……'这是 Nathan 让他的模型去做的事，而这是它卡住的地方'。" ⚠️ 他补的那句很具体："那就是它在自己代码里放进去的那个 bug。"
  • ⚠️ 他说清了这条为什么不该由学界来做："学界很难说'作为教授，我 15% 的时间、我研究生 40% 的时间要用来记录我们做了什么'。但'这些是我们的任务'这件事有极大的政策与社区服务价值。"
  • ⚠️ 他明说自己不是唯一在做的：⚠️ "有一个相关的学界的 open RSI 的东西，是一批学术机构，我跟它没有关联，他们上周才启动"；并点名 EleutherAI、Hugging Face、以及"Open Athena，那是 Marin 和 Stanford" 也可能进入这件事。✅ 他的态度是 "有不同的路子来做这件事是好的，因为你需要不同的看法和不同的结果"。
  • ⚠️ 而他对这件事的替代方案给了一句批评："能有完整的栈、而不需要去过那些分类器、不需要试着含糊地说任务是什么等等……能分享正在发生什么自动化的人就该这么做。"
• ⚠️ "Trillium" 这个名字的来由他讲得很完整（[00:33:13]）：延龄草（trillium）是一种春季短命植物，在树冠长出叶子之前就开花——"冬天，树上没有叶子，这些延龄草花开了，而它们对把养分散布到春夏到来的那个生长循环里是必不可少的。" ⚠️ 而他的类比是："AI 产业现在做对了那么多……但我们就是需要多一点生命力，把这些散开来，让新的人能进来。"
• ⚠️ 他对人才被抽走的诊断很直白："短期赢的机会太大了——跟朋友创业五个月之内就为自己的生意拿到九位数回报的机会……而这些人可能本来会做更多开源工作，或者是那些离开博士项目的人。"
• ⚠️⚠️ 而他对 RSI 与 fast takeoff 的立场本页认为该被精确保留，因为他同时给了论据与明确的证伪条件（[00:54:22]–[00:58:25]）：
• ⚠️⚠️ 核心论据是一条量纲上的不对称："所有的 scaling law 都是算力的指数级增加换性能的线性增加……这件事我很难去反着赌。" ⚠️ 而他给的现场观察是："所有前沿实验室的员工，花的量相对于改进是指数级的。"
• ⚠️ 他的结论："但我不认为这必然会变成那种模型自己造自己的快速起飞。是人的瓶颈。"
• ⚠️⚠️ 而他给的证伪条件本页认为是本期最该被 AI 做 AI 与自动化研究 保存的，因为本库在这条线上很少拿到由怀疑一方主动给出的翻盘条件："如果一个 AI 模型真的发现了某种与 transformer 非常不同的东西、给出非常不同的性质、解锁了一种新型的智能——那这是值得据此更新的。" ⚠️ 他对在那之前的态度是 "我对我手上的证据还挺满意"。
• ⚠️ 他对数学给了一条限定性的让步："我的看法是数学格外适合——也许是最适合这种形状的智能的那个科学领域。" ⚠️ 而他紧接着给了一条一般性限定："智能可以有很多不同形式。"
• ⚠️ 他引了 Claude 的 system card 作为旁证（按转述记录）："有些 Claude 的 system card 就这么说——他们说大概需要再 10 倍的进展才会让这变成一次快速起飞。"
• ⚠️⚠️ 而他认为会被自动化的那一半与不会的那一半区分得很干净（[00:41:17]）：✅ 会的——"我确实认为模型会很擅长降低服务成本。这些公司在这件事上押着数十亿美元，而模型擅长它。他们会在让服务更高效、调整架构上赚很多钱。"；⚠️ 不会的——"但这不必然是'你怎么解决知识工作'。你不会去跟 Claude 说'Claude，告诉你自己去做更好的 PowerPoint'。"
• ⚠️⚠️ 而本页认为本期最该被单独引用的一条是他把自己真正担心的东西与 RSI 分开（[00:56:24]–[00:57:25]）："那张 AI 能力曲线并不必然让我担心；但那张 AI 能力曲线配上公共网络安全这些方面几乎不存在的准备——" → ⚠️⚠️ "需要有比现在更多的准备，基于'这件事要来了'这个假设。而这才是比'RSI 要来了并解锁新风险'更让我担心的东西。"
  • ⚠️ 他对风险的扩散路径给的是本库既有的那条顺序："很多次都是闭源实验室先到那儿，然后开放实验室到那儿。" ⚠️ 而他的落点是社会侧："搞清楚怎么让社会做好准备非常难"、"我的看法是我们需要更多眼睛、更多科学，这样社会才感到被告知"。
  • ⚠️⚠️ 而他主动加的那条区分本页认为必须一起引用："不害怕快速起飞，并不意味着你不担心风险。" ⚠️ 他还补了 "但也有其它成立的意见"。
• ⚠️⚠️ 而他关于"实验室的秘密到底是什么"的回答本页认为是本期对 AI 实验室文化 最该回填的一条，因为它把护城河从秘密挪到了服务经济学（[00:52:22]–[00:53:22]）。
• ⚠️ 主持人先给了一条"前沿实验室内部传闻"：实验室在用的方法并不是未知的，⚠️ "只是说哪些比例配出来是成功的——而这部分是因为他们有资本去把它规模化、去做实验"，于是 "资本才是那个唯一真正的壁垒"。
• ⚠️⚠️ Nathan 的回应更强："而我也认为这些实验室在信息方面的安全性，并没有他们以为的那么高。硅谷以'想法靠一杯啤酒就能传播'闻名——下班之后大家都在聊。" ⚠️ 他给的唯一例外是 SSI："除了——这就是为什么 SSI 那么令人印象深刻。"
• ⚠️ 他的机制解释是职业身份："大家都是科学家。如果他们做出了突破，他们会想告诉朋友。他们可能会压几个月，但……你需要的那种信息安全程度实在太高了，知识会扩散，这很难保密。"
• ⚠️⚠️ 而他认为真正能赢的是什么说得很明确："他们能赢的地方是把更多推理放进自己的基础设施，这让他们能以更低的价格服务、拿到更高的毛利，然后把这件事持续更久。所以我对前沿实验室能提供每瓦最便宜的智能非常有信心。" → "他们能去需求最高的地方、有最便宜的模型，而那会是创造收入的。"
• ⚠️ 而他给的限度是范围："问题是他们没法做所有事，而那就是经济里其余部分补进来的地方。" ⚠️ 他对"是不是只有编码赚钱"的回答是 "绝对不是"，而对前沿模型在编码上的位置他承认 "他们会做得非常好"（理由是集成）。 ✅ 落点是 "我认为会有很多赢家"。
• ⚠️⚠️ 而本页认为本期最干净的一次自我修正是他关于 harness 整合的那条预测（[00:50:22]–[00:51:22]）：
• ⚠️ 原预测："我几年前以为闭源实验室会像 Apple——那种模型为内置 harness 而设计的整合型公司，这会给他们规模经济与效率。" ⚠️ 而他当时据此认为这是开放模型的弱点**（因为开放模型得被训练去适配各种 harness）。
• ⚠️⚠️ 而实际发生的："但结果是那么多人为不同的事情用不同的 harness，以至于模型公司被施压，必须让自己的模型能在各种各样的 harness 里工作。" → "结果它变得相当均衡了，或者说处在一个均衡上——他们都得在某种程度上这么做。" ✅ 本页记为一次由市场结构造成的预测失效，并按他自己的说法记录。
• ⚠️ 而对 agent 群（swarm）他预期同一个循环重演：OpenAI 与 Anthropic "会更早到那儿，会知道怎么设计他们的模型、怎么设计……我们该怎么称呼一个为 swarm 服务的 harness"——⚠️ 他自己也没有词："我不知道，但会有一个词。它不是 harness，它更像一个协调系统。" 然后 "最终别人也会想用它们"，开放模型公司会跟上。⚠️ 而他点出中国实验室在这一步的具体障碍："但不会是 Kimi 先做那件事——首先，他们没有那个算力。"
• ⚠️⚠️ 而他在这里对"先到"的收益给了一条本页认为很重要的限定："到目前为止他们在'先到'上拿到了巨大回报。但比如 Navier–Stokes 那些东西的回报是什么？我们并不真的知道。他们在推前沿，而那是在'会有高回报、这种边际智能有不成比例的回报'这个假设之下的——而我们不知道那是不是总是成立。" ✅ 本页标注：这与本库既有的 Greg Brockman 那条 Navier–Stokes 构成直接对位——⚠️ 那一条是把它当作"AI 创造的新知识"的例证，而这一条是问它的经济回报是否被验证过。本库并列，不裁决。
• ⚠️⚠️ 而他关于"预训练其实比后训练更可接近"的那条判断本页认为是本期最反直觉的一条，因为它与通常的资本门槛叙事方向相反（[00:44:18]–[00:49:22]）：
• ⚠️ 他先说明自己的选择："这就是为什么我不做预训练。我乐于自由——我可以用任何基座模型……我现在能从竞争里受益。"
• ⚠️⚠️ 但他对预训练的可行性评价是正面的："预训练的科学……工具相当可得，而且你有所谓的 pre-training ladder，那是你用来测试你的想法能不能 scale 的决策工具。而预训练数据不像环境那边在长——一阶近似就是你在互联网上训。" → ⚠️⚠️ "但做出一个扎实的预训练模型并不是天文数字那么贵。所以我认为你不必花十亿美元就能拿到一个非常好的基座模型。"
• ⚠️ 他对新进入者的态度因此是不看空的："我一直被一个新实验室就那样从零开始搞定而惊讶，因为他们能。" ⚠️ 而他指出一部分是靠开源工具："你可以从 Megatron 出发……他们 fork 它，然后就再也不发布了。所有那些著名的开放模型实验室都是这么做的——他们拿开源代码，把它变成自己的东西，而他们很多人不往上游推。" ✅ 本页标注：这是一条由开源一方自己提出的、关于开源互惠的具体指控，而他的措辞是"我一直对此感到惊讶"。
• ⚠️⚠️ 而那个反转在于后训练："做一个受控的'我们就开始预训练我们的模型'，在我看来远比'我其实不太懂语言模型、我要搞清楚这整个后训练的事'更可接近——后者简直是蛮荒西部。" ⚠️ 理由是后训练的边界已经模糊："它会糊进后训练、糊进这个中训练——你在那里开始推理行为、从你更老的模型里把它们拿过来、在它们上面做 RL、种子行为……这个循环比预训练复杂得多。" → "如果你没有对的人，把它跑起来比我认为预训练要难得多。"
• ⚠️ 他对自己离开 AI2 的原因给的是一条组织性诊断（[00:48:22]）："当我离开 AI2 时，我觉得我们的后训练说实话在落后，就是因为我们的循环时间不够快。"
• ⚠️⚠️ 而他给开源后训练的机会判断是一句很强的话："在开源里，要在 state of the art 上做出非常大的复利式进展，并不需要那么多资本——因为门槛非常低。不是说接近，是完全不接近。"
• ⚠️ 他对预训练与长上下文的协同演化给了一条具体收益（[00:47:21]）："如果你能让一个稀疏注意力架构同样好地工作，那你的 10 万 token 生成会快 40%。"
• ⚠️ 他点出新模型公司的那个硬约束："你必须过'我们第一个模型必须落地'这道锁。如果你整个公司的基础是'模型是最好的'，而你不在那个范围里、你又不发布，那你就在倒计时上。" ⚠️ 他举 Thinking Machines 为正面例子："他们非常透明——他们说这不是最好的模型，我们为它自豪，它有些很酷的东西"，而现在第二个模型已发、加上 Tinker，"他们起飞了"。⚠️ 他也提到 Meta 可能再发开放权重模型的传闻（按传闻记录），并说 Zuckerberg 在 Llama 3 时写的那篇是 "关于这件事最好的博客"——⚠️ "这哥们有点被别的事分散了。看起来他在回来。"
• ⚠️ 而本页认为本期还有一条该被 AI 与教育 回填的观察，因为它讲的是进入一个领域的路径被改变（[00:35:16]–[00:37:17]）：
• ⚠️ 近端现象是开源维护的噪声："这是 AI agent 带来的一个新难题——人们就是把东西朝你扔过来。我有一些论文的研究仓库，而现在人们会开最疯狂的 GitHub issue。" ⚠️ 他举的例子是："假的研究结果。他们开一个 issue 说'我在你的数据集里发现了这个东西'。而我想，如果你看过论文，我们在第二句话里就说了这件事。而那基本上就是一堆语言模型输出。" ✅ 他认为这是可解的："这是一个可解决的问题。"
• ⚠️⚠️ 而更深的那一半本页认为是本期最该被引用的一条，因为它描述的是被省掉的那个过程本身就是能力来源："当你试着进入一个新领域，你什么都不懂。你得花好几周去读、去什么都不懂，然后你发一封邮件，没人回……你要花好几周才攒够上下文去问一个好问题。" → ⚠️⚠️ "而现在有了语言模型，大多数人只是按一个按钮，然后'哦有意思，我读了这个，我发出去了'。而这种'泡在里面'恰恰是人们现在做得少了的事。而那才是进入 AI 的关键——你就得专注在它上面，你得手写一些代码，你得这样做好几个月，然后你还得等六到十八个月才会被注意到。"
• ⚠️ 他的落点："而我觉得所有的 AI agent 都把这件事搅碎了，让人们更难。" ⚠️ 主持人接了一句 "数学家们也抱怨这个"。 ✅ 他同时说 "做博士生是个艰难的时候，但学界还是有人在做很棒的工作"。
• ⚠️ 而他给了一个正面的个例："有个东欧的人在帮我改进我那本书的代码，就是为了对的事情而做。"

⚠️ 本页的五条限定

1. ⚠️⚠️ 这是 Trillium 的发布周访谈，而嘉宾是创始人。 ⚠️ 本页因此把两类内容分开读：① 关于 Trillium 要做什么的描述全部是计划，期内没有任何已交付成果（开源 SFT/中训练栈、开放 RL 环境、RSI 公开台账都是未来式）；② ✅ 而关于蒸馏、开源经济、数据供应链、RSI 量纲的那些论证不依赖 Trillium，且其中几条对他自己不利（见下条）。
2. ✅ 本页认为他的论证结构好于一般的立场访谈，有四条可查理由：① ⚠️⚠️ 他在蒸馏这一节主动列出了对自己不利的反证（中国的 Claude 代理账号与中间商、Kimi 曾在产品里给用户提供 Claude、"每个中国实验室都有一个懂偷推理轨迹的团队"、"AI 安全社区是后来才发表的"）；② ⚠️ 他对 fast takeoff 给了明确的证伪条件（"如果一个 AI 模型真的发现了某种与 transformer 非常不同的东西……那是值得据此更新的"）；③ ⚠️ 他明确承认了一次预测失效（"我几年前以为闭源实验室会像 Apple"）与一次时间判断失误（"我以为行业整合两年前就会发生"）；④ ⚠️ 他对自己的不确定性反复标注（"我真的不知道会发生什么，我觉得现在太早"）。
3. ⚠️⚠️ 本期几乎没有可独立核验的数字，而少数几个都是转述："一个平均的 OpenAI 研究员随时能用 5,000 个 H100 等价算力"（他转述的听闻，[00:09:04]）；编码收入"从零到一千亿"（[00:19:08]，未说口径是全行业还是某家）；"二三十家公司在造好模型"（[00:13:04]）；"每八个月价格降一半、四年后是 1% 成本"（[00:26:10]，他自己说是在"算这个数"）；"Claude 的 system card 说大概需要再 10 倍进展才会是快速起飞"（[00:56:24]，⚠️ 未说哪一张 system card）。⚠️ 本页全部按口头估算或转述记录，不转为事实。
4. ⚠️⚠️ 归属在本期是清楚的（一位嘉宾、一位主持），⚠️ 但主持人姓名全程未播报，本页只照录两条身份线索（"pacing the frontier" 系列提问、"我们既投前沿模型也投创业公司"），不裁定身份。⚠️ 主持人自己引入的两条内容本页按主持方的转述记录、不归给嘉宾：Jensen Huang 关于蒸馏的那段话（⚠️ 他说记不清是推文还是访谈）与 Cursor 的那条长程任务对照（⚠️ 表述自相矛盾、模型名损坏，见页首，本页不写定）。
5. ⚠️⚠️ 本页记下两处属于本页标注而非嘉宾原话的内容，引用时不应归给他：① "他把护城河从秘密挪到了服务经济学"这个概括——⚠️ 事实是他的（信息安全没他们以为的高 / 能赢的是每瓦最便宜的智能），但"挪动"这个框架是本页的；② "他把开源 vs 闭源从价值观之争换成了两种不同的竞争位置"这条归纳——⚠️ 他说的是 OpenAI/Anthropic 在造新范式、中国实验室在追赶并填空缺，而这条提法是本页的。

---

• 人物：Nathan Lambert（与 Sebastian Raschka 合页） · a16z
• 主题：开源与基础设施 · 中美 AI 竞争 · LLM 训练流程 · AI 做 AI 与自动化研究 · 评估与基准 · AI 实验室文化 · AI 商业与价值捕获 · AI 与教育