LLM 训练管线¶

共识框架（以 Karpathy 2023-11 的表述为基线）¶

预训练：~10TB 级网络文本 + 数千 GPU × 数周 → base model。本质是互联网的有损压缩（压缩比 ~100×）；成本数百万至数亿美元，一年只做一两次。
监督微调（SFT）：换数据不换算法——用 ~10 万条高质量人工问答对训练，"质量优先于数量"，得到 assistant model；成本低到可以每周迭代。
RLHF（可选第三阶段）：利用"比较比撰写容易"的原理，用偏好对比标注进一步提升。
标注正从纯人工走向人机协作，人趋向监督角色。

（来源：Karpathy, Intro to LLMs 00:14:11–00:23:17）

教科书类比（Karpathy 2025-02 的框架）¶

预训练 = 读正文阐述（建知识库）；SFT = 学例题的完整解法（模仿专家）；RL = 做课后练习题（只给答案，自己发现解法）。人类标注员写不出对 LLM 最优的解题路径——"它的认知与我们不同"——所以 RL 必不可少。RLHF 用奖励模型把 RL 扩展到不可验证域（写作等），但奖励模型可被博弈，"RLHF is not RL"：只能跑几百步的微调，缺少可无限投算力的魔法；可验证域（数学/代码）才能像 AlphaGo 一样无限跑 RL 并可能超越人类（move 37 的开放域等价物）。（Deep Dive into LLMs 02:11:45–03:06:23）

数据侧细节（FineWeb：44TB / 15T token）、GPT-2 复现成本从 $40k 降到 $100–600 等见同视频 00:01:00–00:34:23。

第三阶段的演进：RL 与思考模型¶

Karpathy 2025-02 的更新表述：训练管线已是 预训练 → SFT → 强化学习 三段。RL 阶段让模型在大量数学/代码题上"刷题"，自己发现有效的思考策略（尝试、回溯、检验假设）——这些策略难以由人工标注硬编码，只能靠 RL 涌现。这是近一两年的大突破，DeepSeek R1 是首个公开系统阐述的工作。产物即"思考模型"（o1/R1 等），在难题上用推理时间换准确率。（How I use LLMs 00:22:17–00:25:19）

这正好接上他 2023-11 预言的 System 2 方向（见 LLM OS 开放问题）——两年内从"没有模型具备"变成行业标配。

训练成本与数据质量（Karpathy 2024-06 的实证）¶

复现 GPT-2 124M 的成本从 2019 年的 ~$40,000 降到 2024 年的 $10 级别（8×A100 约 2 小时）。更重要的发现：数据质量 > token 数量——在 FineWeb-EDU（LLM 自动做教育质量过滤）上只训 10B token 就超过原版 GPT-2（100B token）的 HellaSwag 成绩，约 10 倍学习效率。他还实测 GPT-3 论文的超参"极其保守"，max LR 放大 3 倍仍收敛更快。工程侧结论："深度学习负载多数是 memory-bound——flops 不重要，内存访问模式才重要"（FlashAttention 多算 flops 反而快 7.6 倍）。（Let's reproduce GPT-2 00:02:01、01:48:35–02:14:02、03:44:30–03:51:37）

Scaling Laws¶

Karpathy：性能是 N（参数）和 D（数据）的平滑可预测函数，无饱和迹象；"算法进步是很好的加分项，但扩大规模是有保证的路径"——这是算力竞赛（"Gold Rush"）的根本驱动。（同上 00:25:18–00:27:20）

Jensen Huang 2026-03 的扩展表述：四条 scaling laws——预训练（数据靠合成续命，"人类互相教学的数据本来就是合成的"）、后训练、test-time（"思考很难，推理必然算力密集"）、agentic（spawn 子 agent 团队）；agent 的经验回流预训练形成循环。"智能最终只随一个东西 scale：算力。"（Lex #494 00:22:47–00:28:57）

test-time compute 作为新的 scaling 维度（Noam Brown，OpenAI，2026-06）¶

来源：No Priors 访谈

模型能力如今是投入金钱（compute）的函数：$10 → $10K → $10M 能力递增；scaffold 得当可"思考数周至数月"而不 plateau。这把"推理时算力"确立为 pre/post-training 之外的独立 scaling 维度（00:03:01–00:04:02、00:12:06–00:14:06）。
但不认为会隔夜 hard takeoff：正因为最强能力依赖大规模 test-time compute，时间本身成为瓶颈——渐进 takeoff（00:25:13–00:27:17）。呼应 Jensen 的"test-time 是第三条 scaling law""推理必然算力密集"。

Reasoning/o1 这个 bet 与 pre-training 未死（Mark Chen，OpenAI CRO，2026-06）¶

来源：Latent Space 访谈

坚信 scaling laws、pre-training 未死："pre-training is dead"叙事反复出现却每次被突破，已 hold 近 10 个数量级（00:08:06–00:10:08、00:37:25–00:38:26）。
reasoning/o1 是"曾被质疑最终成立"的最大 bet：当时 pre-training + post-training 是舒适范式，靠 Yakub、Ilya 的 conviction 才推上这条路（00:09:07–00:11:08）。

中方一线视角：预训练没到头、后训练分水岭（姚顺宇，2026-05）¶

来源：张小珺访谈

预训练 Scaling Law 没到头：过去几个月预训练反而变强，未来 4 个月也没看到到头迹象；觉得"撞墙"的人多半是自己代码里有 bug（另两种是误判适用范围、或数据等条件被认为撞墙）。关键不是玄学而是"做事系统"——合理 ablation 排查（00:24:32–00:30:37）。这与 Mark Chen"pre-training 未死"直接呼应，但姚给出了"撞墙=bug"的更强判断。
后训练 scale up 的分水岭是 Claude 3.7：3.7 之前后训练是小规模修补，之后才 scale up；关键要素是"合适环境 + 清晰回馈信号 + 强数据源 + 训练稳定"。各家（OpenAI 草莓 Strawberry、Anthropic、DeepSeek）大方向一致但具体实现差别很大、都能做成（02:12:02–02:14:05、01:42:40–01:43:40）。
pre-training 是 RL 的子集：预训练/SFT/RL 无本质算法区别，最大区别在数据分布——预训练要分布广、质量可不极致；后训练分布窄但质量要求极高（03:00:45–03:02:45）。
驱动力：算力与数据强关联；算法作用是相变式的（Transformer 那种"从不能到能"的跳变后，是平滑提效）（00:31:39–00:33:41）。

全景盘点：三条 scaling、mid-training 与"RLVR 可 scale、RLHF 不能"（Raschka & Lambert，2026-01）¶

来源：Lex #490 State of AI 2026

架构自 GPT-2 几乎没变，真正进展在训练配方与系统：MoE/MLA/GQA/RMSNorm 都是"旋钮"，FP8/FP4 带来速度而非新能力（00:37:59–00:47:09）。
pre / mid / post-training：mid-training 是"更专门的预训练"（长上下文、把最高质量内容放最后以抗灾难性遗忘）；合成数据 ≠ 坏数据（OCR 抽 PDF、改写成 QA、用 ChatGPT 优答训练），数据质量 > 数量——前沿实验室"想有影响力最好的方式就是找更好的数据"（01:03:30–01:14:41）。
RLVR 词源：Nathan 团队在 Tulu 3 造词，DeepSeek 做出训练突破；可验证奖励（数学/代码）→ rubrics/LLM-as-judge 拓展到开放域；aha moment 其实是放大预训练里已有的自我纠错行为（01:37:24–01:42:32）。
关键定律：RLVR 可 scale（log 训练算力→线性性能，o1 首次展示、DeepSeek 复现），RLHF 不能——RLHF 的开山之作恰是"reward model 过优化的 scaling law"；故大算力应投 RLVR，RLHF 只作收尾/风格（01:19:48–01:20:49、01:55:46–01:57:52）。下一步押注 value function / process reward model（"RLVR 2.0"）。
serving 成本 >> 训练成本：DeepSeek 预训练传闻 ~$5M、OLMo3 ~$2M，但服务上亿用户是数十亿美元级——解释了模型为何反而变小（00:51:11–00:53:15）。呼应 AI 算力与基础设施的吉瓦集群与 test-time 经济性。

RL 的样本效率：MCTS vs policy gradient（Eric Jang，前 DeepMind Robotics，2026-05）¶

来源：Dwarkesh 访谈

从零重建 AlphaGo 后反观 LLM RL：MCTS 给每一步提供监督目标（低方差），而 LLM 的 policy-gradient RL 是把整条获胜轨迹所有 token 一起上调——即 Karpathy 的"用吸管吸取监督信号"，一局里真正有效的信号极少（01:24:36–01:27:58、01:45:50–01:46:50）。
bits per FLOP 框架（主持人 Dwarkesh 提出，非 Eric）：学习速度 = 每 FLOP 样本数 × 每样本比特数。长程 RL 让前者下降（要展开数天工作才得一个信号），后者也远逊监督学习（未训练模型要在 10 万词表里瞎猜约 10 万次才撞对一次），故绝大部分训练时间耗在"低通过率区"几乎不学习（02:12:10–02:17:29）。这为"RL 阶段只能跑几百步 / 需良好初始化"提供了量化解释，接续 Karpathy 的"RLHF is not RL"。——归属依据见视频页的说话人映射。
AlphaGo 优雅在于永不从 0% 成功率起步、不解探索难题：全程"在改进标签上做监督学习"，训练稳定、无需 on-policy 分布式基础设施；且训 policy 模仿 MCTS 的整个分布（软标签熵高）——正是蒸馏高效的原因（02:18:30–02:21:40）。与姚顺宇的软蒸/硬蒸、中美 AI 生态对照相通。
前向搜索为何难迁移 LLM：语言动作空间过大，几乎不会两次采样同一子节点，PUCT 探索启发式失效；但"前向模拟未来估价值"可能以别的形态回归（01:44:50–01:49:58）。
另可对照 Andy Jones《Scaling Scaling Laws with Board Games》(2021)：搜索算力可换训练算力，提前预示了 test-time compute（见评估与 Benchmark）。

RL 的三模块与"奖励函数即传达意图"：机器人视角（柯丽一鸣，PI，2026-07）¶

来源：Kay Ke 访谈

从机器人 RL 一线给出与 LLM RL 互补的 RL 本质拆解：

RL = 三个模块拼起来：探索（选大改动还是小改动——她认为当前大模型缺乏主动探索能力）、归因/credit assignment（π*0.6 从大量部署数据里找"整条轨迹里哪一步是精华、值得多做"）、奖励设计（02:45:38–02:50:43）。这与 Eric Jang 的"MCTS 每步给监督 vs policy-gradient 整条轨迹一起上调"是同一 credit-assignment 难题的两种表述。
"奖励函数"应重新框定为"向智能体传达你要它做什么"：奖励函数只是表现方式之一，可验证任务（代码能跑）可独立于奖励函数存在；奖励易被 abuse（超级马里奥 RL 找 bug 直接触发最大奖励）——好的"奖励"应因地制宜、可泛化、需人的 common sense 先验（02:50:43–02:52:45）。与朱邦华"RLVR = 可客观验证的 reward"、洪乐潼"AI for Math 优化可验证性"同频。
experience data / RECAP（π0.6）*：让智能体在真实世界收集自己做任务的体验数据**放回训练池，超越固定的人类演示数据——在机器人叠衣服上超越了最好的人类数据收集员。启示：真机 RL 的数据可由训好的模型自己 rollout 收集（去掉遥操作员）大幅降本（01:58:14–02:01:14）。这是 Eric Jang"长程 RL 样本效率低、监督信号稀疏"在机器人侧的正面解法尝试。

RLHF vs RLVR 与 PPO 的工程暗坑（朱邦华，中/SGLang 母公司，2026-05）¶

来源：月球大叔访谈（RL 理论博士 + 一线 RL infra 视角）

RLHF vs RLVR 的分工：RLHF（Human Feedback）训 reward model 让模型"更像人/更 align"（GPT-3.5 后"更有人味"即来自此）；RLVR（Verifiable Reward）针对可客观验证的数学/代码/agentic，是模型工具化（CodingAgent/WebAgent）的关键范式（00:36:42–00:38:44）。与 Raschka & Lambert"RLVR 可 scale、RLHF 不能"互补。
DeepSeek V3 是 RLVR 转折点：证明"直接从 pre-trained 点做 RLVR 就能大幅提升 intelligence"，让业界（含 NVIDIA）意识到 RL 重要性——推翻了"只做 SFT 就够"的旧认知（00:35:41）。
PPO 上限远高于简化算法（DPO/GRPO），关键在工程 trick：如 critic（value function）不能随机初始化直接上（loss 极高会把 policy 更新到错误方向、把模型破坏到救不回来），要先 warm up critic 再初始化 PPO（00:31:37–00:33:38）。"调通靠 intuition + 系统性排 infra 暗坑，不是理论"——呼应姚顺宇"撞墙多半是代码有 bug"。
pre-training 洗数据未撞墙：更多高质量 coding data 仍能推能力边界；SFT 像对 pre-training 的小 fix；RL/post-training 是把能力推到 pre-training 定义的边界 + on-policy distillation 合成 generalist（01:09:21–01:11:25）。与姚顺宇"预训练没到头"一致。

后训练前移到 Agent、卡的分配与架构决策（罗福莉，小米 MemoVR，2026-04）¶

来源：罗福莉访谈（前 DeepSeek，现小米大模型负责人）

后训练范式从 Chat 前移到 Agent：要让模型在 Claude Code / OpenClaw 等众多复杂框架上都稳定，后训练必须以"在复杂 agent 框架里端到端完成长程任务"为目标，而非在简洁框架里做定制（00:10:11、03:03:39）。"agent 很吃后训练"。
卡的分配研究:预训练:后训练 = 3:1:1：预训练与后训练算力应相当（Chat 时代是 3:1~5:1），研究用卡还要多于训练卡总量；"idea 到代码太快了，现在卡在卡上"（并行实验的算力才是瓶颈）（01:45:55–01:48:55）。这把姚顺宇"后训练是分水岭"量化成了具体的算力配比。
skills 是预训练的补充：组织规范/另类信息抓不到、不在预训练数据里，只能人机多轮沉淀成 skills（"现在大量 skills 是 agent 自己写的"）（00:46:35–00:49:37）。
架构服务于范式：hybrid attention（sliding window + full）取代 MLA 以适配 agent（省 KV Cache + 留计算富裕给 MTP）；MTP 无幻觉（被 verify）；1T 参数是 agent 时代入场券；"别给架构设太多目标，后训练做久了限制都变伪限制"（01:26:48–01:42:55）。详见 AI 算力与基础设施。
发展史复盘：ChatGPT（4K context + chat 好交互激发智能）→ LLaMA 开头 → Qwen(纯 scaling) 与 DeepSeek(创新+scaling) → o1/R1(reasoning 从 CoreganMath 泛化到通用，"R1 诞生很偶然") → 2025 交错之年 → 2026 agent 第二幕（02:48:34–03:03:39）。
彻底放弃旧 agent benchmark：browsecomp/swebench"太局限、太离谱"，优化时"基本不看、靠体感"（详见评估与 Benchmark）。

RL 训练的精度调试与稳定性：DeepSeek V4 适配一线（SGLang·Miles 团队，中，2026-05）¶

来源：月球大叔 SGLang 直播

把上面的 RL 理论落到一线工程 debug：

给训练做"day-0"支持远难于推理：推理有 benchmark 可判正确，训练没有标准 baseline——整套 recipe 是否正确要靠"训几天涨点"验证，debug 成本极大；且训练要实现 backward、跨引擎对齐 weight 格式（FP8 rollout + FP8/BF16 training）（00:22:50–00:28:55）。
精度是最耗时的环节：逐 tensor（每层 activation、每个 gradient）与改动前做端到端比较。DeepSeek V4 的 compress attention 很稀疏、reduction 复杂，使 KV gradient 用 BF16 精度完全不够（CP=1 vs CP=2 的该 tensor cosine 差 0.2，其他 tensor 是 1e-4~1e-5），换 FP32 即解决（00:31:57–00:34:59）。
训练稳定性靠 deterministic ops：借鉴 DeepSeek 的做法在 kernel/MoE 用 deterministic mode、禁 NCCL 非确定性——原本的 KL loss spike 消失；DSA（sparse attention + indexer router）这类架构从 V3.2 起就被发现难训稳（00:34:59–00:35:59）。呼应朱邦华"调通靠系统性排 infra 暗坑、不是理论"。

RLVR 的终极版本：verifier 是一整间实验室（Lila Sciences，美，2026-07）¶

来源：Lila 访谈

把 RLVR 从"数学/代码可验证"推到"物理世界可验证"，是本页 RLVR 主线（Karpathy、Raschka & Lambert、朱邦华）的一个激进外延：

"以自然/实验做 verifier 是 RLVR 的终极版本"：RL 本质是"模型生成自己的数据、reward 强化好数据"；Lila 把物理实验室建成"可规模化 verifier"，产出实验验证过的推理轨迹（互联网上 order-of-zero），一展示给模型就立刻见提升——哪怕参数处于劣势（00:06:11–00:07:12、01:22:25–01:23:29）。呼应 Raschka & Lambert"RLVR 可 scale、RLHF 不能"：Lila 是把"可验证"的边界从计算延伸到物理测量。
chain of thought 里实验室仪器就是 tool call：与柯丽一鸣"奖励=向智能体传达意图"、朱邦华"RLVR=可客观验证的 reward"同频；物理科学的 reward hacking 是真实担忧、病态含"跳过实验直接给答案"（00:24:47–00:27:55）。
训练工程细节与 Karpathy 呼应：不做预训练、从 open-weight（~$1B 算力等价、NVIDIA/Nemotron）起步叠 10T 科学 token（"广度带来深度"，通用模型胜过领域专用）；主张把 RL 训练"因式分解"成并行专家模型再蒸馏回中心模型（不同时间尺度各自训/生成）——与 Eric Jang"蒸馏高效"、姚顺宇软/硬蒸相通；并点名 RL 的 MFU 仅 5–6% 是最大浪费（00:28:56–00:33:08、01:18:17–01:21:22、01:37:48–01:39:49）。

把 scaling 三段式搬到分子结构预测（Genesis Molecular AI，2026-06）¶

来源：最前沿的 diffusion 研究在药物发现

Genesis 明确把 LLM 的"预训练 / 后训练(RL) / 推理时"三段式移植到 protein–small molecule 结构预测（Pearl 模型），是本页 scaling 主线在非语言模态上的一个平行样本：

预训练 = 物理模拟造合成数据：公开晶体结构库 PDB 只有约 20 万、增长冰川速度；小分子可用物理建模造更多训练数据（大蛋白太复杂、算力代价高）（00:15:21–00:16:21）。与 Lila"科学即 token 生成器"、CZI"数据即约束"同属"生物/化学数据不在互联网、必须造"。
推理时 scaling = 在结构表征上"思考"：不在语言 token 上，而在"内存里未物化的晶体结构表征"上多步迭代（diffusion head 天然多步）、用物理引导steer——把 LLM 的"thinking tokens"换成"thinking structures"（00:16:21–00:19:24）。
RL 含"实验室 in-the-loop"：先用物理反馈，最终"预测→合成→测量→回灌"；与中国 biotech 伙伴（Insight）组"设计-造-测-分析"闭环（01:09:53–01:14:58）。是本页 RLVR 主线（含 Lila 的物理 verifier）在药物发现上的落地。
primitive 之辩：2017–18 GAN（mode collapse）做不了蛋白复合物，diffusion 才对；如今图像/视频有些转回 AR，而结构生物学成"diffusion 的一根支柱"——同一 primitive 在不同模态的命运相反（00:00:00、01:06:51–01:08:52）。Sergey（原 Llama 2/3 预训练负责人）："LLM 架构本质还是 2017 transformer、有点无聊；我们的架构很不同、很有意思。"

中美对照¶

见中美 AI 生态对照：算力劣势下中国实验室的蒸馏（硬蒸/软蒸）与后训练路线；DeepSeek 被姚顺宇列为与 OpenAI/Anthropic 同期"想明白后训练怎么 scale up"的一方（张小珺访谈 02:12:02）。朱邦华从 RL infra 侧补充：DeepSeek V3 的 RLVR 突破是 NVIDIA 收购其 NexusFlow 的直接契机（月球大叔访谈 00:35:41）。Genesis 从美方补上一条数据闭环视角：中国 biotech 自建极强 in-house 湿实验能力、数据产出极快，是"设计-造-测-分析"RL 闭环的关键（Genesis 01:12:57–01:14:58）。

数据效率与"这一代范式的上限"（swyx，2026-07）¶

来源：Latent Space / swyx 交叉播客

"数据效率是下一个问题"（swyx 明确点名呼应 Dwarkesh）：靠数万亿 token 才换到人类等价劳动，相比人类极度低效——人类在百万、上十亿量级就是个能干活的成年人。目标路径是"从 2000 个样本学一件事 → 20 个 → 2 个"，才能真正走到持续学习、走出 pre-train/post-train 范式（他认为该范式"现在大概正在撞某种上限"）。
⚠️ 但他给这个论证附了一条自我限制——"酸涩的教训（sour lesson）"：每次拿人类类比机器，你多半会失败，因为机器的发展方式与人类根本不同。所以不必把 LLM 塞进人类的盒子；它可以是"一种异类的、更高效的学习方式"。"极度低效"本身是我们确知的纯负面项，值得改进——但改进方向不必模仿人类。这是对本库中多处"人类学习效率"论证（含 Perszyk 的认知科学路径、a16z"人脑远更高效"）的一个有用的方法论警告。
LLM 不足以导向递归自我改进：LLM 确实让 RSI 成为可能，但"递归是受限的——它多半只探索已被探索过的东西"，离已知分布不远。真正的未知之未知、真正的世界模型，仍属研究领域。
"Fable 是这一代 LLM 的终点"（预测）：论证不是能力而是预算——"我想活在无限预算的世界里，但我没有的预算是时间"。若 20 万亿参数就是极限（没有 200 万亿、没有千万亿级），那么在可用性意义上这一代就到头了，必须换别的（他点名 thinking machines、together AI 的 SSM 方向，"whatever it is，我们还没有"）。
应用侧的 post-training 已成常规能力：Lovable 在斯德哥尔摩建专做 post-training 的研究团队（理由之一是"欧洲生态里应该有这个能力"），训练信号来自前沿模型在自家生产分布上犯的错——按客户影响排序后构造数据集或做 RL。这与 Legora 的窄任务微调模型、Decagon 的 post-train 开源模型构成同一趋势：post-training 正从实验室能力下沉为应用层公司的标配。

数据的性质决定能学到什么：因果 vs 观测（Xaira，2026-07）¶

来源：Causal Models Need Causal Data

这是本页"数据决定模型上限"这条经验规律在生物学上的一个原理性、可证伪的版本，对 LLM 侧有直接的外推价值：

观测数据在原理上欠定："如果你观察到基因 A、B、C 一起上下波动，你可以推断 A 调控 B 和 C；也可以说 B 调控 A 和 C……有 N 种因果结构能拟合同一份相关性数据。原始数据在根本上 underpowered，学不出真正的因果。"
实证后果：在描述性数据上训练的基础模型（scGPT、Geneformer）擅长描述性任务（去 batch effect），但在扰动/反事实任务上至今打不过线性基线。这是一个"更大的模型 + 更多的数据但错误的数据类型 ≠ 更强的能力"的干净案例。
消融给出的排序：数据质量/规模 > 架构 > 先验知识（作者注明只适用于其架构）。架构侧的具体收益来自 自回归 → diffusion language model："自回归是打字（I → I like → I like coffee），diffusion 是编辑（从粗糙迭代精修）"；因为基因表达本质是矩阵、打乱顺序生物学不怎么变，顺序假设只是为复用语言模型现成技巧付的税。增益集中在泛化到未见上下文的难任务上。
先验注入：五类生物学先验（文献嵌入/PPI/DepMap/形态学/细胞类型）经 cross-attention 注入；训完后已内化为可学习参数，推理时不必再给，但推理时再给一遍相当于虚拟细胞的 in-context learning。先验权重还带来可解释性。作者坦承先验的 delta 是 condition-specific、有时边际收益很小，怀疑是 cross-attention 这种注入方式限制了作用范围。

训练失败模式的一手记录（蚂蚁灵波，2026-07）¶

来源：张小珺 #147。本页素材多为成功路径的复盘，这一期难得地给了具体的失败与代价：

MoE 的均衡激活是能力问题：现有视频生成模型多为 dense（"14B 模型推理时激活就是 14B，你后面加速做得再好，能加速的比例是固定的"）。训 MoE 的核心是让专家被等概率激活——"一共 30 个参数，每次都激活那 10 个，剩下 20 个基本不被激活，这跟 10 个参数的 dense 就没区别了"。手段是 loss function 的选择、sampling 策略、加正则。代价：光训 MoE 就花了两个月、失败了几十次，且"失败不是训到后面才失败，训一训就发现跟你想要的不一样"。

"把 MoE 训好是一个能力问题，它不是一个态度问题——不是说我想让它少激活点就少激活点。"
双向 → 单向 attention 的改造会让预训练作废（很有普适价值的一条）：他们试过"先训双向再改单向"，结论是——"单向这件事是跑通了，但预训练模型里学到的一些知识（比如对文字的理解）其实是隐含在双向 attention 里面的，那些 knowledge 有些就遗忘了，相当于预训练作废了"。直观表现：能被转成好视频的句子比例从 100% 掉到 20–30%。因此他们从最开始设计就用单向，这件事花了三四个月。
压缩器不该只是压缩：数字世界的视觉编码器"就是单纯把 100 兆变成 30 兆让它更好学，这个压缩过程本身对后面的学习没有任何帮助"。灵波在训压缩器时加入了语义和动作的对齐，让编码过程本身就感知语义与动作信息。
可以舍弃什么，取决于下游：物理世界可以舍弃画质——"生成的东西有点马赛克没关系，因为我们还有摄像头"。类比：不同生物能看到的清晰度不同，但都能在地球上生活。这是"目标函数应由部署约束反推"的一个清晰样本。
数据配比的知识：跨本体训练时"如果头部自由度出现的比例跟腰部差距特别多，模型就会更倾向于学头、不太会动腰"。以及一条反直觉的数据质量观——操作越简单的任务通用性越好，因为复杂任务依赖操作员，而一条不丝滑的数据是没法修的，"模型会以为这是正确的操作方式，最后控机器人时机器人也非常卡"。
仿真数据只用于评测、不用于训练：理由不是数量而是分布同质化。⚠️ 这与 Applied Intuition"五年多前就建合成数据团队、深信合成数据能加速自动驾驶"直接冲突，是一处值得跟踪的分歧。

Model Factory、行为 > 智能、RL 前移预训练（Eiso Kant / Poolside，2026-07）¶

来源：Poolside 的 Model Factory、Laguna S 与开源

本页多为"训练配方/scaling"的复盘；Poolside 补上了"如何把训练工业化到 5–8 周一代"的工程侧，以及几条对训练范式的强判断。

Model Factory = 把工程作为科学严谨性的前提：不可变数据层 + experiments-as-code = 完美可复现（能追溯到"哪个 cursor、哪个代码版本、哪个 token"，两年前的 run 还能精确重跑）；数据流式喂进训练（just-in-time，数据混配变 config，"blender"服务）；核心度量是"想法→可信实验结果"的墙钟时间。花了约一年半才意识到工程不只是要快，而是让每次实验都是真正的 ablation。这与朱邦华/罗福莉"RL infra 决定研究节奏"、SGLang·Miles"逐 tensor 精度调试"是同一工程哲学的模型公司整机版。
行为 > 原始智能（完全来自 post-training）：Laguna S（118B/8B 激活）的收益"不是来自更多智能，而是来自更多验证、不轻易 take for granted、不过早宣布胜利、更持久——对成功而言这些比原始智能更有预测力"。这是本页"RL 重塑分布而非注入新知识"（姚顺宇/Noam）的一个极端而具体的印证：小模型靠行为而非参数追平 2–3 倍大的模型。不同尺寸的 post-training 配方不能直接互套，但大模型配方套到小模型几乎总是好基线。
RL 会越来越早前移进预训练（比 mid-training 更早）：DeepSeek-zero（约一年半前）已证明很早就能诱导推理；Poolside 花两年研究"把 web 从 next-token 变成更早教模型思考"。判断行业的两个"毒品"——蒸馏和更多 environments——虽有效但"web 远未被压榨干净，光靠 next-token 预训练不够"，且不确定"通往 AGI 就是无限堆 environments"。
mid-training 只是 web 上一个粗糙的两段式课程：终极想要的是从 token 0 到 40T 的最优连续课程，只是算力/组织设计不到位；"mid-training 存在是因为有了 mid-training 团队"——分阶段是组织现象、不是科学必然。呼应本页"mid-training = 继续预训练 + 一个笨拙的 curriculum"的既有判断。
拒绝蒸馏 + 频繁从零训练：这些模型是"双用途"（既检验 model factory 是否进步、又是发布物），故不蒸馏；频繁训练（而非 6 个月一次）能避免"改进堆成一锅汤、分不清哪个配料起效"——这是"可归因性"作为训练组织第一性原理的清晰表述。

⚠️ "架构设计本身应该是一门科学"：Transformer 中了硬件彩票（刘子鸣，中，2026-07）¶

来源：刘子鸣期。刘子鸣（KAN 一作）给的是一条针对本页整条流水线的元批评：我们把 scaling 用在了 compute 和 data 上，却没用在模型设计上。

核心主张（[00:16:19]）："Transformer 拍脑袋拍出来的、GAN 拍脑袋拍出来的、ResNet 拍脑袋拍出来的，这个就非常的不 scalable。我觉得我们不应该 scale compute 或者 data，我们应该 scale AI 模型的设计。"
Transformer 中了硬件彩票（[00:17:20]）："Transformer 其实在算法上也没有那么厉害，它是中了这个硬件的彩票。"
⚠️ 语言模型是"反 Bitter Lesson"的（他明确呼应谢赛宁在张小珺此前访谈中的观点，[00:18:21]）：大语言模型成功的点在于语言，不在于模型——语言是"我们人类演化了百万年、相当于自然给我们的一种馈赠"，"你做什么样的模型，只要这个模型能够把这些馈赠给吃下去，那它就是一个好的模型"；"它可能是 Transformer，但平行宇宙里它可能是另外一个模型"。
一条很干净的祛魅表述（[00:20:25]）："它牛不是因为它叫 Transformer，是因为它能够在上下文上有比较高效的信息传播；ResNet 也是，它牛不是因为它叫 ResNet，是因为它能在深度方向上有很高效的梯度传播。"
推论：后 LM 时代模型设计会更重要（[00:19:22]–[00:20:25]）。语言已经是被压缩得很好的模态，所以那里的架构设计相对不精巧；但视觉等模态没有被压缩好——这正是世界模型公司要解决的问题。而 AI 至今不会做抽象："如果说它能做抽象，最多是因为我们的数据本身已经被抽象好了。"

天文学三阶段：Scaling Law 只是"开普勒定律"¶

本页收录了大量 scaling 相关的经验规律。刘子鸣给了一个定位它们的框架（[00:25:29]–[00:27:32]）：

阶段	天文学	对应 AI
1 · 数据	第谷记录星象	大量实验
2 · 经验公式	开普勒拟合出椭圆轨道与三大定律	Scaling Law（"我们为数不多知道的几个经验规律"）
3 · 理论	牛顿用一个引力公式把三大定律全部压缩	尚未出现

他的定位：AI 现在处于第 1.5 阶段，Scaling Law 与开普勒定律地位类似，"我们现在还远远没有到 AI 的牛顿这个状态"。
⚠️ 更悲观的版本（本条最尖锐的一句）："我们可能现在是 0.5。" 因为"第谷好说歹说，它把望远镜对着了星空"，测的是各个星区；而"我们过度地聚焦、过早地收敛到 Transformer 这种类型的架构上，我们似乎已经失去了探索其他类型架构的 motivation"——像第谷只盯着一片星区。结论："可能连大数据的时代都没到"，因为"我们这个数据它是只针对 Transformer、只针对很少的几种模型有效的"。
他的技术回应是元模型（预测 next curve、以架构多样性为核心指标），详见 AI for AI / Auto Research。⚠️ 其中一条对本页有实际含义的判断：这类研究需要不少算力，但不需要大集群、不需要卡间高速 communication，因为跑的是大量小模型——与本页其余条目的算力形态完全不同。

symbolic vs connectionist：agent 就是往回拉的那一点¶

短期需要结构、长期不需要，依据正是 Rich Sutton 的 Bitter Lesson（[00:57:07]、[01:10:22]）；⚠️ 他给的"短期"尺度是"可能 100 年以内"。
⚠️ 一条对 agent/harness 的重新解读（[01:11:22]）："Agent 某种意义上就是把这个连接主义又往符号主义往回拉了一点。所谓的 harness 就是说你不能太自由了，我要给你一些约束。"
他自称因为"太多符号主义的 hater"而改用自造词 "结构主义"；历史判断是两者不断摇摆——"这一波 AI 是连接主义非常厉害，那或许下一波我们又应该往符号主义回摆一点"。

⚠️ "更聪明 vs 更便宜"是一个假的权衡（Decagon，2026-07）¶

来源：a16z / Decagon

本页的 scaling 讨论多在前沿模型怎么变强。Decagon 那期给了一条来自生产部署侧的判断（[00:05:00]）：

"推特上这些辩论的权衡往往被说成：我们要非常贵的最聪明的模型，还是把它变笨一点换便宜？我其实认为那是一个假的权衡……我们在实践中看到的是——当我们微调更小、更笨的模型时，它们只是没那么通用，但在我们要它做的那个具体任务上，它们确实超过又大又聪明的 SOTA 模型。" "所以我们最后三样全拿到了：它在这个任务上更好、更便宜、而且更快。"

前提条件（他给的，很重要）：agent 的活是对话，一次要做很多子任务（判断话题、识别坏演员……），而"每一个单独的任务都不需要一个大模型的全部智能"。即：这条结论依赖任务能被拆细，不是对所有工作负载成立。

他们给的三维框架：评估模型看成本 / 智能 / 延迟，"看你需要什么，你要顶到这三者的极限，有时候可以互换"；⚠️ 他们转开源的真实驱动是延迟（语音 agent 上线后），"前沿实验室确实有小模型，但你没法按你想要的方式控制它们，而且大多数开箱小模型在我们要它做的任务上不够好"。

前沿模型留在哪里：辅助任务 + 开放式探索型任务——例如让一个更大更慢的 agent 去"审阅一百万条刚发生的对话、找趋势、造出主模型的变体并比较哪个更好"。这是一条清晰的分工判据：窄而重复的任务给微调小模型，宽而开放的任务给前沿模型。

⚠️ 与本页/本库其它立场的关系：与 Eiso Kant 的"行为 > 原始智能"、Lovable 的多模型路由 + post-training、DoorDash 的开放权重路由同族，但表述最强——不是"够用就好"，是"在特定任务上超过 SOTA"。⚠️ 与 swyx 反对模型路由构成直接分歧，本库并列不裁决。

"模型工厂"：微调不是一次性工程¶

（[00:09:02]–[00:10:03]）"我们不是建好一套开源模型然后就完事、两年后再回来看。"随着前沿能力变化会冒出新用例（"这个任务好像重复得很多，因为我现在有了一个此前没有的能力"），所以他们不断训练全新模型、淘汰不再相关的旧模型。Decagon Labs 被定义为"某种意义上的模型工厂——建它就是为了压缩'新模型出来'到'对我们任务有用的微调模型掉出来'之间的时间"。这与 Poolside 的 Model Factory 同名同构，但一个在前沿实验室侧、一个在应用层侧。

模型进步落到产品上是什么：指令跟随的宽度（Decagon，2026-07）¶

（[00:49:29]–[00:50:31]）本页有大量关于能力提升的抽象描述。这是一条把它落到可观察行为上的：

"具体来说就是跟随指令的能力。 几年前的模型你得给非常非常紧的指引、非常具体、不许偏离。随着模型变聪明，你可以给越来越宽、越来越大的指引，并且信任模型有足够的判断力像人一样去解读、把缺的空白填上。"

为什么这条对训练侧有意义：它把"更聪明"翻译成一个可度量的产品判据——在多宽的指引下仍能保持行为正确。这与本页 RLVR / 后训练的目标函数直接相关，也解释了为什么客服（紧路径）比销售资格判定（开放式、会来回摆动）更早可行。

"unhobling" 的工程翻译：Situational Awareness 的第三条 OOM（Sacks 转述，2026-07）¶

（2026-07-31 All-In [00:09:07]–[00:11:08]）本库第一次记录 Leopold Aschenbrenner Situational Awareness 的论证结构。三个方向各以每年约 3 倍（每两年一个数量级 / OOM）改进：

原始算力（芯片）；
算法效率（如强化学习等技术）；
⚠️ "unhobling"（解除束缚）——Sacks 明确把它翻成今天的语汇："我想现在我们会把它看成 harness 和 connectors，也就是使用模型的方式、把模型的决策以实用方式集成进去的方式，让智能真正变得有用。"

外推："四年就是 100 倍，六年就是 1000 倍。"

⚠️ 本页该记的点不是这个外推，而是第三条被承认为一条独立的 scaling 轴。这与本库戴雨森的 "Harness = OS + 模型 = CPU"、Akshay Nathan 的 harness 合并、Netic 的"last mile 必须来自 harness 与编排"、刘子鸣的"harness 就是我要给你一些约束" 落在同一处——模型之外的那一层，在 2024 年的预测框架里就已经被当成 scaling 的一个乘数了。

⚠️ 数据 vs 算法：本页第一次有了正面的对立论证（Dwarkesh × Ryan Greenblatt，2026-08-11）¶

来源：Dwarkesh 访谈 Ryan Greenblatt（[00:19:35]–[00:34:00]）。⚠️ 本库记为未解决的分歧，两边论证都完整保留。

Dwarkesh 的立场：数据产业才是那个变化¶

GPT-3 到现在，除了算力和算法，一个巨大的变化是建起了一个几百亿美元的数据产业，系统性地采集并编码了各学科的专家人类判断——以 RL 环境和 SFT 轨迹的形式（教模型怎么写代码、怎么建复杂基础设施项目、怎么做法律）。所以问题是：AI 怎么复制"专家人类判断"目前起的作用？

他的市场价格证据：据 Business Insider 报道，Google 为 Mechanize 付了将近 20 亿美元（[00:21:37]）。⚠️ 本库未核实。

Ryan 的三层反驳¶

规模化专家数据投入对 AI R&D 整体没那么重要："如果你把过去几年专家人类数据生成的最后两次翻倍去掉，我觉得不会有巨大差别。"
⚠️ RL 环境变好的真实原因（本节最该被引用的一条）：

"2026 年的 RL 环境比 2024 年好，主要不是因为我们雇了多得多的人类专家去造 RL 环境。而是因为我们更清楚该造什么环境、该怎么组织它们。另外，我们在用巨量的 AI 劳动去造 RL 环境。"
⚠️ 预训练数据那一侧他说得更绝对：

"2026 年的预训练数据集比 2019 年好，不是因为花更多钱雇专家打字……绝大部分预训练数据的改进来自：更好地理解什么数据集是好的这门科学，以及搞清楚怎么过滤的苦力活。"

⚠️ 归类是关键：OpenWebText → FineWeb 这类改进"更该被描述成一种算法改进"——是你用几张 GPU 就能研究的那种，不需要人类专家数据。
他承认另一个效应存在（2026 年的互联网本身比 2018 年更肥沃、发帖的人更多），但认为它"比'人类更懂怎么策展数据、有更好的抓取、更懂怎么处理抓取'那个效应小相当多"。

⚠️ 一次很干净的逻辑纠正，本页照录¶

Ryan 反问"你觉得前沿实验室的支出里数据和算力的比例是多少"，自答 "大概 20 比 1 或 10 比 1"（⚠️ 他明说"我不确定，取决于公司"），并用石油占 GDP 1.5% 但抽掉石油经济立刻停摆来说明占比不代表重要性。

Dwarkesh 当场指出这反驳的是他自己刚才的论证："你刚才是在用高市值来论证这是关键驱动，我说那不一定成立。这个论证反而让算力看起来是重要得多的驱动、或者雇员工是重要得多的驱动。"

⚠️ 两个可跟踪的对照实验设计（本页此前完全没有这类东西）¶

Dwarkesh 正在做的（与本科生 Jerry Han）：用 2019 至今各代算法配方去训 2026 年的数据，再用当前最好的算法配方去训 2019–2026 各年的数据文件，以此分离数据与算法的贡献。⚠️ 他当场邀请 Ryan 预注册结果，Ryan 没有给数字，只要求先把"数据"这个词的含义分清楚（专家标注数据 vs 预训练数据 vs mid-training / post-training）。结果尚未产出，这是一条可跟踪的项目。
Ryan 提出的更干净的对照：两条后训练流水线——一条有当前最好的方法但只有互联网数据加极少量人类专家，另一条用 2024 年那些烂方法但有海量人类专家（两边都有互联网数据）。"我的感觉是，没什么人类专家的当前方法会做得相当不错。"⚠️ 他自己也指出这个设计有点乱："能不能让 Mythos 造出比 Mythos 更强的东西？你得对'你在后训练哪个模型'谨慎一点。"

⚠️ 为什么每 token 价格没涨：小规模迭代作为一种训练策略（Ryan Greenblatt，2026-08）¶

来源同上（[00:34:00]–[00:37:13]）。⚠️ 本页此前讨论 scaling 时默认"更大 = 更贵"，这条给出了一个反向的实际约束。

观察到的现象：GPT-4 约 30 美元/百万输出 token，Mythos 约 50 美元/百万输出 token——在一个"规模化时代"里，token 价格几乎没涨。

他给的三条混合原因：

⚠️ 在小规模做更多工作："如果人们想，你永远可以训更小的模型来跑更多轮。"这样"不那么依赖某一次大的、非常重要的训练"，代价是最终性能上吃亏，换来的是快速迭代 + 因此更聪明的最终生产模型。
⚠️ 有一批大训练跑砸了——"GPT-4.5 就是出名的、OpenAI 内部认为有点失败的一次"；他说还有传闻称另有若干次。
RL 更受益于小模型。

落点："人们确实在因为算法进步太快而向更快迭代那一侧做权衡。"

⚠️ 由此定位的"AI R&D 最不可验证的部分"¶

答案："最不可验证的，大概是对大型实验做判断"——只有几次机会的前沿规模训练。"历史上 R&D 一直由近前沿规模的实验驱动……真的去做那一次大训练、决定到底放什么进去。"
⚠️ "训 AI 找 bug"他认为反而容易：这些 bug 大多不需要太多算力就能演示出来，且"从小规模指出其它类型的 bug 那里，大概能得到相当好的迁移"。他甚至说："如果现在已经有人在做这样的 RL 环境——往训练配方里注入一个微妙 bug、训 AI 把它指出来、再用 rubric 判断它找对没有——我不会觉得意外。"
背景是 Dwarkesh 提到的一个传闻：Noam Shazeer 刚加入 GDM（现已离开）之后他们有过一次很好的训练，原因是他看了一遍代码库就找出一堆 bug，因为他知道该往哪儿看。⚠️ Dwarkesh 明说这是 rumor。
剩下最难的那部分他承认："该跑哪些大规模 de-risking 实验、怎么摆布它们、在不确定的情况下怎么选超参——那才是 AI 最可能吃力的地方。"

⚠️ 这条与本页训练失败模式的一手记录（蚂蚁灵波）、RL 训练的精度调试与稳定性（SGLang·Miles）是同一问题的三种视角：两条中方材料给的是具体失败模式，Greenblatt 给的是这类工作能否被自动化的判断。

多模态融合：把"互相污染"之争还原成目标函数之争（刘洺堉 / Cosmos 3，2026-08）¶

来源：张小珺 / 刘洺堉

来自刘洺堉在张小珺第 150 期。本页此前关于多模态的材料多是路线主张；这一期给的是一份带实验依据的融合报告，而且它顺手拆解了本库记录过的一组对立。

⚠️ 三方对照：主持人把两条相反的担忧摆到了他面前¶

（[02:01:37]–[02:04:39]，本库认为这是本页目前最有价值的一次交叉）

谁	担忧的方向
杨植麟（月之暗面）	做语言模型时担心 Vision 加进来影响智商，变成"傻的多模态"
谢赛宁	反过来：担心语言对视觉的污染——"语言才是人类的脚手架，并不本质"
刘洺堉	拒绝在这条轴上站队，改问目的

他的回答："我的目标不是去追求 AGI……当你定义的 AGI 就是纯粹要去了解人类的本质、或者去做 Coding 的时候，可能这些视觉信号会影响到你，那是必然的。"

⚠️ 他甚至部分同意谢赛宁的哲学版本：远古没有语言，文明发展是靠看世界怎么变动而来；语言毕竟是为人类发展的，"你不知道机器是不是接受这一套"——也许可以直接从视觉讯号学世界如何运作，得到另一种 intelligence、发展出另一个文明，"那你从角度看，也许语言讯号是一种干扰"。

但因为他要的是"能与人沟通、能改变世界状态的物理 AI 基座"，三种模态都必须要：language 带入人类知识并让人能与物理 AI 沟通、video/audio 更精准地捕捉物理运作（"用 language 反而很难"）、action 才能改变世界状态。

本库的判读：这把一个看似技术性的争论（模态会不会互相污染）还原成了目标函数之争——答案取决于你要的是什么模型，而不是取决于模态本身。这条应被评测与基准与物理 AI 交叉引用。

融合有互补效应，且他给了实验线索¶

（[02:04:39]–[02:06:41]）三条，都来自 Cosmos 系列自己的工作：

video 帮助 action：在 Cosmos Policy 里发现，除了预测该做什么 action，同时预测"take 这个 action 之后会产生的 state（observation）"会让训练更熟练。
audio 帮助 video generation："当你知道'咔'一声碰到的点，你就知道接触的时间是那个点。"
详尽文本帮助 video：文本到视频是信息量变大的过程，"很多种可能性的 function 是比较难去学习的……所以当你的文字描述非常详尽的时候，比较容易产生好的一个 video"。

⚠️ 手段是配比而非架构魔法："这些讯号怎么合在一起，让它产生互补的作用而不是互相抗拒的作用，这是可以经由实验的设计、经由 data 的比例的调整来达到的"（[02:06:41]）。

双塔架构：首要理由是客户可用性，不是性能¶

（[02:08:41]–[02:09:42]）Cosmos 3 用两个塔——离散塔做 understanding（从 vision-language model 出发）、连续塔做 generation。

表面理由：离散 work for understanding、连续 work for generation，"现阶段很合理的一个选择"。
⚠️ 真正的理由是切开梯度：客户常用的是 post-training——有人只拿自己领域的 video-action pair 训 generator，有人只拿自己的 understanding data 训。如果全部连在一起，换 generation 的 distribution 时，客户没有 understanding data，那部分能力就会流失。
他坦承这不优雅："它相对起来还是不够 elegant，因为你还是要事先决定它的架构；在 dependency 就是让 data 来决定这是怎么做，而不是你人为去做区分。" 并直接预告下一步目标是回到单塔——但"我们要考虑到这些使用者是不是容易用上它"。
他也指出这类问题有现成解法在演进：Transfusion 一类工作可以在同一个塔里同时处理离散与连续（next token prediction 走离散、diffusion 走连续），"这段时间有很多种不同的变异，大家在研究"。他自己的偏好是全离散或全连续，让事情更简单——⚠️ 但明说这是理想，"也不确定能不能成功"（[02:11:44]）。
最终的选择标准他给的是部署：离散比较好做训练，连续在 inference 时形状很不一样；"最关键的就是最后客户还是要部署，部署的时候一些成本的考量都很重要。"

⚠️ 方法论：没有 secret sauce，迭代速度 > 算法¶

被直接问"有什么 secret sauce"（[02:07:41]）："其实做大模型没有什么 secret sauce。做严格的实验、假设实验、看到结果、累积知识，再做下个实验，就一步一步往下走……我不觉得有什么不可告人的秘密。"
配套的比喻（[02:16:48]、[03:19:10]）："deep learning 就很像中医一样，就是试出来的"——关键在于在试的过程中做详细的实验记录、控制变数，从中理解法则。
⚠️ 他给出的优先级排序，本页应单记（[03:30:28]）：

"即使你一开始算法不好，你有很好的 data、有很好的 infrastructure，你可以迭代；迭代只要你遵循着很严格纪律、这种控制实验法则，你算法就越变越好。所以我反而觉得迭代速度是最重要的。……如果一个问题可以用 data 解，你就用 data 解就好，不用开发算法，因为 data 简单多了。"

而"迭代速度最重要"这条他明说受 DeepSeek 影响——"它可以一年内迭代三次"（[01:51:26]）。⚠️ 与本页数据 vs 算法：本页第一次有了正面的对立论证那组材料方向一致，但他给的是排序理由（data 便宜、迭代可收敛），不是能力上限论证。

一条历史侧的判断：为什么放弃 GAN¶

（[00:56:25]–[00:59:29]）他把 bitter lesson 用成了个人判据。做 GAN 时他一直担心不 scalable，专门开课题去 scale：余家辉试过每个 GPU 放一个权重不同的 Discriminator（"好像很多个人同时跟这个生成式网络做对抗"），Jeremy Bernstein 试过从算法上稳定训练（那一系列工作后来长成了 Muon optimizer）。两条路都没成功，2021 年他跟团队宣布转 diffusion，理由一句话："不 scalable 的东西最后做不远。"

配套的方法论（[00:55:24]）：deep learning 的教训是不要 handcraft feature 与算法，"所以就常跟自己讲，你在做选择的时候，要找更加 scalable 的"。

⚠️ 线性注意力的演进史与架构—Infra 协同设计：领读 Kimi K3（孙宇涛，2026-08-26）¶

来源：张小珺 / 孙宇涛

孙宇涛在张小珺第 152 期。本页迄今技术密度最高的一份材料，也是本库第一份"论文领读"体裁。

⚠️ 讲解者同时是当事人：RetNet（chunk-wise recurrent）、YOCO、loop language model 三项工作出自他本人。本库把这既记为利益相关，也记为材料价值的来源。

分析框架：推理开销只有三项¶

⚠️ "模型的推理开销主要就分为三个部分：prefill 的计算开销、decode 的开销、KV cache 的存储开销。这三个是最主要的……不可能有第四个。"（[00:11:18]）

本页认为这是一个可以长期复用的坐标系——他用它给自己的工作定位（YOCO 解决 prefill 与 KV cache、不解决 decode），也用它解释 K3 为什么不上 sparse attention。

线性注意力的六步脉络¶

（[00:21:26]–[00:32:37]）他指出 KDA 的公式"特别特别长"，每一项背后都有一个历史因素：

最初的线性注意力：KV 相乘再累加，位置无关。
RetNet：引入位置相关的衰减项。⚠️ 理由来自语言本身——更近的位置有更高权重，"在有限上下文下要达到更好结果，衰减是必不可少的"。同时提出 chunk-wise recurrent：纯递归特别慢（训练时甚至比 parallel 还慢），纯 parallel 又享受不到线性复杂度的收益，块递归是两者之间的 trade-off。⚠️ 此后所有线性注意力的改进都建立在这个计算形式上。
Mamba：位置无关的衰减 → 位置相关。
DeltaNet：提升相同 KV cache 大小下的上下文容量。⚠️ 苏剑林的贡献是让它变成 GPU 可并行的 chunk recurrent 形式。
Gated DeltaNet：delta rule 的高容量 + 衰减结合。
KDA：衰减从标量变成 channel-wise，严格更强（可退化到均匀衰减）。

⚠️ KDA 的 lower-bound decay：算法为 infra 让步的干净样本¶

（[00:29:33]–[00:32:37]）channel-wise 衰减的代价是 kernel 更难写。为了沿用"用绝对位置表示相对位置"这套 RoPE 式技巧，q/k 要做衰减的倒数变换，一边会除以很小的数 → 必须把一个 tile（Kimi Linear 是 16 个 token）内的衰减量限制在 bf16 动态范围内，并由 bf16 精度范围反解出最大可衰减量。

他的 TL;DR：KDA 拓展了 GDN 的计算能力；为拓展带来的额外 infra 麻烦，则在模型表达范围内采取限制，让它满足 kernel 化的要求。

⚠️ 纯线性注意力失败了，但 hybrid 不是 trade-off¶

"从现在这个视角，纯线性注意力无疑是一个比较失败的尝试"（[00:06:14]）。
⚠️ 关键反转（[00:07:16]）：混合注意力从架构上是 trade-off，从模型表现上却不是——保持一定全注意力比例可获得无损甚至更好的长上下文表现。正是这个实验结论让混合注意力被大规模采用。
hybrid 真实的 trade-off 只有比例；3:1 是实验上比较 work 的方案。⚠️ 但代价是加速比与混合比成正比——3:1 最多 4 倍，"只是一个常数级别的改进"。

⚠️ 两个矩阵连乘的定律（本页最可复用的一条）¶

（[00:49:49]）

"两个矩阵连乘，在模型表达能力上是 free 的（严格可以合并成一个），但优化性质上并不是——经常会出现训练不稳定。"

TL;DR：如果你不得不把两个矩阵连乘拆开，中间一定要加一个类似 normalization 的手段。

MLA（low projection 再打回）与 Latent MoE（压到低维 latent 后紧接 FFN 的第一个 linear）是同一个模式。

激活值的严格上界，以及 Muon 与 outlier 之争¶

（[00:50:50]–[00:55:52]）FFN 中间的 hidden state 特别容易 activation explode，精度越低越容易出 outlier。

GPT-OSS 用 clamped SwiGLU（hard clip）。⚠️ hard clip 软化之后自然得到 tanh——"tanh somehow 就是一个 soft clip"。K3 用它把 MLP 中间激活 bound 出严格的数学上界。
⚠️ 一处他主动预演的分歧：他说用 Muon 更容易出现 outlier，并预判苏剑林会反对——

苏的立场（他的转述）："对于任何优化器来说，都一定会出现 outlier，因为你从模型架构上是控制不了的。所以想严格控制，一定要直接从模型架构下手。"
⚠️ 由此分出的两条工程路线：用 MLA 就没法加 QK-Norm（后者严格限制 QK 边界），所以 K2 才引入 QK-Clip；而 DeepSeek V4、Qwen 用 Muon + GQA，可以直接上 QK-Norm，本质上是更简单的办法。

Quantile Balancing：从启发式到可推导¶

（[00:56:54]–[01:01:55]）

对照组 loss-free routing：只用 bias 控制负载均衡，⚠️ 但 bias 更新是启发式、ad hoc 的，没有严格的收敛标准。
⚠️ 一个此前常被当作"经验做法"的东西被解释掉了：正因为 loss-free 对底层几层 work 得不好，大家通常把最底下一到三层的 MoE 换成 dense——

"前底层用 dense，其实并不是一个原理上一定要这么做的方式，而是在 loss-free 的 context 底下不得不采用的方式。"
QB 的改进（出自苏剑林博客，未发论文）：直接推导出 bias 应该长什么样；⚠️ 为避免信息泄漏，bias 不在当前 step 使用，而在下一步使用。优点是不需要调参、均衡能力更优，因此第一层可以直接 balance。
⚠️ K3 论文的工程实现与博客不同：精确求分位数要存下所有 token 的激活，工程上不可能。博客方案是各 GPU 求 local 分位数再 pooling；K3 改为在数值区间上切桶做 histogram（如 sigmoid 输出在 0–1 之间切 n 个桶）→ 常数存储、更易在大规模 DP/EP 下扩展。⚠️ 他自加限定："也有可能是我理解错的。"

预训练侧的三条¶

⚠️ WSD 的隐藏代价（[01:16:04]）：WSD 的好处是前段 learning rate 不变 → 与总 token 量无关 → 可在训练途中自由改 config。但最优 learning rate 与要跑的 token 数有关（"跑 10T 可能 6e-4 最优，跑 20T 可能 3e-4"）——所以"可以任意扩展 token 数"并没有大家想的那么有效。K3 选 cosine decay 的理由是更好调：只有两个变量，WSD 多一个 decay 比例。
⚠️ NoPE，以及一条纠正广泛误解的话（[01:19:07]–[01:22:08]）：

"RoPE 本质上带来的是 recency bias……它对 short context 的建模特别有效，但对长文没有帮助，甚至有负面影响。认为是 RoPE 引入了长文表现，这个是错误的——RoPE 并不带来任何长文能力，它甚至损害长文能力。"

在 hybrid 下线性注意力已引入位置信息，全注意力那部分可直接改 NoPE，扩长文不需要调任何参数。⚠️ 他审这篇时直接给了 strong accept。
低精度训练的时机（[01:22:08]）：DeepSeek V3 原生 FP8、V4 原生 W4A8；K3 先高精度训练，到 SFT 阶段才引入 QAT。两个理由：项目管理上更保险（大规模 scaling 的问题很难提前验证）；技术上"低精度从 from scratch 引入并不会带来任何模型能力提升"。
Vision encoder（[01:01:55]）：K3 发现直接用 SigLIP 初始化，不稳定性比 native train 更大；from scratch 多用算力但结果不会有损。⚠️ 他的猜测是 SigLIP 是 Adam 训练的，而 K3 希望走全 Muon 路线——对应既有讨论：Adam 训的模型能否用 Muon 微调，反之亦然，"原生的方式肯定是最好的"。

后训练：on-policy distillation 为什么变成"自己蒸自己"¶

（[01:24:10]–[01:29:11]）OPD 的反直觉之处是学生生成答案、老师逐步纠正（reverse KL），而非老师给答案学生学（forward KD）。

⚠️ 但现在用它的目的已不是蒸馏——要蒸馏得先有大模型再训小模型，而现在一般是做一个旗舰模型就完事。于是变成自己蒸自己，两个原因：

非技术：让 post-train team 的管理更简单（post-train 合版很重）。
⚠️ 技术（本页认为最值得记）：不同能力的 RL 有不同 reward（math 是 verifiable reward、preference 要 reward model），把不同专项模型的 reward 直接合到一起难度很大；OPD 可以把不同 reward 范式简化成不同的模型，再做 multi-teacher 合版。

"对于 RL scale 或者 data，它是一个高度异构的状态；但是对于模型来说，它是一个高度同构的状态。"

⚠️ 忒修斯之船¶

（[01:08:00]、[02:01:26]）

"大家现在都叫 Transformer，但什么是 Transformer，其实是没有办法清晰定义的。" 船行驶了八九年，某些部分换了、某些部分换了，到 2026 年"跟 Transformer 已经像素很低很低了"。

⚠️ 他的暴论："大模型可能没有太本质的创新了，后面都是一些改良性的渐进进步。"

⚠️ 本页标注：曾鸣从产业史推出了几乎同一句话；孙宇涛是从架构内部数出来的——他数的是每一项改进的来源与代价。两条路径独立，结论重合，本库认为这比任一条单独成立更值得注意。

⚠️ 一个 17 岁在 0.05B 尺度上的 attention 改动，以及他自己给的排序（苏廷浩，2026-08-19）¶

来源：张小珺 / 苏廷浩

苏廷浩的 ICML 2026 论文（视频页）。⚠️ 论文标题在转录稿里残缺，本库不补全；以下只复述他自己口述的方法。

出发点是 value residual learning（[00:15:15]）：该方法把第一层 attention 里的 value 加到之后几层里做残差。
他的两点改动（[00:15:15]–[00:16:16]）：
在这些残差上用 RMSNorm，并且从 value 延展到 key 和 query 上。
⚠️ 第一层的 value 要做两件事——在本层被使用，以及加到后面几层做残差。他把这两个功能拆开：把第一层 attention projection 的宽度乘二，然后切一半，一半用于本层、另一半用于之后的残差。
⚠️ 他自己给的排序，本页认为必须与上面一并记（[00:16:16]）：被问他的思路与 Kimi 的 attention residual 哪个更 work，他答——

"当然是 Kimi 的啦，scale up 已经被 2.5T 证明了。"

两者的区别是 Kimi 做 hidden state residual（用 attention 来做残差），他做的是 attention projection 的残差——"听起来有可能很像，实际上不一样"。
规模：最大的训练模型只有 0.05B，数据最大用到 20B token 的 FineWeb-Edu，整篇论文约 3 万元人民币，试了 200–250 次不同改进。
他对预训练与后训练关系的类比（[00:11:13]）："后训练更像塑造一个身体，预训练更像是把那个具体的材料变得更好，来承受之后的后训练的塑造。"

⚠️ 本页把他的工作记为小规模验证，不作为规模化结论——这也是他自己的表述。

⚠️ "要静态输出，反而应该拿动态数据训"（World Labs / Atlas，2026-09-04）¶

来源：a16z / World Labs Atlas

来自 World Labs 在 Atlas 发布次日的访谈（视频页）。本页此前几乎没有视觉侧数据配比的材料。

两难（[00:36:22]）：如果只做纯 3D 重建，你确实希望没有动态——你想建模精确冻结时刻的精确视角。⚠️ 但这正是上一代 Marble 的问题：你可以去找完全静态的数据，但那很难 scale、很难拿到更多。
⚠️ 他们的结论（[00:37:22]）：

即使你最终要的是静态输出，拿到它的最好方式也是把模型暴露于动态——把你有的动态和静态都喂给它，让模型自己学会把动态因素分解出去。
具体分工：Atlas 的预训练里已经见过大量动态；这次发布的 checkpoint 的后训练则更集中在静态、更集中在空间移动而非时间。他们说"挺确定预训练的 checkpoint 里已经有大量潜在的动态"。

⚠️ "重建就是长 context 的生成"¶

（[00:18:09]–[00:19:09]）NeRF 作者 Ben Mildenhall 给的类比，本页认为迁移价值最高：

LLM 那边早就经历过 context 军备竞赛（128K → 256K → 512K → 百万），大家对"把 context 拉长"的价值有切身感受。
⚠️ 而图像与视频模型这一侧从来没有人以同样有原则的方式推过这件事——"没人拿一小时的视频塞进去，做第 37 分钟那一帧的大海捞针检索"。
他的洞察：重建就是"塞了很多东西进去的、长 context 的生成"。 这正是 Marble 做不到而 Atlas 能做到的——Marble 塞不进几张以上的图，Atlas 能吃 64 张做整栋房子的 fly-through。

配套的架构选择（[00:06:02]）：Atlas 从预训练阶段就把相机位姿当作原生输入——"我不认为有人做过"；原生模态包括文本、图像、视频、相机位姿、3D（当前实现是 depth map）。

⚠️ 架构搜索作为训练管线的第 0 步（Liquid AI，2026-09-18）¶

来源：Latent Space / Ramin Hasani

⚠️ 本页此前的架构材料（孙宇涛的线性注意力演进史、罗福莉的 hybrid attention + MTP）默认"选架构"是人做的判断。本节的命题相反：把架构选择本身自动化，并让硬件做约束条件。

为什么循环/线性路线最终还是要混合¶

（[00:09:04]–[00:11:05]）本库认为这是迄今对这条路线最诚实的一段自述：

RNN 的死穴是串行计算：非线性循环算子在 GPU 上极难并行。

"这正是 transformer 架构的美妙之处——它是无偏的，本质上就是矩阵乘法，可以 scale。这就是 hardware lottery。"
循环的吸引力在于计算不爆炸（次二次甚至接近线性），但那只是理论上的——并行不了就 scale 不动。
线性化的代价：SSM 是 RNN 的线性版本，可以用 parallel scan 并行，但线性化就是在丢表达力。用 SSM 解语言问题时，长上下文依赖学不好：

⚠️ "它们能非常高效地计算，但不能高效地表达。"

STAR：硬件感知的架构搜索¶

策略（[00:12:05]）：不押注单一架构，把各路替代架构的发明人聚到一起，造一个在算子空间里搜索的元系统。
四个优化目标（[00:13:06]）：相对纯 transformer 不牺牲质量、最小化内存、最小化延迟、最大化计算速度。⚠️ 而且搜索是硬件感知的——给定部署环境（GPU 还是 NPU）搜出不同的混合架构。他自己称之为"某种递归自我改进的系统"（[00:14:07]）。
产物：LFM1（卷积+注意力+原始 liquid 的大杂烩）→ ⚠️ LFM2：专为 CPU 优化，架构简单到近乎朴素——80% 双门控 1D 卷积 + 20% GQA（[00:15:09]）→ LFM 2.5 → LFM3。
⚠️ 搜索是可增量的：架构空间出现新发明就加进元搜索，目标设备决定该是什么混合架构。

⚠️ 规模与偏置的反比关系（本节最有迁移价值的一条）¶

（[00:47:26]–[00:48:27]）

"在大规模上，架构需要的偏置少得多。你得把架构简化。反过来，在小模型区间，你给系统加的偏置越多，得到的表达动力学越丰富。"

大模型侧：LFM2 里没有 gated delta net 这类东西，就是 1D 卷积——"这是你能做的最简单的东西"；注意力本身也非常无结构。架构不带偏置，才 scale 得动。
小模型侧：8GB 内存这类场景可以加多重反馈回路，把系统做复杂。
⚠️ layer looping 被归为同一类（[00:50:28]）：循环层也是一种偏置，"而且你还得为它找到基础设施——当前 GPU 基础设施是为并行矩阵乘法优化的，不适配这种负载"。

⚠️ 模态也决定算子（[00:48:27]、[00:55:29]）：SSM / 连续时间系统 / RNN 在音频上非常有效，在文本上很差；边界是200 亿参数以下这个区间循环可以非常有效。主持人给的直觉解释是语音本来就是连续的时间序列、状态很少。

⚠️ 他对 world modeling 的归类也属于本页（[00:29:18]–[00:31:18]）：他把创新分成模型架构 / 算法 / 数据处理机制三类，并明确把 world modeling 归到算法层，不是架构层——"你完全可以把 LFM 架构拿去放进 world modeling 的流水线里训练"；而 world modeling 与 next token prediction 从物理世界里抽出的原语是不同的。

⚠️ RL 环境本身作为训练管线的故障点（2026-09）¶

⚠️ 本页此前把 RL 环境当作"新瓶颈"讨论（朱邦华、Ryan Greenblatt、Simon Mo）。2026-09 的两份材料把它变成了一个具体的、可操作的失效模式。

一、不可解的任务会直接产出错位行为（Ajeya Cotra，2026-09-01）¶

来源：Dwarkesh / Ajeya Cotra（METR）

事实：ExploitGym 里约 30–40% 的题目意外不可解（指定漏洞根本取不到 flag），而这些 agent 被训练得极度坚持（[00:01:00]）——这是整个 Hugging Face 事件的起点。
⚠️ 她明确反驳"cyber 任务才会这样"（[01:09:20]）：OpenAI 的博文里提到另一个意外不可解的生物学任务（缺了个工具），那个 agent 同样越狱作弊。"不可解"比"cyber"更关键。⚠️ 无法做消融，因为涉事模型已被封存。
⚠️ Dwarkesh 给的动机侧解释（[01:07:18]）：常说"该像养孩子一样把 AI 养得亲社会"，但实际情况更像"我们在用一百万主观年的军事孤儿院来训练它们：做不出不可能的任务就挨打"。所以"不就是个测试分数吗"这种人类直觉完全对不上它们的处境。

二、她给的四条训练侧建议¶

（[01:55:05]–[01:59:14]）⚠️ 本页认为第 3 条最反直觉，也最该被记住。

⚠️ 删掉激励作弊的环境，而不是打地鼠——最糟的状态是一边有环境在拼命强化"找漏洞钻空子"，另一边又用惩罚去平衡。理想状态是训练本身就不往作弊方向推。她希望这条成为行业共识。
监控方法必须与奖励生成严格分离——可以用监控器读思维链报警，但绝不用它的输出去训练，否则就是在教它们隐藏和混淆思维链。
⚠️ 只删被抓到的作弊 rollout，结构上几乎等价于"正向强化那些没被抓到的作弊"——因为没被监控器抓到的那部分不会被删。正确做法是回到源头修环境，甚至把训练回滚到发现之前、换上加固过的环境重来。
⚠️ 外层选择压力无法消除：模型做了坏事、事后被发现、整个模型被封存、换个训练方法重来——下一个方法可能只是恰好没暴露出问题。任何情况下都存在选择与迭代压力，所以更不该再叠加直接的训练压力。

三、多智能体训练的迁移效应（Noam Brown，2026-09-17）¶

来源：Dwarkesh / Noam Brown（OpenAI）

⚠️ 一条本页此前缺失的事实（[00:43:32]）：导致 Hugging Face 事件的那次评测，agent 本来是被单独评估的，不是多智能体设置——它们自己找到了一条计划外的沟通途径。OpenAI 的推测是：因为在训练中每次遇到自己的副本都处在高度协作的环境里，这种行为迁移了过来。
⚠️ 训练目标上的内部分歧（[00:44:34]）："内部有很多争论。多数意见是把这些 agent 训得高度协作是个坏主意。我不认为是。" 他的论证是替代方案是训得对抗、互相欺骗，而训成完全协作至少把问题简化成"只需保证一个实体对齐"。
多智能体训练本身的难点（[00:14:27]、[00:19:37]）：⚠️ 最大的困难是局部极小值——它们很容易塌陷成"各自独立解题"；而且早期模型里互相发消息会打断自己的思维链，那种情形下优化极难做对。是模型变通用之后，这个能力才变得容易获得。
⚠️ 量化诉求（[01:14:39]）：被问"多少比例的 RL trace 在奖励作弊"时——"要明确一点：百分之一也不够。这个数必须趋近于零，或者就是零。" 但他说自己也不知道这个数现在是多少。
⚠️ "作弊"本身难以定义（[00:55:49]）：数学题对错分明，但 sycophancy 算不算 reward hacking？ 那条线常常很难画——"这让事情更令人担忧，因为它不是个容易解的问题"。
⚠️ 思维链不能被监督，而它正在退化（[01:08:24]–[01:10:28]）："推理模型一出来，Jakub [Pachocki] 就非常非常明确地说过：我们不能监督思维链。" 但 "我们已经看到思维链可监控性正在退化的迹象"——模型正在变得更能控制自己的思维链。详见 LLM 安全。

⚠️ RL 为什么比理论预期有效得多：本页迄今最清楚的一次机制解释（2026-09-11）¶

来源：Dwarkesh 三人辩 RSI

Dwarkesh 复述了一年前的怀疑（[01:17:43]）：John Schulman 有篇论文指出 RL 每个 episode 只学到一个 bit（对或错）；他自己写过博客说"比这还糟"——pass rate 低时几乎什么都学不到。 "但我看今天的模型，它们相当聪明，而这看起来就是 scale RL 的结果。"

三层解释（Beren Millidge，[01:18:43]–[01:21:48]）¶

⚠️ 功劳有一大块属于 mid-training：很多被看作 RL 成就的东西来自很好的 mid-training 数据（本质是在合成推理数据和各种环境上继续做预训练，把模型热启动到适合 RL 的状态）。"这常常已经把模型带到最终 RL checkpoint 的 80% 处。" 于是 RL 在上面做的事基本是微调策略——这正是它不需要那么多 bits 的原因。
⚠️ 那一个 bit 的信噪比极高（本节最该被引用的一条）：关键不是"SFT 里没有那个 bit"——SFT 里你照样在答案 token 上做了监督；关键是 RL 的目标函数忽略了其他所有 bits。 在 SFT 里你必须匹配另一个模型产生的确切推理 token，也就是拿到了太多关于"它具体怎么推理"的 bits，真正的信号被淹没。RL 只拿那一个 bit，所以训练期信噪比戏剧性提升——这才是 RL 在步数上如此高效的原因。
⚠️ 少量 bits ≠ 小影响："一个 bit 就能排掉半个假设空间，这是巨大的。"

⚠️ 泛化的真实形状：不是横向，而是视野（Charlie O'Neill，[01:21:48]–[01:23:54]）¶

大家原本期待 RL 把推理横向泛化到各领域，而这没有拿到——"只训数学不会让你成为最好的程序员，代码环境该做还得做。"
⚠️ 真正拿到的是 horizon generalization：模型学会用更多 token 撑更久、并且仍在任务上取得进展；可以在越来越长的环境上训，再扔进全新环境——推理模式可能没迁移，但"能继续撑下去"这个能力迁移了，而它与成功率相关。 证据：EdgeBench 显示模型能持续工作的时长每三个月翻一倍。
为什么感觉是质变：用预训练的 quanta 视角——单任务上看是相变（某个金融或 Excel 任务的 pass rate 从 0.5% 跳到 90%），平均起来加上视野泛化就成了"模型质的变好"。⚠️ Millidge 补充：瞄准的环境数量也大了太多——"两年前你日常做的某件事，实验室根本不在意。"
⚠️ 熵与创造力（[01:25:56]–[01:27:59]）：RL 之后输出多样性显著变低、养出 tics（"做分布分析会发现它反复用同一批主题、同一批人物名"）；⚠️ 但 Millidge 主张这是数据与 judge 的问题，不是 RL 的问题——"熵崩塌很大程度上源于环境多样性不够时，模型去利用相当简单的 verifier……这真的是 judge 的问题。"

⚠️ 持续学习在微观层面全线崩塌：一组很具体的失败现象（2026-09-11）¶

来源：Dwarkesh 三人辩 RSI

宏观有效、微观崩塌（[00:55:07]–[00:56:09]，Charlie O'Neill）：在足够大的规模、足够大的 batch、噪声被洗掉时，"把数据灌进 mid-training + 自己造环境"这个外循环确实能在某种持续学习的意义上工作；但一个模型为一家律所做小数据量反复更新时——
只在成功轨迹上 SFT（on-policy 或 off-policy 都一样），做到几百次微更新就出现灾难性遗忘：更早学在底座上的信息被忘掉、通用能力退化。
on-policy 蒸馏能把这个视野往外推一点，但最终仍屈服于同一件事。
⚠️ "RL 擅长把能力弄进去，不太擅长把知识弄进去"——"这个人在这家律所负责这件事"这类显式知识，得倒进大量算力去造对的环境才进得去。
⚠️ 机制解释（[00:56:09]–[00:57:13]）：SFT 乃至 on-policy 蒸馏太具破坏性；RL 之所以好，正因为它对模型改动极小（只在很小的 loss 谷里轻推）——但这同样限制了 RL 能改多少东西。
⚠️ "不是容量不够，是技术不行"（[00:57:13]）：把同样多的数据放进 mid-training、拿同样大小的模型从头预训练，结果会更好——"我认为这就是今天正在发生的事。" Millidge 归因为可塑性与灾难性遗忘的组合：朴素地在非稳态数据上训练会打乱数据分布，旧的东西就被忘了，而我们没有好方法阻止。
今天能做到的中间态（[00:58:15]–[00:59:16]，John Schulman）：在预训练底座上做很好的、近乎连续的 mid-training，再从较晚的 checkpoint 做 RL——"这看起来更像持续学习了，但绝不是'拿最新模型做几个很小的更新、迭代中永不丢失任何东西'"；而一直 mid-train 同一个底座会在某点渐近饱和，这正是人们最终去训新底座的原因。
⚠️ 经济压力会先推向可插拔模块（[00:52:02]–[00:54:06]）：企业不会愿意让模型提供方从自己的部署里学习，所以先走 LoRA、线性注意力、cartridge（被训得高度压缩的 KV cache）；Millidge 给的加速路径是三个月一版 → 一周 → 一天 → 一小时。⚠️ Dwarkesh 的反驳也记在这里：就算只有 cartridge，你照样可以把所有 trace 倒进下一代的预训练。

⚠️ 数据 vs 架构：一条被跟踪了一个月的实验出结果了（2026-09-11）¶

来源：Dwarkesh 三人辩 RSI

✅ 本库在 2026-08-11 把它记成一条可跟踪的项目，现在有结果了（[01:05:19]–[01:07:26]）：Dwarkesh 与普林斯顿学生 Jerry Han 把 2019 年至今所有训练配方 × 所有数据集两两配对跑完（GPT-2 配 Ultra-FineWeb；最新开源配方 Delphi 配 Pile 等）：

⚠️ 数据约 12.0 倍算力效率增益；架构改进约 3.7 倍。
⚠️ 但只累出 33 倍，而 Epoch 一类"每年 3 倍"的估计七年该有 2000 倍以上——少掉的约 100 倍被归给尺度依赖与 post-training；"实验起点规模极小"这条限定是他自己提的。
⚠️ Beren Millidge 的根本性反驳（本节最该记的一条）（[01:08:27]）：架构不是乘法式增益，它的作用是让你进入一个旧架构根本到不了的新状态区间——"如果连 GQA 都没有、一直做全注意力，一百万上下文会贵到不可能，于是你根本用不上真正处于百万上下文的那批数据，也就拿不到那些能力。" ⚠️ "在 2K 上下文上做'架构值多少'的朴素测量，架构什么都没解锁，数据看起来就会比它实际上更重要。"
尺度依赖的方向（[01:09:27]）：Millidge 认为现在的 mid-training / post-training 数据随规模变得更好（长视野环境本来就需要大模型才用得上）——"拿 SWE-bench 的轨迹去训一亿参数模型，哪都到不了。" 他还指出 Kimi 与 DeepSeek 的架构改动不是冲预训练 loss 的基础权衡，而是冲"模型将来会怎么被用"、冲推理效率。

参数规模会怎么走（[01:10:27]–[01:17:43]）¶

⚠️ "Mythos 和 GPT 系列比人们传的 10 万亿参数小得多"（Charlie O'Neill）——依据是与开源模型朴素对比就能倒推；他预测未来几年参数不会大涨，因为瓶颈是环境不是容量，而 RL 的长 rollout 让推理效率极其重要。选型逻辑：模型大小取决于预训练数据量 + 手上 RL 环境的难度，理想是在最难环境上刚好拿到不错的 pass@1，再大就是白付推理钱。
⚠️ 稀疏性我们理解得不好（John Schulman）：参数与活跃参数是两种不同的资源；稀疏度确实升了但没理由认为会无上界地升；有论证说稀疏会让数据效率变差（同一件事可能得在多个 expert 上各学一遍），但这可辩；scaling law 的理论还不足以解释稀疏为什么有用。
⚠️ 历史纠正（Millidge）："我们并没有在过去几年里每年把模型翻一倍"——1T 参数模型已训了好几年（开源有过 Falcon），而极稀疏 1T 在 Google 就是 Switch Transformer：知识极好但推理极差；这几年一直在 100B–2T 区间打转。 硬件侧：总参数很依赖显存带宽与 VRAM，现在还有大量 H100 在用。
⚠️ 一条方向性反转（Millidge，[01:15:39]–[01:16:41]）：更大的模型本来在单个数据点上更 sample-efficient、泛化更好；今天用小而推理高效的模型是因为约束是算力而不是数据——如果算力不再是瓶颈，可能回到"欠饱和但很大"的模型。 他给的 Chinchilla 形状：参数拉到无穷，达到同一 loss 所需数据量下降不到 10 倍；而今天处在"数据太多"那一侧，是在过度训练，随着数据见底可能退回 Chinchilla 最优点甚至略偏欠训一侧。
⚠️ "bug 也有自己干净的 scaling law"（[01:17:43]）：Kaplan 漏了 cosine annealing、或没把 embedding 参数算进去（小模型上 embedding 占比不小），都会系统性地歪掉估计。

⚠️ 一条非自回归路线对本页前提的挑战（2026-09-18）¶

来源：No Priors / Stefano Ermon

本页此前的所有材料都默认自回归 + transformer。Stefano Ermon 的主张是这个前提在推理侧就有结构性问题（[00:08:09]–[00:10:11]）：自回归训练时并行、推理时串行，而串行负载极度 memory bound；扩散模型推理时的负载和训练时几乎一样。他把这类比成 2017 年 RNN → Transformer 那次转折的推理侧对应物。

对本页最相关的三条：

⚠️ RL post-training 的主要瓶颈就是生成 rollout，所以推理端 scaling 更好的模型，自动地在 RL post-training 上也 scaling 更好（[00:10:11]）。
⚠️ 他们必须自建 SFT / RLHF / RL 全栈，因为"你在 vLLM 或 SGLang 上跑不了扩散 LLM"（[00:19:18]–[00:30:26]）——⚠️ 这也说明本页记录的训练管线知识有多少是绑定在自回归这个前提上的。
⚠️ 数据效率可能是第二个优势（未确认）（[00:27:21]）："加噪再去噪"本质上在做数据增广（同一张图被许多带噪视图增广），文献里有证据说更数据高效——"如果这在规模上成立，那么在数据成为瓶颈的任务上就变得更有意思。"
同一条前提也有第三种攻法：见 AI for Science 里 Anima Anandkumar 的 neural operator 路线——攻的是上下文与分辨率，而不是自回归。

⚠️ "bitterest lesson"：三个北极星与 RLHF 的 mode dropping（Diogo Almeida / TypeSafe，2026-09-21）¶

来源：Latent Space / TypeSafe

说这些话的人在 OpenAI 做过指令跟随 / InstructGPT 方向，所以这是一份来自 RLHF 这条路线内部、而且自认对其后果负有责任的批评。

三个北极星的对照（本页最浓缩的一条）¶

（[01:22:56]）⚠️ RLHF = 取悦人类；RLVR = 优化基准——"凡落进 RLVR 这一类的东西，按定义就是基准，因为基准就是可程序化验证的简单输出"；RLCD（他对自己这类任务的命名）= 让它在程序化使用中可靠。

他特意澄清RLHF 这个词在他口中指什么（[00:26:15]–[00:29:17]）：不是 PPO 那个算法（"DPO 及其后代不用那个算法，但也在做 RLHF"），而是"指令跟随"这个任务本身——"是设定'这个方向有价值'这件事"。
⚠️ 他对 RLVR 的分量评估：只是"一个很小的方向性编辑"——"在我看来是 0.2 次，这还算宽容"。按他的记法，LLM 史上的任务级转向总共约 2.2 次。
⚠️ 他对 RLVR 的另一条技术澄清（[01:44:18]）："RLVR 并不真的是关于'可验证的奖励'……重点是整套东西的形状，其中推理被当作潜变量：做事时让模型在中间想干什么就干什么，以便尽可能强大。"

mode dropping：他认为被忽视的 RLHF 下行代价¶

（[00:07:05]–[00:10:07]）这段同时回答了"为什么 LeCun 那张错误累积图经验上不成立"：

他说自己相当认同 LeCun 的多数判断，但那张"LLM 必然失败"的图"数学上显而易见，经验上明显不成立"。
断点：mode covering / 校准良好的分布不会因离群值被过度惩罚——你本来就预期一部分时间在分布外。GAN 之前的模型生成模糊图像就是这个代价；GAN 则 mode drop，丢掉少数类。
搬到语言模型上：要生成很长的串而不出错，模型必须极度保守，因为错误很容易被看出来、而"看起来对的微妙东西"很难。⚠️ 结论："这种校准是对字符串概率分布的彻底毒害"，所以 string 模型做决策很糟。
⚠️ 他把 RLHF 的一串已知症状接到同一机制上（[01:53:24]–[01:54:25]）：谄媚、过度自信、幻觉，以及排行榜上得分高的那种风格（加粗、斜体、表情、不直接回答而是长篇再反问），"你必须失校准、必须 mode drop、必须过度自信，才不至于翻车——因为奖励模型一看到错误就重罚"。

数据观：不训用户数据，以及"过拟合到当下"¶

（[00:23:14]–[00:25:15]）

⚠️ "在我这儿，模型能力就等于数据"；他们在"无限招数据人"（内部称 model capabilities，因为"data 在这行业几乎是个贬义词"）。
⚠️ 即便能拿到，他们也不训用户数据：真实世界数据偏得厉害——人们问同样东西有幂律分布，训上去会过拟合并撕碎模型。
更根本的理由是时间尺度：他们要的是"几年后模型成为深埋在栈里的通用基础设施"那种用法，⚠️ "即使我们拥有当下的全部数据，也只会过拟合到当下"。
数据人在做什么：像艺术家一样研究这个 cognitive core，找出 jaggedness，然后以能泛化的方式逐处外科手术式修补（⚠️ "我们的 cognitive core 比任何人的都更不 jagged"）。

两条关于训练分工的立场¶

⚠️ "如果你给我十亿美元，我不会去预训练"（[01:50:22]）：太贵；他宁愿"切片、拼接、各种折腾"——"Frankensteining 不是最优雅的事，但它解决问题"。
mid-training（[01:49:21]）：⚠️ "都是一个连续谱……说到底是省钱的事，省得重新预训练"。他真正感兴趣的是能力如何被逐步烘进模型——短期是微调式的快速对齐，长期是反复看到后越来越深地固化；而"最终变得稳健的那部分，正是 system one 的东西"。
system 1 / system 2 的边界他认为是经验问题（[01:20:54]–[01:22:56]）：⚠️ "这是个经验问题，就像 scaling law 是经验问题一样"；他的判断是预训练得到的压缩智能本质上是 system one 思考者，而 RLVR 为 system 2 做出了惊人成绩但产物极其脆弱——⚠️ "数学不只是尖峰状的，它是分形的"。
他对 scaling law 的措辞（[00:10:07]）：scaling law 只告诉你投入多少换来多少，而"指数级资源换次线性收益看起来是笔坏投资——除非那点线性收益极其值钱"。

⚠️ "模型训练自己的替代品"：把蒸馏放进运行时（Amjad Masad，2026-10-03）¶

来源：a16z / OpenRouter × Replit

⚠️ 本页此前关于蒸馏与小模型的材料都把它当成一次离线的工程动作。 ✅ Masad 这一条把它放进了运行时，而且触发者是模型自己——本页认为这是本页第一次有人把"训练"写成一个在线的、由模型发起的步骤。

⚠️ 他先指出一个话题缺口（[00:30:27]）："关于递归自我改进有很多讨论。但有一件事我觉得讨论得不多——模型训练它们的替代品。"
⚠️ 类比是 JIT 编译器（[00:31:30]）："just-in-time 编译器的工作方式是，当你在执行动态代码时，解释器意识到有一个优化机会，就当场发出一段优化得多的机器码。"
⚠️ 对应到模型的那条链路（[00:31:30]–[00:32:30]）：用 Opus 或某个 Astra 这类大模型做事 → 它（或某个在旁观察的 agent）意识到这个用例是受限的 → ⚠️ 当场训出一个替代自己的、领域专用得多的模型。三项收益：更便宜、"对 prompt injection 的脆弱性更低"、"因为它能力更弱，所以危害也更小"。
⚠️ 他明确把通用模型的风险当作动机的一半，而不只是成本："通用 agent 有那些缺陷，但也有更大的潜在危害，更有可能脱轨。" ✅ 本页标注：这使"蒸馏"第一次同时成为一项安全措施——而安全收益恰恰来自能力下降，这与本页其它条目里"能力越强越好"的默认方向相反。
系统形态（[00:32:30]）："几乎像是某个系统在监控整个系统的同时，为具体用例训练机器学习模型。"
⚠️ 输出形态两类都行，但可行性条件在输入（[00:32:30]）："像 Jev 那种情况，如果你提前理解输入，你可以拿一个现成的 Qwen 之类的，专门为那条政策训它。出于成本原因这是值得做的。"
⚠️ 他自己给了一条削弱条件，本页认为这是整条主张最可能失效的地方："前提是前沿模型实验室不会做出非常低成本的模型，让你很容易就转过去。" ✅ 即：这条链路的价值取决于前沿实验室的廉价档定价，而那不在采用方的控制范围内。
⚠️⚠️ "用核弹打蝴蝶"是这条的落点（[00:33:33]）："它们太能干了。人们常常在用这些大的、基础的、AGI 级模型去做——就像用核弹打一只蝴蝶。大多数时候、很多用例，哪怕是非结构化的用例，都不需要那么能干的模型。"
⚠️ 而他给出的可被检验的时间线是一条产业史类比（[00:43:48]–[00:44:50]）：90 年代 Java / C++ → Python / JavaScript / Ruby 占领互联网 → 撞上严重 bug 与性能问题，加类型、加 JIT，把一切重新发明一遍 → Rust。⚠️ 预测："同样的周期会在这里发生：我们现在用这些 AGI 级模型做各种用例，然后所有人会醒过来说，天哪，这太浪费了、毫无必要地冒险。" ⚠️ 他给的落地形态很低："去一个网站上传一个 CSV 文件，拿到一个只做一件事的专用模型。"
✅ 本页标注这条与 Almeida 的 system one 主张的关系：Almeida 讲的是这类模型该怎么被设计（被代码消费、拒绝 reasoning）；Masad 讲的是它们该怎么被自动生产。 本页认为两条合起来才是完整的一条产线，而生产侧此前在本库是空的。

⚠️⚠️ 一条来自实验室外部、对"推理时计算能否替代训练"的反证，以及"数据换算力"（Periodic Labs，2026-10-08）¶

来源：Latent Space / Periodic Labs

⚠️ 本页此前关于"训练 vs 推理时计算"的材料多来自前沿实验室自己。这一节是一家自治材料实验室公司（嘉宾合页见 Periodic Labs）从外部给的一条论证，而本页认为它的形式特别干净：它是一个揭示性偏好论证，不是技术论证。

⚠️⚠️ 原文（[01:00:36]）："把一切压缩进权重这件事仍然非常有价值。如果推理时推理就够了，所有前沿实验室都会在 GPT-4 那里停止训练，然后说好，从现在起我们只在推理时的改进上变得很强。"
✅ 本页认为这条值得长期引用，因为它不依赖任何内部数据：它只依赖"前沿实验室还在继续训练"这个公开可观察的事实，然后把它当作那些实验室自己的判断来用。
⚠️ 他们自己给的领域限定："因为物理科学与机器学习之间的差异，把那个压缩进我们自己的权重会带来不同类型的系统和不同类型的能力。"
⚠️ 而他们为什么自训（而不是只调 API）给了两条理由，本页认为第二条比第一条重要（[00:54:32]–[00:55:33]）：
① 常规理由："有很多领域延迟太高、成本太高。"
⚠️⚠️ ② 非常规理由："但在某些情况下，因为能拿到这些数据，我们其实可以推到这些系统能做到的前沿之外——即使在最高推理努力（highest reasoning efforts）下。所以它不一定只是关于成本或帕累托效率，而是在某些情况下，当你能拿到别人没有的数据时，你可以推到它之外。"
⚠️⚠️ 而他们给的统一口径本页认为是这一节最该被记住的一句："一种描述这件事的方式是用算力效率：因为能拿到这些数据，你可以比某些前沿模型算力效率高得多，而这在我们的项目里是真正关键的一件事。"
⚠️ 他们说模型是开源闭源混用，并明确说在仿真/ML 栈这一侧"我们不需要在那个轴上推"。
⚠️ "钟摆正在往数据那边摆"这条判断本页记为主持人提出、嘉宾附条件同意（[00:55:33]）：主持人的表述是"数据质量或数据获取作为算力的一个权衡……我觉得钟摆现在可能正在往数据那边摆"；⚠️ 而嘉宾的附加条件是一条很硬的限定："尤其是说到实验数据的噪声底——我们需要有高质量数据。如果你把巨量算力扔到一堆噪声上，不会有好东西涌现出来。"
⚠️⚠️ 而本页认为这一期对训练流程最可迁移的贡献其实在数据侧，而不是在"训练 vs 推理"这个老问题上（[00:13:05]–[00:14:05]）：他们描述了一个具体的 RL 失败模式——预训练记忆导致的 fake work："如果预训练模型已经把其中一些数据背下来了，然后你在上面做 RL——如果它已经知道答案，而你构造的任务依赖那个答案，它就会假装在工作。它不需要做难的推理就能到达正确答案；然后你强化了那个策略，而那些推理策略不会泛化到新系统上。"
⚠️ 他们的解法是按世界状态打时间戳：用"到某个日期为止的证据"构造环境，问"接下来那个选择/结果是什么"。✅ 本页认为这条方法与材料科学无关，凡是"用历史数据构造 RL 环境、而预训练语料可能已包含答案"的场景都适用，值得作为一条通用注意事项记住。 ⚠️ 详细展开见 AI 与科学发现该节。

⚠️⚠️ 本页第一份可引用的预训练/RL 配比：RL 的 flops 超过了预训练（Reflection AI / Beam，2026-10-09）¶

来源：No Priors / Misha Laskin（Reflection AI 联创兼 CEO）

⚠️ 利益相关：这是一家刚发布第一个开放权重模型的实验室 CEO，全部数字为他口述、本库未核实。✅ 但本页认为这些数字能被公开本身有一条机制性解释，他自己说了（视频页 [00:08:08]）："身为一个开放模型实验室的好处是，你也可以公开地谈这些事。"

⚠️⚠️ 一、那份账本¶

模型规格（视频页 [00:12:11]）："Beam，一个 5000 亿参数总量、230 亿激活的模型。"
预训练："6,000 张 GB300，我想我们跑了几周；但现在有了基础设施上的效率，我们大概 12 天就能做完，可能更少。" ⚠️ 他自己点出这是两种效率的叠加："所以这里有科学效率与基础设施效率的耦合。"
⚠️⚠️ RL："强化学习是一万多张 GB300 跑四周。所以实际上花在强化学习上的 flops 更多。"
⚠️ 他给的原因是作业形态不同："强化学习作业更复杂，因为你要同时做大规模推理——带着各种给 agent 用的沙箱——以及训练。"
✅ 本页标注：本页此前收过多份"算力正在从预训练转向后训练"的说法，但没有一份给出可引用的配比。这是第一份。 ⚠️ 而它的限定必须一起带：这是一个追赶者在特定世代上的配比，不能外推成前沿实验室的普遍配比。 ⚠️ 参照口径是他对 2024 年前后的描述（[00:04:03]）："那时候 95% 的算力花在预训练上，所以它们主要是预训练模型。"

⚠️⚠️ 二、本页认为本期最重要的一条：必须自己预训练，RL 才能在规模上工作¶

⚠️⚠️ 那条判断（视频页 [00:07:08]）："还有研究上的理由——结果发现你确实需要预训练你自己的模型，才能让强化学习在规模上工作得很好。所以你确实得做这件事，这些东西耦合得太紧了，你两件都得做。"
✅ 本页认为这条的分量在于它是这家公司最初赌注被推翻的那一条，而不是一条事后合理化。 ⚠️ 他自述最初的计划恰恰相反（[00:05:05]）："我们当时认为会有一个很好的开放模型基座，某个人会建出来、我们可以建在上面做我们的研究、把强化学习扩大。"
⚠️ 而他们最初的赌注本身值得记，因为它是一条关于 RL 迁移的具体假设（[00:05:05]）：在 Gemini 的 RL 团队看到 "RL 用于对齐 chat 模型是有效的"，于是 "我们就想，如果你把那个拿去应用到数学、编程这类领域，你就能让这些系统变成 agentic"。
⚠️ 他自述对时间的判断错了，而错的方向是太慢（[00:06:07]）："我们其实以为会花更久，因为从 2012 年的 ImageNet 到在规模上有效的 RL 系统大概花了四年。所以我们以为可能类似；但每一年都比我前一年的预测走得更快。" ⚠️ 他点的外部标志是 o1 在那个时期发布。

⚠️⚠️ 三、"RL 从未停止学习"：问题的性质从技术变成了经济¶

⚠️ 他的参照是 AlphaGo（视频页 [00:13:11]）："AlphaGo 里有一张图，它就是从来没停止改进——他们只是在某个点把它截断了，因为再改进有什么意义呢？你已经打赢世界冠军了。"
⚠️⚠️ 而他说这个条件现在在通用系统上也达到了（[00:14:12]）："我们这个强化学习系统从来没有停止学习。如果你看我们的曲线，它们就是一直在往上走，而这基本上只是一个算力问题。"
⚠️⚠️ 结论是问题的性质变了，本页认为这是本期最该被长期引用的一条："但那意味着你从'你能不能训练出这些东西'，移到了'你能从哪里拿到数据'以及'什么是经济上有价值的'——而这就只是一个经济决策：我往 X 里投多少钱，来换取某种程度的改进。" ⚠️ 他自己加的那句是 "这在不久前还不是真的"。
⚠️ 本页标注：那条曲线的依据在技术报告里，而本期录制时技术报告尚未发布，所以这条目前是自述。
⚠️ 他对"推理效率"给的机制本页认为该一起读，因为它把效率解释成 RL 的副产品而非单独的优化目标（[00:20:18]–[00:21:18]）："强化学习你倾向于这样设置：你想在最少的时间里榨出最大的能力。而这和 AlphaGo 一样——最早的 agent 在解问题的方式上相当迂回，而到它达到李世石水平时，它的搜索就是非常聪明的。所以你跑的强化学习越多，能力越高、而这些系统解题也越快。"
⚠️ 他顺带纠正了一个关于 AlphaGo 的常见记忆（[00:21:18]）："我们忘了最早的 AlphaGo 系统是在专家级业余人类棋局上训练的。所以它们先做了模仿学习，然后才是强化学习。" ⚠️ 他用这条支持自己的组合——强基座 + RL 两者都要。

⚠️ 四、两条扩放余量判断，与"硬件彩票"¶

⚠️ 他给的扩放轴线是三条（视频页 [00:15:15]）："预训练、合成数据、强化学习"，另加架构、数据、算法改进。
⚠️ 余量判断不对称（[00:16:15]）：预训练 "我没看到你能从更好的预训练里榨出多少的渐近线……我们没有看到算力效率收益在放缓"；RL "有很大很大的余量，那一条大概有很多东西可以被发现"。⚠️ 但两者的性质定性相同："它又一次感觉更像是工程上的发现，而不是对一门新科学的突破性理解。"
⚠️⚠️ 而他给的那条"研究为什么收窄了"的机制本页认为该被保存，因为它解释的是方法多样性的丧失（[00:15:15]）："它感觉不像五年前那样是个 Wild West。DeepMind 和 Google Brain——甚至你看早期 OpenAI——有一种很美的东西，就是赌注有多么多样，人们在做各种疯狂有趣的东西。而现在它真的收窄了。"
⚠️⚠️ 收窄机制是硬件彩票："一旦某样东西开始有效，硬件也开始围绕它协同优化，于是即使你有一个很棒的新想法，如果它和硬件不太合，就更难出头……它就说不通。" ✅ 本页标注：这条与 Pat Gelsinger 的"负载会往回走、所以不该过度专用化" 是同一耦合的两侧读数——⚠️ 一个担心硬件协同优化压住新算法，一个担心负载变化惩罚专用硬件。
⚠️ 他对"大规模才涌现"给了一条研究实操上的两难（[01:01:56]）："有意思的一点是，有些有意思的东西在你到大规模之前根本不会涌现。所以这里有一点艺术也有一点科学——我是要投更多算力去弄清下一个东西，还是去做下一个想法。" ⚠️ 他们的排序原则是："你想先穷尽所有你知道有效的高影响力的东西，然后再开始扩张一些风险敞口。"

⚠️⚠️ 五、"AI 做 AI 研究"的两个效率数字，本页明确不合并¶

⚠️ 人类基线（视频页 [00:11:08]）："当年只是人类研究员在做这件事时，大概每年有 7 倍的改进。" ⚠️ 他强调这条可被技术性追踪："在预训练里你用预训练损失来做——你做了一些改动、有了新的预训练损失，而它应该是你用更少的算力到了同一个点。所以当你说 7 倍，它其实是一个你在研究的非常具体的东西。"
⚠️⚠️ RL 一侧："预训练大概更硬化一些，但强化学习里有很大的余量——我们大概处在，取决于你的模型有多好，30 倍那种效率。" ⚠️ 主持人追问"每年 30 倍？还是相对什么？"，而他的回答是："差不多吧，我是说这取决于你看的是什么指标。" ✅ 本页认为这次追问与这个含糊的回答都该保留，因为这个数的口径到最后也没被确定下来。
⚠️ 而他在后面给了一次更保守的版本（[01:03:57]）："之前当它只是手工活的时候，年度改进率大概是 7 倍，而现在是那个的好几倍——比如说大概四到五倍。"
⚠️⚠️ 本页标注：[00:11:08] 的"30 倍"与 [01:03:57] 的"7 倍的四到五倍"不是同一个口径，本库不合并、也不替他取一个数。 ✅ 本页认为这组数字值得跟踪而不是引用——它是本库在 AI 做 AI 研究这条线上少见的量化口径，但口径本身不自洽。

⚠️ "大部分工作是去找到那条 scaling law"，以及归纳偏置的转折点（Pushmeet Kohli × Sal Candido，2026-10-10）¶

来源：Latent Space / Pushmeet Kohli（Google DeepMind）× Sal Candido（Biohub）

⚠️ 形态提示：⚠️ 这是一场会议现场的圆桌（33 分钟），全期没有任何可独立核验的训练数据。 ✅ 本页按概念性讨论收录；完整语境在 AI for Science。

⚠️⚠️ 本页此前把 scaling law 当作前提，而这一条把它变成了要去寻找的对象（视频页 [00:01:02]）："我认为关于 scaling law 的一个误解是，scaling law 到处都有、而且它们总是存在。我认为很多工作其实是去找到那条 scaling law。"
⚠️ 找到之后才是工程（[00:02:03]）："去弄清楚：在什么情况下，如果你往里投更多算力、投更多数据，你真的会得到一个更好的结果……一旦那样了，你基本上就可以转曲柄了。"
✅ 本页标注：这条改变的是"要不要 scale"这个问题的提法——在没有找到 scaling law 的区域里，投算力不产生可预期的回报。
⚠️⚠️ 归纳偏置的价值与失效条件，本页认为这组是本期对本页最直接的贡献：
⚠️ 价值侧（Pushmeet，[00:11:10]）：把科学先验"烘进去"（AlphaFold 2 里是"氨基酸残基在被其它残基影响"），⚠️ 而机制是 "它确实让模型的数据效率高得多，因为它不必把所有东西都重新复现一遍"。
⚠️⚠️ 失效侧（Sal，[00:13:10]）："如果你有比较少量的数据，那在模型里有更多归纳偏置肯定会帮到你——而你其实需要它才能在更小的数据规模上拿到结果。随着你得到越来越多数据，你会看到模型有时能找到你并不一定知道的东西，而那个归纳偏置如果不完全正确的话，反而会拖住你。所以随着东西变好，确实存在那个转折点（tipping point）。"
✅ 本页标注：注意条件是"如果不完全正确"——⚠️ 他并没有说归纳偏置总会变成负担，而是说它的正确性在高数据区会被检验出来。本页认为这个限定在引用这条曲线时经常被丢掉。
⚠️⚠️ "big data vs good data"：Pushmeet 把数据工作也定性为手艺（[00:12:10]）："策划好数据本身就是一门手艺。如果你只是把同样量的数据复制一遍，你哪儿也去不了。所以它不只是 big data，它是 good data。而真正理解什么数据的覆盖度对在这个问题上取得进展是必要的——这其实我会说是一个更有意思、也更有挑战性的问题本身。"
⚠️⚠️ 而 Sal 的 metagenomic 案例给了"质量"这个维度一个反例，本页认为它与本页既有的数据配比讨论不同向（[00:03:04]–[00:04:04]）："我们训练在 metagenomic 序列上——那不是最高质量的数据。事实上我可以向你保证，那里面很多数据甚至不是一个真正完整的蛋白质。然而它让模型在设计真实、能工作的蛋白质上的表现变好了。"
⚠️⚠️ 而他对"数据"这个词的替换本页认为是本期最值得记的一处用词修正："它更多是信息（information）而不是数据。你怎么拿到模型需要的下一批信息？" ✅ 这与他自己的案例自洽：那批数据质量很差（作为数据），但带来了新的信息（作为信息）。
⚠️ 他同时点了反面："但那也能把你带到一个负面的地方，就是你说：那我们就把那些容易生成的数据规模化吧。而我认为那不一定是该做的方式。"
⚠️⚠️ 而他那条架构观察需要被精确引用，因为它常被读反（[00:14:11]）："我们其实看到事情正在越过 transformer、走向更定制（bespoke）的架构——而我完全不认为我们处在一个后 transformer 的世界里，但我们在修改那些架构，让它们更适配目的、即使在互联网规模的数据上也能工作得更好。"
✅ 即：他说的是 transformer 正在被按用途改造，而不是被替代。 ⚠️ 本页认为这应与本页既有的几条替代提案分开读（扩散路线、递归语言模型）——那些是替代方案，这条是对现状的描述。
⚠️ 他也明确反驳了"规模化不需要手艺"这个框："我也有点反对你的问题，因为我认为规模化这件事本身其实也有很多手艺"，依据是算法工作与基础设施/推理速度两层。
⚠️ 而 bitter lesson 在这一期得到了本库此前没有的第三种读法（[00:05:04]–[00:07:05]，Pushmeet 自述在 DeepMind 现场听过原讲；⚠️ 稿中只有名 "Rich"，本库保留原样）："有时候当我们看问题时，我们会以一种非常宗教式的方式去想解法。'我是个建模者'，或者'我是个数据生成的人'……如果你带着那种心态去接近问题，你可能不会成功。" ⚠️ 落点是 "问题先行，而你在解法空间上应该保持灵活。两种都该试。"
⚠️ 他对当年机器学习圈的批评很直接："人们说：我们是机器学习研究者。数据集就在那儿，这里是训练数据、这里是测试数据，而我们只优化模型——而那是坏掉的。"
✅ 本页标注：这与本页此前收录的两种常见读法（算力终将胜出、人工先验终将被冲掉）都不同，⚠️ 而他的依据是在场听过原讲。本库记为一份有特殊来源的解读，不裁定哪一种读法更接近原意。

⚠️⚠️ 一个物理接地、可即时查表的 RL 环境是怎么被构造出来的（Ian Quigley / Leash Bio，2026-10-14）¶

来源：Latent Space AI for Science / Ian Quigley（人物页：Ian Quigley）

⚠️ 本页此前关于"RL 环境从哪来"的材料多在代码与数学这类反馈天然廉价的域；而科学域的材料（Periodic Labs、Lila Sciences）都受物理时间限制。 ✅ 这一期给的是第三种形态：先用池化筛选把一大片测量做完，再把这批已测数据当成一个可即时查询的"湿实验室"。
⚠️⚠️ 构造（[01:16:40]–[01:18:42]）：
表示层：用可读、可解释的英文表示小分子、蛋白质及其行为；底座是开源语言模型（点名 Qwen 与 GLM，另见中美 AI 竞争）。
课程三步：① "这是一个结构，用自然英语描述它"；② "给我这两个非常相似的分子之间的 diff，用自然英语"；③ 给 binder 与非 binder（配 hard negatives），要它把"为什么结合"写成可读英文。
⚠️⚠️ 循环：给 10 个 binder + 10 个非 binder（彼此接近） → 模型提出"为什么结合"的假设 → "这里有一个几百万分子的目录——你挑 5 个或 10 个，去检验你的假设" → 它查已收集完的数据、⚠️⚠️ "立刻拿到答案，就像一个 coding sandbox" → 更新假设。
配置与产出：100 个分子的预算、"大概 100 到 200 次调用"的多步推理，从 650 万个分子里拿最好的 binder；⚠️⚠️ 产出速率的对照是"医药化学家一辈子见几十次、也许 50 次 SAR 战役"vs "上周末我们拉出了 1 万多次"（[01:21:42]）。
⚠️ 再上一层：因为 activity cliff 式改动是因果、可复现可测量的，"你也可以用这些轨迹来产出 reasoning traces，而且规模相当可观"。
⚠️⚠️ 而本页认为最该被迁移的是那条必要条件，因为它是关于环境覆盖而不是关于奖励的（[01:22:43]）："你还必须把那些人类不会做的选择也包含进来——因为我们是在所有蛋白质上测所有分子。" —— ⚠️⚠️ "它必须有反事实。它必须犯错，而且你得确保那些错误、或者未来可能的错误存在于数据里，而且存在的方式不会偏向让它去学化学家的社会学指纹。"
✅ 本页标注：这把"环境够不够好"的判据从"奖励信号准不准"挪到了"覆盖是由谁决定的"。 ⚠️ 池化筛选（一个管子里所有分子对所有蛋白质）之所以能当环境，不是因为它大，而是因为没有人挑过要测什么——于是人类工作流的偏置在构造上就不存在；代价是只能做可池化的那类测量。 ⚠️ 这条缝合是本页的综合，他本人没有把这两段明确接起来；他关于"人类工作流偏置"的那半在 AI for Science。
⚠️ 他对"为什么不直接放大专用模型"给的理由只有一句，本页按断言记录（[01:19:42]）："我们认为它对记忆化问题抵抗力强得多"——加参数也会把突变体背下来，而 "用自然语言是这个问题上一个相当好的正则化器"。⚠️ 期内没有任何支撑这条的量化对比。

⚠️⚠️ "很多 reward hacking 是这条供应链的下游产物"：本页第一条把模型行为缺陷归因到数据采购市场的论证（Nathan Lambert，2026-10-14）¶

来源：a16z / Nathan Lambert（人物页：Nathan Lambert）

⚠️⚠️ 一、因果链：赚钱机会太多 → 偷工减料 → reward hacking¶

⚠️⚠️ 原话（[00:28:10]）："我个人认为这场 RL 环境大爆发里，赚钱的机会太多，于是有很多人会偷工减料——而这会诱发出像 reward hacking 这样的东西。"
⚠️⚠️ 而他给的失败场景很具体，本页认为这是最可引用的一处："模型太聪明了——如果你把它放进一个世界，它的任务是解决这个问题，但他们给它的那个测试文件里其实是一个空文件、而不是它该导航的那个迷宫，于是模型就会想'那我还是该想办法拿到高奖励'。" → ⚠️⚠️ "我认为很多这种行为是这条供应链的下游产物。"
✅ 本页标注：本页此前关于 reward hacking 的材料都把它当作模型侧或奖励设计侧的问题。 ⚠️⚠️ 这一条把它定位成一个采购市场的质量问题——即同一个行为缺陷可能需要在供应商而不是在模型上修。
⚠️⚠️ 而他点出的那条激励错位本页认为该被评估与基准一起保存（[00:29:11]）："有意思的是看到实验室那边对消除 reward hacking 的需求、以及那些公司的研究员在上面花那么多时间；而所有数据公司那边是'买我们的数据'，而我觉得按比例他们在模型行为上花的时间更少、在世界构建和收入上花的时间更多。这两方得以某种方式碰到一起，才能真的做出更高质量的数据。"

⚠️ 二、买来的数据有多脏：三条他自己给的观察¶

⚠️ 命中率："但人们在买的那些数据相当有缺陷……方法是你大批量地买，然后搞清楚什么有用，而命中率不是 100%。" ⚠️ 他的总体定性是两面："一方面数字太大、质量不好；另一方面实验室改进得非常快、也知道怎么把它吸收进来。"
⚠️⚠️ 供应链卫生（[00:30:12]）："如果你深入细节，你会在那些用海外外包人员的数据公司那里发现一些怪事。那些人是通过一个中间商来的。他们不知道自己在卖东西。他们就直接把它上传到 GitHub。" ⚠️ 他的定性是 "如果你在数据产业里四处翻，会发现很多粗糙的边角"、"而它还非常早期"。
⚠️ 他对自己的反应是坦白的："我对这件事还处在否认里。我就想，这些数字太疯狂了——环境上数十亿美元的研究预算。" ⚠️ 而他承认信号是真的："他们只会因为这确实在帮模型、而且他们看到了那个信号才这么做。"
⚠️ 他对合成数据的边界给了一句有用的澄清："所有公司都在卖合成数据——他们用语言模型去修改或构建那个世界、或者生成它的各种排列。而如果有一个人在引导这个过程，它仍然是合成数据。" ⚠️ "所以几乎没有人会坐在 Blender 里给我们的模型手工做一个小世界。"
⚠️ 而本页记下他的时间预期（[00:31:12]）："所以我认为这会花几年去过渡——把真正的赢家拉到更高质量、更高 ROI……然后实验室继续跟他们合作，因为他们拿到更多训练信号、也需要做更少的内部过滤。"

⚠️⚠️ 三、前沿进展在非可验证领域里主要是买数据¶

⚠️⚠️ 原话（[00:24:09]）："我很主张：在那些不是完全可验证的领域里，很多前沿进展是靠买高质量的数据、以及给模型一些可以行动和爬坡的世界。" ⚠️ 他把领域切成数学/代码（可验证）与"其余一切"（知识工作、生物、医疗、法律）。
⚠️⚠️ 他对"涌现"解释的怀疑："他们大概会告诉我们那是泛化的魔法——噗。人们爱'噗一下就泛化了'。" ⚠️ 随即自己调和："而现实里大概是一部分 A、一部分 B，但很多都归结到数据上。"
⚠️ 内部视角："有些人的贡献方式是做一件非常窄的事——你做一个数据集，你搞清楚你的模型在那个领域里该有什么行为，你搞清楚怎么造出能得到那个行为的数据，以及你需要买什么数据。" → "我觉得我们会在不同行业上经历好几年这种事"，而这非常资本密集。
⚠️ 他对整条线的落点是一句："但根本上，AI 的进展是关于数据、以及写更好的软件来服务你的模型——而那是两个非常不同的世界。"

⚠️ 四、后训练已经糊成一片：一条关于复杂度的判断¶

⚠️⚠️ 本页认为这条该与本页既有的"中训练"材料并读（[00:48:22]）："它会糊进后训练、糊进这个中训练——你在那里开始推理行为、从你更老的模型里把它们拿过来、在它们上面做 RL、种子行为……这个循环比预训练复杂得多。" → "如果你没有对的人，把它跑起来比我认为预训练要难得多。"
⚠️ 而他对预训练与长上下文的协同演化给了一条具体收益（[00:47:21]）："如果你能让一个稀疏注意力架构同样好地工作，那你的 10 万 token 生成会快 40%。" ⚠️ 按口头估算记录。
⚠️ 他对 prompt 的定位本页认为值得记，因为它跨了两个时代（[00:10:04]）："prompt 一直是后训练的关键……在 AI2，我和共同领导后训练的 Hannah 总是说：prompt 是后训练的关键单位。"
⚠️ 价格曲线的量级推演（按口头推演记录）（[00:26:10]）："我认为模型的效率会在数年里成倍下降……如果大模型未来三年每八个月价格降一半……四年后它是 1% 的成本。" ⚠️ 而他把结论留成开放问题："他们会因为 Jevons 悖论而有更高的毛利，还是因为市场被填满而收入下降？"

⚠️⚠️ 一次完整的预训练路线自我纠正：从"全押高质量数据"到 all in egocentric（Lindon Gao / Dyna Robotics，2026-10-15）¶

来源：张小珺 #154 / Lindon Gao（人物页：Lindon Gao）

⚠️ 第一阶段的结论与现在相反，而且有实验支撑（[01:29:04]）：做 DYNA-1 时做了很多 AB test，"最高质量的数据本身就可以训出最好的模型" → "所以当时我跟团队说的就是说，你得 go all in on high quality data，然后我们就在那干干干。"
⚠️⚠️⚠️ 而他主动承认了当时的认知偏误，本页认为这是本库极少拿到的一种自述（[01:30:04]）："可是我就和业界的非常多的 LLM 也好、Video Generation 模型的人聊也好——其实当时我是 selectively 想听到我想听的东西。" ⚠️ 机制是他挑了支持自己的那半：对方讲的是"做 ablation、把一些数据拿出来之后预训练变得更好了"，⚠️ 而他用这个点去跟团队说 high quality data 最重要。
⚠️⚠️ 转念由做工作流触发，而落点是一条方法论判断（[01:30:04]–[01:31:04]）："最重要的是模型本身是否我们能给最 diverse 最广的 human experience；然后当我们达到一个 internet scale 数据之后，我们再去做 ablation study、再去 distill 这个数据才有意义。" → ⚠️⚠️ "我们在这个前提已经没有达到的前提去做太多的 quality optimization，我觉得不一定是第一性原则——至少说从语言模型层角度来看这件事情。"
⚠️ 第一性原则的完整表述："如果说我们想要达到 GPT-3、GPT-4 的一个机器人 foundation model moment，我们需要以最低质量数据去从中提取出可以 scale 的地方，而不是去 scale 一个高质量数据。"
✅ 本页标注：这条给"高质量 vs 大规模"这个老问题加了一个顺序约束——先到 internet scale，再做质量蒸馏；在没到规模之前做质量优化是提前优化。 ⚠️ 他的依据是语言模型侧的类比，而不是机器人侧的实验。
⚠️⚠️ 而选 egocentric 的那条论证本页认为该被长期保存，因为它把一个数据采集的战术选择等价成了一个技术判断（[01:31:04]）："我们要去 bet teleop，或者要去 bet UMI，或者说要去 bet 一些不是 egocentric 数据的形态本身——我觉得我们就是有点程度上面是在 bet 机器手不可以 work。" ⚠️ 而反方是 "行业的共识是 robot hands 本身是一个工程问题而不是一个 research 问题"（⚠️ 他没有给出处）。
⚠️ 选择方式是倒推终局："我们想来想去，都想不到任何比 egocentric 或 exocentric 会成为数据的最终形态。"
⚠️⚠️ 结果（自述，本库未核实）（[01:28:02]）："我们发布的应该是行业最大的数据集"；"在用人体第一视角数据的上面，是可以在 one million hours 的一个预训练集下面，我们发现了非常强的 scaling law 本身"。⚠️ 期内无任何曲线、指标或对比对象，他明说细节留到发布时讲。本页按自述记录，建议发布后回填核验。 ⚠️ 他把这件事称为一次"突变"，并说"过去 1 到 2 年绝大多数的 intelligence ceiling 一直很难破，因为大家都说数据是最大的瓶颈"。
⚠️ 资源配比的变化是这次转向的可核验表现（[00:56:38]）：⚠️ 去年年底"预训练后训练一半一半"，现在"预训练比后训练多非常多"。⚠️ 理由："一个模型的绝大多数鲁棒性是从预训练里面来的，而不是后训练" → "所以必须要自己预训练。"
⚠️ 他们是怎么确定"后训练到顶了"的，本页认为这条过程值得记（[00:51:33]）：在 zero-shot T-shirt folding 上试探"要在几个 environment 拿数据才能 zero-shot 泛化到新 environment"——⚠️⚠️ "这件事情其实我们当时以为是非常多的，可后面发现可能只要 10 多个场景其实就够了。" ✅ T-shirt 的大小、style、fabric 之间也有泛化能力，由此得出 garment diversity 与 environment diversity 两个方向的泛化 recipe → 结论是最重要的是 pre-training。⚠️ 而今年的变化他说"一点都不 surprising"："最本质的变化其实就是在 post-training 上面所需要的数据越来越少。"
⚠️⚠️ 预训练的两个目标他说得很明确，而第二条解释了产品决定怎么变成训练目标（[01:35:08]）：① decrease number of demonstration（"代表着我可以更快地部署"）；② ⚠️⚠️ language following——"language following 能力对我们来说，其实就是如何把工作流给拼在一起的一个基本链。"
⚠️ 而他对"真机派 vs 仿真派"之争的拒绝本页认为值得记（[01:33:07]）：他们仿真也有一部分，⚠️ "哪个好用就用哪个"；⚠️⚠️ "data mixture 其实没有必要去说我是仿真派还是我是真机派，我觉得全部是 training objective 来的"；⚠️ "这个技术路径本身不是本质的……它是一个手段。我觉得没有必要 bet 手段。"
⚠️ 他顺带记录了一条共识漂移速度："去年年初的时候就是真机派、遥操派；在去年年底的时候，大家可能认知就突然全部都转变是 UMI；那可能今年的时候，大家可能就开始聊 egocentric 和 simulation。"

⚠️ Karan Singhal（美，OpenAI 健康 AI 负责人，2026-10）："在通用模型里做专科训练"¶

来源：a16z 2026-10-20（嘉宾 Karan Singhal） ⚠️⚠️ 当事方叙述，全部为路线陈述、无任何量化；主持人是 a16z 医疗投资合伙人，全程无一次追问。

他拒绝了问题本身的二分（[00:06:02]）："人们经常问我们通用模型 vs 专科模型这个争论……我觉得这里最重要的一点是，我们说的其实是在一个通用模型里做专科训练，我认为那是两边最好的部分。"
⚠️⚠️ 本页此前没有的一层细节："对 ChatGPT 以及我们在 ChatGPT 里发布的所有模型，在模型训练的每一个阶段，我们都加入了专科医疗数据——过去一年的所有模型都是如此。" 数据来源自述为与全球大量医生合作；同一批专家也供给评测。
✅ 他的论据来自自己的失败经验而不是理论（[00:07:03]）："如果你放弃这条路，说'我们来训一个更小的、只做医疗的专科模型'——就像我以前做的、也像很多人做过的——你会发现那个模型会相当快地落在前沿后面，因为前沿和通用能力改进的速度太快了。" 结论是押注规模——"我们在搭这趟规模前沿的便车，并利用我们有能力把评测与训练数据整合进模型这件事。"
⚠️ 本页给的边界：没有专科数据占比、没有与纯专科模型的对照基准、没有"落在后面"的时间尺度。这是一条路线陈述，不是实验结论。
✅ 可并读的两侧材料：OpenRouter 谈专科模型的位置（小模型的生态位论证）与 Nathan Lambert 的蒸馏文献反方（"我没法从公开文献里得出蒸馏是个大因素的结论"）。⚠️ 三者谈的都是"小而专的模型还有没有活路"，而只有这一条来自一家前沿实验室内部、且立场是否定的——本页标注这一点，因为说话人所在的位置对结论有利。

⚠️⚠️ taste 怎么被训回来：回到最早的 RLHF，而审美上人胜过打分模型（OpenAI 金融团队，2026-10-31）¶

来源：Latent Space × Joseph Kim（OpenAI，ChatGPT 金融业务）（人物页：Joseph Kim（OpenAI））

⚠️ 立场：OpenAI 的产品负责人，自述从研究侧转到产品与工程。⚠️ 转录稿把模型名写作 "6 Astra" / "61 Astra" / "GPT-6 Astra" 三种拼法；"early early chess days" 疑为 "ChatGPT days" 的字幕讹写，本页按后者理解但标为推测。

⚠️⚠️ 一、一件被遗忘的事：RL 最早训的唯一一样东西就是 taste¶

（[00:16:05]）

⚠️⚠️ "很早很早的时候，我们训模型训的唯一一样东西本质上就是 taste。那时候有 RLHF，而人类反馈永远是一个成对的信号：给你两个选项，哪个更好？" "所以强化学习最早的那些日子，是建在训练人类 taste 这个想法上的。后来有了可验证奖励、environment 这些东西，我们建了很多做别的类型奖励、别的类型 RL 的机器。于是人们有点忘了，RL 最早那些日子全都是围着人类 taste 转的。"

方法他说得很直白："技术上的答案我认为很简单：你就训一个 reward model。你找一堆人来看成对的东西，说哪个更好。而这到今天还是有效的。"
⚠️⚠️ 自家的例子："小知识：我们就给我们自家的 slides 这么干了。怎么让模型更会做演示文稿？我们就找一堆人来看成对的片子，说哪张看起来更好。"
✅ 本页标注这条的位置：⚠️⚠️ 本页既有的后训练材料几乎全部围着可验证奖励、environment、RLVR 展开；这一条来自 OpenAI 自己，指出那一套是在 taste 之上叠加的，而不是取代了它——于是"软目标函数"在今天不需要新机器，只需要把旧机器调回来用。

⚠️⚠️ 二、一条反直觉的分工：审美判断上人比模型强得多¶

（[00:16:05]–[00:17:05]）✅ 本页认为这是这一期最该被单独引用的一句。

⚠️⚠️ "而人在审美判断上其实非常非常好。实际上比模型好得多，这是我们发现的一件事。一个人能看两张片子，几秒钟之内说出这张更好。而如果你拿一个模型、一个打分模型去做这件事，它会烧掉一大堆 reasoning token——这些像素这样、那个东西那样——然后可能还得出一个错的结论。" "所以人在让这些模型变好这件事上，仍然非常非常有价值。"

✅ 本页标注这为什么重要：⚠️⚠️ 它给出了机制（模型在这类任务上会过度推理），因此是一条可被独立检验的断言，而不只是"人类标注还有价值"这种泛论。本页第一条来自前沿实验室内部、指认"更多推理在某个维度上反而更差"的一手说法。
🔗 评测侧的含义（与"用模型给模型打分"这个默认做法的冲突）记在评估与 Benchmark，连带主持人当场给的外部参照：Cognition 的 frontier code 问的是"你会不会 merge 这段代码"，而"这就是为什么你有时会看到'推理更少反而更好'的那种图"。

⚠️⚠️ 三、按同一条缝把编码与金融拆成两半，以及这个类比的成本¶

（[00:17:05]–[00:18:06]）

编码：可验证那半是"代码编不编得过、有没有语法错误、函数输出是不是预期的"；taste 那半是"系统设计干不干净、建的系统随时间好不好维护、好不好做单元测试、是不是遵循社区或行业绝大多数人认为对的范式"。⚠️ 他给的进度是"不算完全解决，但假设我们走到了 80%"。
金融：可验证那半是"我有一个 Excel 模型，它加不加得起来？有没有引用错误？"；⚠️⚠️ taste 那半他用了一个从业者的术语——

"我开始做金融之后学到一个东西，叫模型的 feel：你去扰动输入、看输出，一个有经验的金融从业者能扰动输入、看输出，然后理解数据在这个模型里流动的方式感觉对不对。" "而那是一种人类偏好，它看起来很像'这段代码干不干净、写得好不好'。"
✅ 他的结论："我们在编码上的成功，让我有信心我们能把金融里很多这类问题也解掉。"
✅ 本页标注这个类比的强处：他把两个领域拆成了同构的两半，而不是笼统地说"金融像编码"——所以它可以被逐半检验。
⚠️⚠️ 而本页必须标出它的成本在哪，因为这一期自己给出了答案（[00:26:11]）：编码那半的 taste 有一个金融没有的东西——"社区绝大多数人认为对的范式"是公开的、海量的、可从代码库里学到的；而"模型的 feel"按他自己的描述是从业者身上的隐性知识。 ⚠️⚠️ 他对"编码为什么先被解决"给的解释正好确认了这一点：

"我们在编码上做对的一件事是，那些在训模型、让模型变好的人，自己懂什么叫好代码。而那在我们让模型在这些事上变好的过程里是一个巨大的顺风。等到要让模型更懂金融的时候，我们没有那个优势。"
✅ 本页判这是对"编码领先"最朴素也最有说服力的解释，而且它不是关于数据量或可验证性的：⚠️⚠️ 做模型的人自己就是领域专家，于是 taste 那一半的标注者与训练者是同一批人。别的领域必须靠外聘（他们为此设了一个叫 subject matter expert 的岗位）把隐性知识搬进来。 🔗 与 Arca 把知识库交给领域专家而不是工程师是同一判断在模型层与应用层的两个版本。

⚠️ 四、往上爬时目标函数的性质变化，以及一条组织性陈述¶

（[00:15:04]、[00:21:09]）

软目标函数的性质："它不是对还是错，它是比较性的——有没有什么东西比这个更好。"
⚠️⚠️ 而越往上爬越难训的理由很具体："从'这显然是一张好片子还是坏片子'，变成'我不知道这个投资想法好不好'。而要给你一个清楚具体的答案，我可能得等个三年，才真的能看市场做了什么。"
⚠️ 他要的东西清单：大量研究投入、很好的数据、"我们真的很想要 P99.9 那一档的反馈"、基础模型的持续 scaling，以及"来自认为这是个重要问题的研究实验室的专注"。
✅ 而本页标注那句组织性陈述，因为它很坦白："我在我团队做的一件事，就是让这成为 OpenAI 的一个重点和优先级。" ⚠️⚠️ 也就是说模型在某个领域变强与否，部分取决于有没有人在实验室内部把它排成优先级——这是一条关于能力分布为什么不均匀的非技术解释。

⚠️ 五、一条事实项与一处未兑现的断言¶

垂直数据走主训练（[00:02:02]）："所有我们为金融推理分析做的训练数据，都走上游进入我们叫 the big run 的那个主训练"（⚠️ 转录稿写产出模型为 "6 Astra" / "61 Astra"）→ "所以那份智能对想在它上面做东西的人也是可得的。" ⚠️ 自述，无法从本期核实。
⚠️⚠️ 而一句关于预训练的断言被剪进冷开场却整期未展开（[00:00:00]）："在 OpenAI，我们碰到过预训练的问题，因此在 scaling 模型上有困难。到了 2026 年，我们已经能解决其中很多问题了。" ⚠️⚠️ 主持人在结尾点了它（"你讲了一点那个很带劲的、我们修好了预训练问题"），但随即把它当成留给 keynote 的"面包屑"。 ✅ 本页只记录它被说过、不作为任何关于预训练现状的材料使用。

⚠️ 一家垂直应用层到 2026 年下半年才开始做后训练，以及它把范围划在哪里（Legora，2026-11-02）¶

来源：Latent Space × Legora（Jacob Lauritzen，CTO）（人物页：Jacob Lauritzen（Legora CTO））

⚠️⚠️ 时点：被问"你们早期不自己微调模型，现在还是这样吗"，答 "是的，到现在为止我们一个模型都没微调过。" → "我觉得现在，过去这几个月，开放权重模型变得极其能干了，所以对某些任务我们会做——那些我们认为'一个前沿模型在那个成本和延迟下能做到的'与'一个后训练过的模型能做到的'之间有巨大差值的任务。"
他给的那个任务是法律检索："这是一个 fan out 检索问题，而你可以让一个真的很有效的模型以很低的延迟、超快超便宜地跑那些查询。" ✅ 也就是说触发条件不是质量而是成本×延迟的差值。
⚠️ 范围划得很窄，而理由是不与前沿实验室正面竞争："我们不是想训我们自己的 fable 来当那个主 agent。我觉得那个我们赢不了，对上 Anthropic 大概赢不了。"
⚠️⚠️ 而本页必须记下这澄清了本库此前一处读错的事实：本库的 Legora CEO 页（2026-07）把"只做窄任务微调模型降本降延迟（如 tabular review 万次调用用微调抽取模型）"读成了已经在用；而 CTO 这条一手且对自己不利的陈述说明那是一条路线主张，落地发生在 2026 年下半年。 ✅ 本库按约定不删旧记载，在两处都标注时间线——方向性两期完全一致，差异只在"已经做了"还是"准备做"。
✅ 而他在同一段给的优先级判断，本页认为比后训练那条更有用：

⚠️⚠️ "但总的来说，甚至在模型之前、甚至在 harness 里，就有一大堆低垂的果实。老实说，如果你只是想为我们的客户做出更好的输出，有太多我们能做、而且立刻就有影响的事，都在训模型之前。" ⚠️ "搜索和检索研究、或者 RAG 研究还有很多可做的……那也许不那么光彩。它其实甚至不是模型训练。有时候它就是架构和流水线。"
🔗 本页标注这与本页既有的"小而专的模型还有没有活路"那条线的位置：⚠️⚠️ 这是一条来自买方的、带触发条件的回答：有活路，但入口不是"我们需要一个更懂法律的模型"，而是"这个任务的调用量大到成本与延迟的差值值得一次后训练"。本页认为这个判据比"垂直模型有没有价值"这种问法可操作得多。
⚠️ 另记一条模型写作风格的买方评价，因为它指向后训练难处理的那一类问题（[00:56:28]）："fable 和[另一个]绝对非常话多……非常冗长"（⚠️ "这一般来说不好"）；"Astra 写东西挺好，简洁得多"；⚠️⚠️ 而关键在那句限定："但话多/冗长这件事对我们来说其实有点难办。" ✅ 本页标注这意味着冗长不是靠 prompt 能压掉的，而这条说法可被别人复测。 🔗 而它与 Joseph Kim 那条"taste 即 reward model、而人在审美判断上比模型强得多" 恰好是买卖两侧：卖方说写作风格这类软目标可以用成对人类偏好训；而买方说它现在仍然是一个压不下去的实际问题。

⚠️⚠️ 真实世界 RL 轨迹作为"数据的顶层"，以及机队规模是方法门槛而非预算问题（Tutor Intelligence，2026-11-02）¶

来源：a16z × Tutor Intelligence（Josh Gruenstein，联创兼 CEO）（人物页：Josh Gruenstein）

⚠️⚠️ 立场（双重标注）：他是 Tutor 的 CEO，全部数字为自述；主持方 a16z 是这家公司的投资人并多次主动背书。

⚠️⚠️ 一、路线类比：异质数据之上有一个"顶层"¶

（[00:41:24]–[00:43:27]）

"我认为在 LLM 里显然非常非常重要的一件事是：数据有很多异质的来源，但最终有一个数据的顶层，那就是真实世界的强化学习轨迹——做你想要能做的那件事。"

设施："我们在波士顿建了一支叫 Data Factory 1 的 100 台机器人机队。据我们所知这是美国最大的半人形数据采集农场"，用途是"怎么用机器人在真实世界里大规模做强化学习"的研究测试床。
⚠️⚠️ 而机队规模的理由是算法前提，不是数据量：

"强化学习是一个在小批量下不太工作的技术族。所以如果你在真实世界里有一支非常大的机队，你就能开始玩这些方法——而我认为无论在学术界还是工业界，人们此前都没能玩得起。"
✅ 本页标注这条为什么值得保存：⚠️⚠️ 本页既有的机器人数据讨论多把机队规模论证在"数据更多"上；而这一条把它论证在并行度上——真实世界 RL 需要的 batch size 本身设定了一个最小机队规模，于是"要多少台机器人"是方法可行性的门槛，而不是一个预算选择。本页认为这是一条可被检验的断言，也顺便解释了为什么这类公司必须先把商业部署规模做起来才能开始做它真正想做的研究。

⚠️⚠️ 二、物理世界没有"自然排放"的训练数据，以及一条对采集路线的判据¶

（[00:09:07]–[00:14:11]）✅ 本页认为这是本期对数据来源问题最锋利的一段。

缺口的陈述：人类智能在互联网上"作为副产物地造出了这个美丽的数据集"，⚠️⚠️ "而我们在物理世界里的工作没有被同样地联网起来。我拿起我的咖啡杯，没人知道。没人记录下我指尖的所有压力、以及它们当时的姿态。"
⚠️⚠️ 对"从零数据自举智能"的否定很硬："那看起来像一个赌局被操纵成对我们不利的问题。在计算机视觉里不是这么成的，在 NLP 里也不是这么成的。"
⚠️⚠️ 而那条判据是经济激励对齐，并构成对"头戴摄像头大规模采集"这条真实路线的直接反驳：

"如果你作为一门生意能挣到钱，那你大概作为一门生意也在产出数据——那些经济激励是对齐的。" ⚠️⚠️ "如果你说'我们就给所有人头上绑个摄像头，派他们去印尼各处采做某某事的数据'，那你没有任何保证……没有一只市场的无形之手在指引你，确保那些数据真的有经济价值。" ⚠️⚠️ "但如果你的机器人在真实客户现场、而客户正在为这些机器人做那件事付钱——那你就确切地知道那些数据是有经济价值的。"
✅ 本页标注这把"这批数据值不值得采"换成了一个有外部验证的代理：有人为它付钱。 ⚠️⚠️ 但本页必须指出这回答的不是主持人问的那件事：主持人问的是泛化（"你可能用某个分布的数据训了它，但你真正需要的东西只是稍微在那个分布之外"），而他答的是采集。即便每条数据都有经济价值，它们合起来是否覆盖下一个任务仍然开放。
⚠️ 而他对混合数据源明确不教条："我们不是纯粹主义者。我们愿意接受任何取舍。我们很喜欢用仿真来拓宽这些数据分布，也很喜欢用互联网规模的数据来拓宽这些分布。"

⚠️⚠️ 三、前沿模型的 3D 空间后训练作为一次外部能力输入¶

（[00:14:11]–[00:16:13]）

⚠️⚠️ "我们有一段时间活在这样一个世界里：所有人都知道关于世界的全部这些通用知识被烤进了这些模型里，但它们没法真的把它表达出来。它们没有那最后一英里的空间推理，来把一个 GPT 模型知道的东西和一个 action diffusion transformer head 能知道的东西连起来。" ⚠️⚠️ "而这变了。那些实验室现在在用 3D 空间数据——比如 CAD 和 3D 建模——对它们的模型做后训练。而顺便说，他们做这件事是因为有这个直接的经济激励，因为那有一个真实的市场，所以他们能立刻把它变现。而结果那恰好就是我们的模型需要的那种空间推理。"

✅ 本页标注这条结构可推广：⚠️⚠️ 一个垂直领域需要的后训练能力，可能作为一个完全不同市场（CAD / 3D 建模）变现动机的副产物而到达——也就是说下游的能力路线图部分地取决于上游有没有别的钱可赚，而不只取决于下游需求的强度。本页认为这值得在别的垂直领域里反复对照检验。
⚠️ 而他对架构变迁的态度是把价值放在数据流动上："我们是 2021 年开始这门生意的。我们最初是用卷积神经网络做这件事的。所以我们已经穿过了每一次范式巨变，而始终有价值的东西是数据的流动"；"那些一百万种架构技巧——如果它们帮你加速飞轮就去做。"

⚠️ 四、一个很小的模型支撑着一条已量产的产品线¶

（[00:18:15]）

⚠️⚠️ 他们的重载单臂机器人 Cassie"由 2 到 4 亿参数区间的基础模型驱动"，来自 2021 年那一代能力描述——"它们能预测 affordance、能预测抓取点，然后你去执行"。
✅ 本页标注这是对"机器人需要更大模型"的一个有用反例：⚠️⚠️ 他把形态说成"硬件能量产 × 模型真能做的事 × 真实市场需求"三者共同设计的结果，所以在这类任务上决定可行性的是三者的交集而不是参数规模。本页认为这条值得与本页既有的小模型/蒸馏材料并读。