跳转至

State of AI in 2026：LLM、编码、Scaling、中国、Agent、GPU、AGI（Lex #490，2026-01-31）

两位以教学/写作见长的 ML 研究者对 2025 全年 AI 的系统盘点。这是本库美方视角的旗舰综述页，与 姚顺宇（中方一线）互为对照。以下按本库主题聚合，非逐段复述。

说话人映射（据补做分离的 speakers.md；转录稿本身无标签，此处认人属 wiki 层编辑判断）： | 标签 | 占比 | 认定 | 依据 | |---|---|---|---| | SPEAKER_02 | 45.6% | Nathan Lambert | 多处以"我们"口吻谈 AI2：[00:58:20] 块内"at AI2, most of the models we're pre[training]"、[03:51:52] 块内"The same thing applies for AI2; I can't be the only one"（均 100%） | | SPEAKER_01 | 33.3% | Sebastian Raschka | [00:44:06] 块内"you mentioned my book earlier. That's a GPT-2 model"（71%）；[02:35:47] 块内转向 Lambert"Just to explain, Nathan, you also mentioned earlier"（86%） | | SPEAKER_00 | 21.1% | Lex Fridman（主持） | 开场荐书与"Sebastian, Nathan, it's good to see you guys"（[00:02:01]，100%）；收尾"Been a big fan of yours, Sebastian"（[04:23:43]，100%） |

概要

从"DeepSeek 时刻"（2025-01）谈起，覆盖：中美格局、开源模型生态、Transformer 架构演进、pre/mid/post-training、三条 scaling law、RLVR、合成数据与数据版权、agent/tool use、continual learning、robotics、以及 AGI 时间线。核心基调：架构自 GPT-2 几乎没变、真正的进展在训练配方与系统；scaling 三条轴都还在走但低垂果实已摘；"一个模型统治一切"的梦"正在死去"、走向专用化。

核心观点

中美格局与开源生态（本库核心）

  • 没有 winner-take-all：如今没有哪家有别人拿不到的技术——研究者频繁跳槽、想法高度流动；差异化因素是预算与硬件而非专有 idea（[00:02:01]–[00:05:04]）。与 姚顺宇"纸面趋同、knowhow 无秘密"完全一致。
  • DeepSeek 时刻的余波：DeepSeek 之于中国 ≈ ChatGPT 之于美国，点燃了一整批中国实验室；如今 DeepSeek 正被 Z.ai(GLM)、MiniMax、Kimi(Moonshot)、Qwen 等赶上甚至阶段性反超（"最新模型往往就是最好模型"的 leapfrogging）（[00:05:04]–[00:08:10]）。
  • 中国为何持续开源：核心是让全球用起来。美国大厂因安全顾虑不会付费调用中国 API，于是开源成为切入美国巨大 AI 开支市场的方式；许可证还比 Llama/Gemma 更宽松（无用户数上限等附加条款）（[00:06:04]–[00:07:07]、[00:34:54]–[00:36:57]）。呼应 Jensen"开源是中国生态加速器"。
  • 但美方模型当前更好、大家在为它付费：中国模型受出口管制影响、每副本用更少 GPU → 更慢、错误模式不同；两位主持坦承日常几乎不用中国模型（[00:19:28]–[00:21:30]）。MiniMax、Z.ai 已递交 IPO；预期整合但不在 2026。
  • 完全开放（data+code）阵营几乎只在西方：AI2 的 OLMo（连数据和代码都放）、gpt-oss-120b（OpenAI 自 GPT-2 后首个开源、且首个专门为 tool use 训练的开源模型）、LLM360、Apertus、SmolLM、Nemotron——"中国没有对应物"；反过来中国开源模型更偏超大 MoE、峰值性能更高（[00:28:43]–[00:31:48]）。

架构：变化远比想象的小

  • 从 GPT-2 到 gpt-oss-120b，本质仍是同一架构：加上 MoE（稀疏、扩容而不增每步算力）、Multi-head Latent Attention、Group Query Attention、Sliding Window、RMSNorm 等"旋钮"即可互相转换；OLMo 的 ablation 显示挪动归一化层等都还能 work（[00:37:59]–[00:47:09]）。
  • 年末趋势：让注意力对推理线性伸缩（gated delta net、DeepSeek-V3.2 稀疏注意力的轻量 indexer）。text diffusion / Mamba 等非自回归路线在崛起但尚未在 SOTA 上取代自回归 Transformer；diffusion 适合快速大批量任务（如生成长 diff），但难做 tool use（自回归链被外部工具打断）（[00:47:09]–[00:48:10]、[02:28:39]–[02:36:47]）。
  • 系统层（FP8/FP4）带来的是速度而非新能力——"让计算更粗但不掉性能"；tokens/sec/GPU 是核心指标（[00:45:08]–[00:47:09]）。相关见 AI 算力与基础设施。

Scaling 三条轴与训练配方

  • 三条 scaling：pre-training（模型/数据规模，已 hold 13 个数量级）、RL scaling（log 训练算力→线性性能，o1 首次展示、DeepSeek 复现）、inference-time（让模型多想）。两位都 bullish，但强调低垂果实已摘（[00:48:10]–[00:57:19]）。Pre-training 没死、只是变贵、兴奋点在别处——与 Mark Chen、姚顺宇 一致。
  • serving 成本 >> 训练成本：DeepSeek 预训练传闻 ~$5M、OLMo3 租集群 ~$2M——"一到千万美元很多人拿得出"，但服务上亿用户是数十亿美元级；这解释了为何模型反而在变小（[00:51:11]–[00:53:15]）。2026 吉瓦级 Blackwell 集群上线（合同签于 2022–23），$2000 订阅可能出现。
  • pre/mid/post-training 定义：mid-training 是"更专门的预训练"（如长上下文、把质量最高的内容放最后以对抗灾难性遗忘）；合成数据不等于坏数据（OCR 抽 PDF 出万亿 token、把文章改写成 QA、用 ChatGPT 优答训练）；数据质量 > 数量，在前沿实验室"想有影响力，最好的方式就是找到更好的数据"（[01:03:30]–[01:14:41]）。
  • RLVR（Nathan 团队在 Tulu 3 里造的词，DeepSeek 做出训练突破）：可验证奖励（数学/代码），向 rubrics / LLM-as-judge 拓展到开放域；aha moment/自我纠错其实是放大预训练里已有的行为；Qwen 的数据污染争议提醒"只有截止日期后的新 benchmark 才公平"（[01:37:24]–[01:46:38]）。关键定律：RLVR 可 scale（log→线性），RLHF 不能（RLHF 的开山之作恰是"reward model 过优化的 scaling law"）——这将定义大家怎么分配算力（[01:55:46]–[01:57:52]）。下一步押注 value function / process reward model（"RLVR 2.0"）。
  • RLHF 与"voice"：RLHF 对多人偏好取平均，会磨掉锋利的洞见/个性（关联 Von Neumann–Morgenstern 效用与社会选择理论）；character training（把模型训得幽默/严肃）几乎无人研究（[01:22:52]–[01:23:52]、[02:06:04]–[02:09:12]）。

Agent、tool use 与 continual learning

  • tool use 是巨大 unlock：让模型少记忆、多调用（计算器/搜索/CLI），能减少而非根治幻觉；开源生态因"要对多种工具通用"而处于后手，闭源因深度集成特定工具而领先（[00:31:48]–[00:33:51]、[02:33:45]–[02:37:47]）。
  • continual learning（改权重）vs in-context（塞上下文）是通往"可顶替远程工作者"的关键瓶颈：模型不像员工那样从反馈中学习。Nathan 更看好"给足够好的上下文"这条路；Cursor 的 Composer 每 90 分钟根据真实反馈更新一次权重，是最接近"真实世界 RL"的实践（[02:38:50]–[02:41:55]、[03:38:26]–[03:39:26]）。
  • compaction 会成为一个 RL 动作：训练目标是"在把历史压到最短的同时保住评测分"（[02:47:00]–[02:48:01]）。上下文长度今年或到 2–5M，但到 100M 需真正突破。
  • computer use 仍然"很烂"（2025 的 operator 类 demo 皆不佳），是"可顶替远程工作"的真正卡点（[03:05:30]–[03:06:32]）。

AGI、时间线与"梦正在死去"

  • 无公认定义；"能顶替远程工作者"是较合理的锚点。AI 2027 报告的 superhuman coder→researcher→ASI 里程碑，其均值预测已从 2027 推迟到 ~2031，两位觉得还要更晚（[03:00:19]–[03:02:25]）。
  • Nathan：能力是 jagged 的——在某些代码上已超人、在分布式 ML 上很差（训练数据太少）；"大厂会以远快于'造出自动化 AI 研究员'的速度烧掉 $1000 亿"（[03:02:25]–[03:04:30]）。呼应 Mark Chen 的 jagged frontier、Noam Brown 的渐进 takeoff。
  • "一个模型统治一切"的梦"正在死去" → 走向专用化：金融/法律/医药用私有数据定制模型会是大生意（"OpenAI 对 Bank of America 说：一亿美元给你做定制模型"）；真问题不是 AGI 阈值，而是何时出现明显的 GDP 跃升（目前还没有）（[03:14:46]–[03:16:47]、[03:25:03]–[03:26:03]）。
  • 被低估的真实影响：把全人类知识变得人人可及（全球儿童都能学）——"这才是跨越时间的真正影响，比 GDP 数字更重要"（[03:28:09]–[03:30:13]）。

教育、职业与文化

  • 从零手搓是最好的学习法（可像 RLVR 一样自验证：对齐 Hugging Face 参考实现的输出）；强调"struggle 的 Goldilocks 区"，AI 时代考试正回到 blue book / 口试（[01:35:18]–[01:36:21]、[02:12:13]–[02:13:15]）。
  • 职业路径权衡：学术 vs 开源实验室 vs 前沿闭源实验室 vs 创业——"越封闭越有钱但越少 credit"；OpenAI 人均股票薪酬 >$100 万/年；996 文化与 burnout（引《Apple in China》"拯救婚姻"项目）、SF 的 reality-distortion 泡沫与"permanent underclass"梗（[02:14:18]–[02:27:36]）。
  • Meta/Llama 的内爆：为上 benchmark 而过拟合、又不做人们真正能跑的小模型、叠加内部政治（Mark 挺开源 vs Alexandr Wang 更偏闭源）——"不会再有开源的 Llama 5"（[03:43:32]–[03:46:39]）。

相关主题