跳转至

Deep Dive into LLMs like ChatGPT（Karpathy，2025-02-05）

说话人映射（转录稿中为匿名标签，此处认人属 wiki 层编辑判断）： 单人讲座，SPEAKER_00 = Karpathy 本人（100%）。分离报出的 SPEAKER_01 合计仅 2 秒， 是碎片，判为伪影、非真实第二人。speakers.md 不含额外信息，仅作基线存档。

概要

从下载互联网到 RLHF，完整走一遍 ChatGPT 类模型的制造流程，并系统阐述由此产生的认知特性： 幻觉的成因与缓解、"模型需要 token 来思考"、tokenization 导致的锯齿短板、 RL 涌现推理（DeepSeek R1）、RLHF 的本质缺陷。核心隐喻："你在和 OpenAI 数据标注员的神经网络模拟器对话。"

核心观点

预训练（知识获取）

  • 数据侧以 FineWeb 为例：Common Crawl 起步，经 URL 过滤/正文抽取/语言过滤/去重/PII 清洗，最终只有 ~44TB、15 万亿 token——"互联网很大，但过滤后其实装得进一块硬盘"（[00:01:02]–[00:07:06]）。
  • tokenization 是在"词表大小 vs 序列长度"之间做权衡（BPE，GPT-4 词表约 10 万）；序列长度是宝贵资源（[00:08:08]–[00:14:11]）。
  • 训练即让网络的下一 token 预测分布匹配数据统计；GPT-2（2019, 16 亿参数）是"第一个现代技术栈成形"的模型，当年训练 $40k，2025 年复现只要 $100–600——数据更好、硬件和软件更快（[00:31:26]–[00:34:30]）。
  • base model 是"互联网文档模拟器"、token 自动补全，不是助手；但用 few-shot prompt / 对话式 prompt 也能榨出助手行为（in-context learning）（[00:42:38]–[00:59:54]）。
  • 逐字背诵 Wikipedia（regurgitation）源于高质量数据被多轮采样；对训练截止后的事件模型会自信地编造"平行宇宙"（[00:52:44]–[00:55:48]）。

SFT（人格塑造）

  • 对话经特殊 token 协议编码成一维 token 流，训练算法与预训练完全相同，只换数据集（[01:04:56]–[01:09:59]）。
  • InstructGPT 开创的人工标注流程 → 如今大量由 LLM 辅助合成，但"种子仍是遵循标注指南的人类"（[01:09:59]–[01:17:07]）。
  • 核心祛魅："你不是在和魔法 AI 对话，而是在和'OpenAI 雇的数据标注员'的统计模拟器对话"——它模拟的是一个受过教育、读过几百页标注指南的专家会怎么写（[01:17:07]–[01:20:10]、[03:23:35]–[03:25:37]）。

LLM 心理学（认知特性）

  • 幻觉成因：训练集中"Who is X"永远被自信地回答，模型统计性地模仿这种格式，即使内部或许有"不确定神经元"也不会说"我不知道"。Meta 在 Llama 3 的缓解方法：自动出题探测模型知识边界，对不知道的问题把"我不知道"写进训练集，让不确定神经元与拒答行为接上线（[01:20:10]–[01:32:19]）。
  • 参数 vs context window："参数里的知识是模糊的回忆（一个月前读过的东西），context window 里的 token 是工作记忆"——所以联网搜索/直接粘贴原文比依赖模型记忆好得多（[01:32:19]–[01:41:27]）。
  • "你是谁"是伪问题：模型没有持续自我，自称 ChatGPT 多半是幻觉标签（互联网上此类回答最多）；身份要靠硬编码对话或 system message 装上去（[01:41:27]–[01:46:33]）。
  • 模型需要 token 来思考：每个 token 的前向计算量近乎固定且很小，必须把推理摊到多个 token 上。标注答案时先给结论再解释是坏数据——等于要求模型在单个 token 里完成全部计算（[01:47:34]–[01:56:38]）。
  • 数数、拼写类任务差是 tokenization 的锅（模型看不见字符，只看见 token 块）——strawberry 有几个 r 的翻车根源；解法是 use code 借 Python 解释器（[01:58:38]–[02:04:44]）。
  • 瑞士奶酪能力模型：能解奥赛题却答错 9.11 > 9.9（激活里混进了圣经章节特征）——能力面上有随机的洞，"当工具用，别放手不管"（[02:04:44]–[02:07:44]、[03:26:38]）。

强化学习（RL：从模仿到发现）

  • 教科书类比：预训练=正文阐述，SFT=例题带解，RL=课后练习题（只给答案不给过程）（[02:11:45]–[02:14:46]）。
  • 人类标注员写不出对 LLM 最优的解题路径——"它的认知和我们不同，我们的简单步骤对它可能是飞跃，反之亦然"；必须让模型自己试错发现可靠的 token 序列（[02:15:48]–[02:20:49]）。
  • DeepSeek R1 的公开意义：首次公开讲清 RL 微调细节；回应长度随训练暴涨，模型自发学会"wait, let me re-evaluate"式的回溯、多角度验证——思维链是优化的涌现性质，没人硬编码（[02:28:55]–[02:33:56]）。
  • AlphaGo 类比：SFT（模仿人类棋谱）会封顶在人类水平，RL 才能超越；move 37 的等价物在开放域思考中"原则上可能"——发现人类没想过的类比、思考策略甚至更适合思考的语言（[02:42:01]–[02:48:06]）。
  • RLHF is not RL：不可验证域（写诗、笑话）用奖励模型模拟人类偏好，利用"判别比生成容易"的差距；但奖励模型是可被博弈的神经网络，RL 跑久了必然找到对抗样本（"the the the" 得满分），只能几百步就掐断。"RLHF 是小修小补的微调，缺少可以无限投入算力的魔法"；可验证域（数学/代码/围棋）才能无限跑 RL（[02:48:06]–[03:06:23]）。
  • o1/o3 是 RL 思考模型，GPT-4o 应视为"主要是 SFT 模型"；开放问题：可验证域练出的思考策略能否迁移到不可验证域（[03:27:38]–[03:29:40]）。

未来方向与实用建议

  • 将来：原生多模态（音频/图像都是 token）、长时程 agent（"人类:agent 比例"的监督模式）、操作电脑、test-time training 等新研究（[03:10:28]–[03:14:30]）。
  • 跟进渠道：LM Arena（近来有被刷榜迹象，仅作初筛）、AI News newsletter、X；开源权重模型用 together.ai，本地跑用 LM Studio（[03:15:30]–[03:21:33]）。
  • 结语与 How I use LLMs 一致：当工具箱里的工具用，查证它的活，"对你工作的成果负最终责任"（[03:30:40]）。

相关主题