跳转至

Dan Biderman：AI 的记忆问题——为什么长上下文还不够

  • 来源：Latent Space（Cooking 系列），2026-07-13 (原视频，50 分钟)
  • 嘉宾：Dan Biderman（Engram 联合创始人兼 CEO，前 Mosaic、Stanford Chris Ré / Scott Linderman 组）
  • 转录稿：sources（en-orig 自动字幕；边做饭边访谈）

说话人映射（据补做分离的 speakers.md；转录稿本身无标签，此处认人属 wiki 层编辑判断）： SPEAKER_02 = Dan Biderman（嘉宾，80.4%）、SPEAKER_01 = 主持（18.6%，Latent Space Cooking 系列）。 依据：SPEAKER_01 念开场"Hey guys, welcome to the Latent Space Cooking…"（[00:00:00]，之后 89%）； SPEAKER_02 的高纯度块是嘉宾的技术论述（[00:23:17] 长上下文的 GPU 显存占用"是个系统问题"，100%）——做菜指令也多落在此标签，本期是嘉宾掌勺。 主持是谁页头未记，节目内也未自报。SPEAKER_00（31 秒）为碎片。

概要

在轻松的"做饭"格式下，Biderman 系统讲述 记忆 / 持续学习（continual learning）/ 上下文腐烂（context rot） 这一前沿问题——本库此前几乎未覆盖的技术方向。核心命题：把"持续学习"与"记忆"看作长上下文问题的伪装；仅靠把上下文窗口做长（哪怕 1000 万 token）也不够，因为模型读得越多越"困惑"。Engram 的下注是用训练的魔法把知识压进权重（"cartridges"），与文本表示（RAG / wiki）互补。为 LLM OS 与新计算范式 的"context window = RAM / 内存管理"命题接上了一条 2026 年的工程主线。

核心观点

长上下文不够：context rot 与 compaction 的有损性

  • "记忆 / 持续学习本质是长上下文问题的伪装"：即便有无限上下文窗口，限制仍有二——(1) 即使很小规模也已知"喂进越多 token，模型越困惑"（context rot），10M 上下文也不解决；(2) 内存/成本爆炸（[00:18:11]–[00:20:13]）。
  • compaction（模型自管理上下文、驱逐部分 token）在改进，但按定义是有损的、且当前实现偏"非黑即白"，长会话深处会变得健忘/困惑；它会是方案的一部分，但需叠加"神经记忆痕迹"（存在权重而非文本里，同样有损）（[00:19:13]–[00:21:13]）。

Cartridges：把语料训进权重、~1000× 压缩

  • 给模型时间"预先研读"一大语料——自我出题、自测、再用梯度下降像预训练一样训练，得到可加载/卸载的"知识胶囊（cartridges）"，是一种"描述模型世界的脑状态"，比原文压缩约 1000×；使用时 token 更少、更不困惑、更准（[00:09:04]–[00:11:05]）。
  • 类比：当前 LLM 像"每次都第一次进厨房、照菜谱机械执行"，缺少大厨"捏一撮盐、揉面"的直觉；cartridge 想训出的正是这层超越笔记与菜谱的直觉（[00:10:05]–[00:11:05]）。
  • 不否定文本表示：最好的厨师既有笔记/日记，也有能实现并创新的神经系统；Engram 始终同时构建 wiki / 知识库，intuition 层（参数）叠在文本层之上（[00:12:05]–[00:13:08]）。

为什么"在权重里"值得：KV cache 的内存怪兽

  • 存在性证明来自预训练：能把海量信息高效塞进很少的数字里。举例——Llama 70B 读一篇几十 KB 的 Wikipedia 文章，其"脑状态"（KV cache）就占约 80GB HBM，而整个模型参数才约 140GB（FP16）——"一篇 Taylor Swift 文章"与"整个互联网"同量级内存占用，极度低效（[00:22:16]–[00:23:17]）。
  • 从系统角度，Engram 的做法相当于"摧毁 prefill、把训练算力挪到别的时间"，加载 cartridge 后可几乎立即 decode——与数据中心"prefill/decode 解耦、跑在不同专用卡上"的趋势契合（[00:23:17]–[00:24:17]）。

"整体大于部分之和"的查询，与每人一份权重

  • 典型场景（与 Harvey 合作的大型律所文件系统）："今年哪些并购交易还没完成"这类"ambient 难题"无法用 RAG 检索到——必须逐个 client matter 读全、取 gist、理解"闭环没闭合"；前沿模型 + compaction 能做，但一次查询可能烧掉数千美元，而"公司每个员工本能就能答"（[00:24:17]–[00:26:19]）。"whole is greater than the sum of its parts"的查询，正是训练的魔法所在。
  • 长期愿景：每个人拥有一份代表自己知识/专长的权重（或部分权重），越用越懂你、由你掌控——"像 Tamagotchi，越养越好"；长期会跑在个人设备上（新硬件已接近能在 PC 本地跑近万亿参数模型）（[00:26:19]–[00:28:24]）。
  • 反馈闭环更紧：不同于"点赞/点踩帮 provider 出下一版"，这里"你说的东西会有人 scale compute 去练"——但也要学会甄别哪些用户反馈可信（用户不总是对的，模型会越来越强）（[00:32:25]–[00:33:25]）。

内化 vs 外化、路由、以及"用更少做更多"

  • 什么该进权重、什么该留文本，是从人类记忆研究到 AI 都未解的开放问题：全记住的人往往并不快乐，"适度遗忘是健康的"。圣杯是让模型自己无监督地学会该记进脑子还是记在笔记本（与数据显著性、重复频率、affordance 相关）（[00:29:24]–[00:32:25]）。
  • 路由是方案的一部分但不易：多数任务模型是"杀鸡用牛刀"，但要知道何时该去找最强模型解"超出你 pay grade"的问题；Engram 定位像"看你肩膀的好员工/好朋友"，能更有针对性地把任务喂给大模型（[00:35:26]–[00:37:27]）。
  • 下一个范式：用更少做更多：当前 scaling 是"用更多做更多"（仍有效），但"效率与智能不可解耦"——"更聪明 = 用更少能量解更难的问题"；多家实验室 leader 也在看这个方向（[00:34:25]–[00:35:26]、[00:45:32]–[00:46:32]）。呼应 Noam Brown 的 test-time compute 与 Eric Jang 的 bits-per-FLOP 效率视角。

与本库其它页的关联