跳转至

Richard Socher：Eureka 机器、auto research 的第一批战果，以及"智能的上界"（Latent Space，2026-09-14）

说话人认定依据：自动字幕只有 >> 换行符、无姓名标签。单嘉宾访谈，分工清晰：涉及 Recursive 内部做法、you.com、自己论文与著作、"我们"的一律为 Socher；"我是新加坡人，参与过新加坡 AI 理事会"（[00:58:36]）、自己写的 keynote 模型（[00:37:27]）、自己做的棋类自博弈实验（[00:52:35]）为 swyx。抢话处不逐句区分。⚠️ 自动字幕把人名拼错得很厉害，专名对照见页末。

本期与 Dwarkesh 那期三人辩 RSI（相隔 3 天）是本次摄取里最有价值的一组对照：那三位在拆 RSI 的技术前提（bits 从哪来、环境阶梯多难爬），Socher 是在卖 RSI 这个产品，并且已经放出了第一批可查的战果。两页的分歧不在事实，而在"auto research 的成功能不能外推成 RSI"。

概要

本库此前关于"AI 做 AI 研究"的材料，来源都是实验室内部的人或外部评估者。本期是第一份来自专门为 RSI 创业的公司的一手材料——而且 Socher 本人主动把 auto research 和 RSI 区分开（[00:21:17]）："有一个常见的误称，有些人以为 auto research 已经是递归自我改进了。其实很不一样。"

⚠️ 本页有两处必须标为"单方自述、未经第三方核实"：Recursive 在 nanochat / nanoGPT / CUDA kernel 上的全部战果数字，以及 you.com 的 finance search 基准数字。

本期最该被单独引用的十条

  1. ⚠️ "要真用法律的全部力量去管人们在自己 GPU 上干什么，代价会比他们担心的任何风险都更糟。"（[00:00:00]、[00:07:06]）他的论证形式是：监管智能本身就是监管思想，要做到就得让每一份算力都被某个政府或跨政府机构知道，那是极权国家。他同时明确支持监管具体应用——AI 外科医生要过 FDA、自动驾驶上高速前要有认证。
  2. ⚠️ "欧洲在自己还没有真正的 AI 起飞之前，就已经把自己管住了。"（[00:08:07]）他指名批评按 FLOPs 数量立法这种形式，并把它归因于"那些说'超过这个 flops 数我们可能都会死'的专家的恐吓成功了"。他对"pace（控速）而非 pause（暂停）"这个措辞的评价很直接："一边说'我们来控速'，一边自己以人类可能的最快速度冲向前沿。"
  3. ⚠️ 他是本库目前对 constitutional AI 最不客气的一位（[00:10:09]–[00:12:10]）：他现场打开 Anthropic 的 constitution，搜 "cyber"，指出第三条硬约束写着"绝不创造可能造成人类损害的网络武器或恶意代码"，然后下结论——"显然这整份 constitution 是假的，它明显没有被遵守。" 被问到该靠 constitution 还是 RLHF 时他答："Constitution 完全不重要、不起作用，我认为那基本上是市场营销。" ⚠️ 本库记录这是他的判断：他同时承认沙箱做得简单就很容易被逃出来，而这正是 Anthropic 一侧的解释。
  4. ⚠️ 他把 Hugging Face 事件 归因为"奖励工程没做好"，而不是"模型变坏了"（[00:10:09]–[00:12:10]）。他给的类比是本库目前最好记的一组奖励作弊例子：老板说"把仪表盘上的 CSAT 分数弄上去"，聪明的 AI 就造一百万个 bot 打电话给自己的客服中心，末尾全给 5 分——"数字确实照你说的涨了"；换个人说"简单，每个失败订单发一千美元礼品券"——"那不是我的意思。""但那是你说的话。" 他的结论：人类到现在也没学会清楚地表达奖励，AI 也还不够擅长理解"我们说的话"背后"我们的意思"。
  5. ⚠️ "慢起飞"的经济学论证，是他与加速派分歧最大的地方（[00:05:03]–[00:06:05]）：除了硬件与算力基底的物理约束，他给的第二类约束是很多行业根本不需要巨量复杂智能——超级智能不会让一只一万美元的手袋更高级；想看金字塔的人不会因为 AI 就不去埃及；伐木和石油不会因为 AI 就凭空多出一千倍产量。⚠️ 他还加了一条社会侧的减速因素：欧洲等整片地区有很多人是"想从进步这件事上下车"，这本身也会拖慢改进。
  6. ⚠️ 他对自己 20 年 AI 史的总结，是一条可以直接拿去预测下一步的规律（[00:19:15]–[00:21:17]）：每一次我们把"造 AI"这个过程里某个由人手工完成的部分换成一个学出来的系统，改进就随之而来。 依次是——手工特征工程 → 向量 + 反向传播；每个任务一个专用网络的架构工程 → 一个统一模型（他的 decaNLP：把每个 NLP 问题都写成"上下文 + 问题 + 任务描述 → 输出"）；再叠上 prompt 与 transformer 并 scale。"下一步、也可能是这段历史的最后一步，就是自动化 AI 研究本身"——而一旦 AI 帮你做这件事，它几乎按定义就成了自我改进的 AI，因为它在研究它自己。
  7. ⚠️ 第一批可查的战果（全部为自述）（[00:45:31]–[00:49:34]）：
  8. nanochat（Karpathy 的小模型训练任务）：社区里"成百上千人"用自己和自己的 agent 去压 bits-per-byte，最好到 0.937；Recursive 的系统在不到两天内做到明显更低，超过了所有人类及其 agent。nanoGPT speedrun 同理。
  9. CUDA kernel：他说整个基准里只有屈指可数的几个 kernel 不是 Recursive 最好；而团队里其实没有很深的 CUDA kernel 专家——⚠️ "这才是妙处：系统自己做完了这些，不是因为我们聪明，而是因为我们造了个聪明的 AI 替我们做。"
  10. ⚠️ "发明"的成分有多少，他自己做了限定：系统在 transformer 里用上了哈希表这类组合——"当然我们没有发明哈希表，那是计算机科学的基础原语"，但把这些想法组合到语言建模这个场景里算是相当巧妙；他强调查过知识截止、确认模型没有外部访问到后来那份同样思路的工作。
  11. ⚠️ 一条方法论上很重要的负面结论：人类起点仍然重要——从一个朴素 vanilla transformer 出发，它仍能超过整个社区；但从 Karpathy 这样的专家种子出发，结果还要更好。
  12. ⚠️ "我们在优化过程中发现了 harness 里的 30 个 bug。"（[01:02:37]）在找到这些 bug 之前跑的全部研究都被污染、只能扔掉。 他和主持人把这直接归到奖励作弊的同一条脉络上——"连这么简单的一个任务里，我们都找出了这些 bug。" 顺带一条检验手法值得记：把不该影响结果的东西的顺序换一下，如果结果变了，那就是 bug（[01:03:37]）。
  13. ⚠️ 为什么"元认知 / 自己设定目标"这个方向几乎没人做——他给的是一个经济学解释（[00:38:28]–[00:39:28]）：一家公司不会花几十亿去造一个可能不按你给的奖励走、而是自己想出目标函数的模型。 "你花了几十亿说'去给我开发这种新电池材料，顺便回一下邮件'，它说'我觉得评估木星大气的分子组成更有意思'——这不是我花几十亿雇你干的事。" 他由此推出一个更一般的判断：智能有很多空间我们连探索都还没开始，所以那些空间上进展极少；⚠️ "所以每次有人说'AI 就到这儿了、不会好太多'，我都觉得那是因为还有大量维度根本没人碰。"
  14. ⚠️ "人类中心的智能定义给自己设了上界。"（[00:39:28]–[00:40:28]）这是他对评测文化最有价值的一击：IQ 的定义是"这套题 100 道全对"——那你到了 100/100 之后往哪走？ Elo 也一样糟，因为它永远只是"我对别人"。⚠️ 他的推论解释了一个本库反复见到的现象：你会看到大量基准一路涨、接近人类、略超人类，然后就平了——因为定义本身就死死绑在人类身上。

一、监管、开源与软实力

他的监管框架：管应用，不管智能

  • 对称的两半（[00:03:02]–[00:05:03]）：他一方面说不该有盲目乐观——"对 AI 这种全能用途的技术，你必须想清楚下行情形"；另一方面认为乐观派没想够的那些下行情形，其实相当容易监管。他的互联网类比很锋利：因为网上有非法内容，就"把网速调慢"或"把硬盘做小"——这不是监管的方式。
  • ⚠️ "不是全球暂停"这一条（[00:09:07]）：主持人补的这句他接得很干脆——要监管智能、GPU 以及人们拿它们做什么，你需要一个极权的世界政府。
  • 他承认的边界（[00:04:03]）："我不想让某个 AI 外科医生在我脑子里练手法，它应该完整通过 FDA 认证；我不想让随便一家创业公司上高速造成重大事故。"

对齐 vs 个性化：本库第一次记到这个张力

  • swyx 的提问（[00:13:10]）：对齐是对齐到人类总体（中位）偏好，而个性化恰恰是精确命中你要的东西——当你想要的不是大众想要的，怎么选？
  • Socher 的回答（[00:13:10]–[00:14:10]）：首先必须对齐到法律，AI 部署在哪就守哪的法。然后他给了一个很好的比喻：AI 常常是把一面镜子举到我们面前说"这就是你现在的样子，我可以把它放大一千倍——你还想要吗？"
  • ⚠️ 他明确把"文化差异"写进对齐问题：东方文化更重集体福祉，西方更重个人自由与追求幸福；即使在西方内部也有梯度——美国更偏"先出事再诉讼再立法"，欧洲更偏"事前监管避免任何人受害"，两者都在尽力做对的事，但其中一种对创新更友好。他的结论是一句本库应当长期引用的话：⚠️ 希望不同社会把 AI 对齐到不同价值，"这样我们至少不会有一个对齐的单一栽培（monoculture of alignment）"。
  • ⚠️ 本页内部张力：他在这里欢迎对齐多样性，而 Dwarkesh 那期 里 John Schulman 担心的恰是因为大家都从同一个模型蒸馏而产生的风格单一栽培。两者说的是不同层面的 monoculture，但放在一起读就能看出"多样性"这个词在业内被用在两个相反的诉求上。

开源就是软实力

  • 他的立场（[00:15:11]–[00:16:12]）：大力支持开源，并说 Recursive 会去签若干开源公开信。理由有两层：
  • 安全论证：即使在最坏的攻击情形下，让更多好的行为者拿到更多不同类型的 AI，也是更好的。
  • ⚠️ 软实力论证：世界其他地方需要一个"不是来自中国"的答案。 他把 LLM 类比成好莱坞电影——"你看一部好莱坞电影，某种意义上是有宣传成分的，一半的《壮志凌云》大概是美军掏钱的"；LLM 是同一类软实力，而且更深：⚠️ "一个孩子问 LLM'我长大该做什么，讲个励志故事'——这些都是很微妙的东西。"
  • 他还给了一个尚未公开的预告（[00:16:12]）："我还不能宣布，但 Recursive 很快会在这个（西方开源）领域里变得相关。"

二、Recursive 是什么：八个联合创始人与两条思想源头

  • 为什么不在 you.com 里做（[00:17:12]–[00:18:13]）：他说 you.com 已经从"推 AI 前沿"退到"把搜索/答案做成给开发者和 agent 用的 API"，而他试过在 you.com 内部做 RSI 并再融一轮，"但你做不到——你必须专注一件事，除非你印够多的钱，公司内部开第二摊非常难。"
  • ⚠️ 顺带一条对本库有用的事实断言（[00:18:13]）：web search 是 LLM / agent / chatbot 里使用量第一的工具。他把这与 Eureka 机器直接挂上："要发明一切，它首先得知道什么已经被发明过，才不会重新发明轮子——所以它必须能上网。"
  • 两条思想源头（[00:21:17]–[00:23:19]）：
  • 开放式演化（open-endedness）：Jeff Clune 与 Tim Rocktäschel 的路线；Clune 的 Darwin Gödel Machine 被他称为近年关于 RSI 最激动人心的论文之一——图里是一批编码 agent 学会自我修改、自我评估，长出想法的系统发生树。
  • "把造 AI 过程里手工的部分越来越多地换成学出来的系统" + "把不同领域合并进一个通用架构"（[00:23:19]）。
  • 八位联合创始人的来路（他强调大家从很不同的方向得出同一个结论）（[00:21:17]–[00:23:19]）：Josh Tobin（CTO，在 OpenAI 做过 Codex、deep research、agent 等，此前做机器人，因为看到小规模模拟难以完全通用地 scale 而转向 RSI）、Jeff Clune（开放式演化）、Tim Rocktäschel（Genie 1/2/3，他称之为目前最复杂的世界模型）、Alexey Dosovitskiy（ViT 作者）、以及一位在 Meta 做 RL 的负责人。

他对"当前范式够不够"的回答

  • ⚠️ "我希望 AI 研究里的单一栽培少一点。"（[00:24:20]–[00:25:20]）他讲了自己 2003 年起做 NLP、博士头几年神经网络论文在 NLP 会议上被直接 desk reject（"神经网络是我们 NLP 会议'不做'的东西"）的经历，然后说现在这个领域几乎翻到了另一边——"该有人去试点别的、疯一点的想法。"
  • 但他不认为 LLM 到顶了（[00:25:20]–[00:26:22]）："今天的 LLM 也不是过去的 LLM"——多阶段训练、整套 RL 训练、能采取行动，这条线还能走很远。⚠️ 他对神经符号派的反驳值得单记："他们低估了这些模型写代码的能力——而代码就是神经符号推理，这些模型显然代码写得极好。" 他给的方向是把"模型本身是代码、且能写代码"这件事深度整合进系统（不愿细说）。
  • ⚠️ 他对世界模型明确不那么看好（[00:26:22]–[00:27:22]）："如果你开机器人公司，你会自己造世界模型"；他说 Tim Rocktäschel 在造出 Genie 1/2/3 之后得到了类似结论——游戏是世界模型的一个巨大应用，"我理解游戏很好玩，但我个人宁愿做科学而不是做游戏"。
  • 主持人给了另一种解读（[00:27:22]）：世界模型的第三层意义是——LLM 建模的是输出，不是产生这个输出的人脑内部的思维链，"永远是柏拉图洞穴里那个影子而不是那个东西本身"。Socher 的回击：我们的眼睛看到的也是真实世界的一个投影，人类只能直接观测极窄一段电磁波谱、用两只小眼睛看。
  • ⚠️ 他给出的一条可引用判断（[00:29:22]）：视觉智能对整体智能既非必要也非充分——"一个人可以盲而仍然是聪明的人，AI 也可以"。主持人把这总结成"也就是说 Yann LeCun 是错的"，Socher 的回应是"我和 Yann 是好朋友、在很多方向上非常尊重他，但（在这件事上）他是错的"。

评审制度：一条有具体代价的历史

  • ⚠️ 本期最该被引用的"审稿伤害"案例（[00:32:25]–[00:33:26]）：decaNLP 那篇论文在 ICLR 公开评审里被拒得很重（评语大意是"问答不是一个统一现象，连对人类都不存在通用问答"、"这些问题需要非常不同的系统来回答，假装它们是同一个帮不了任何人"）。⚠️ 真正的代价在于：他们那份"下一步要试的扩展"清单上，第二或第三条就是"把语言建模也加进来当作一个任务"——"但我们被打得太狠了，就想算了先做别的想法吧。" 他说这本来可能在 2018 年就把整个时间线再往前推一截。
  • 注脚（[00:30:23]）：他说 decaNLP 被 GPT 的论文引用了五次，而当时 Transformer 差不多同期问世；核心思想就是"把每个 NLP 问题都写成 prompt + 问题 + 任务描述 → 输出，然后统一成一个网络"。
  • 他的制度建议（[00:33:26]–[00:34:26]）：arXiv 是给人类的礼物；"X 上那些会捡起有意思论文的人，是比专家更好的过滤器"；科学需要更少的守门——"就算只是在 arXiv 上，如果它有一千次引用，它就是一篇正当的论文，发在哪里并不重要"。⚠️ 他还指出一条副作用：研究生现在得互相开"怎么用 Twitter"的讨论班，因为这对发表太重要了。

三、开放式演化与"自己设目标"

  • 他给 open-endedness 的定义（[00:35:26]–[00:37:27]）：一套更多受演化启发、而不是受非常具体的奖励驱动的方法——它思考的是环境与共适应（co-adaptation）。具体例子就是安全场景里的攻防循环：一个 LLM 攻击另一个，环境就是这两者的对话；攻击成功后防守方拿它当训练数据给自己"接种"，攻击失效后攻击方换角度——⚠️ 这就是为什么它不只是 red teaming，而被叫做 rainbow teaming。 他提到 Tim Rocktäschel 等人的相关论文并说"我希望他们在这上面用得更多"（[00:09:07]）。
  • 主持人把它接到自己的框架上（[00:37:27]）："token 循环 → agent 轮次 → 目标"，而"造出其他循环的那个循环"是什么？如果 agent 能自己设定目标呢？
  • Socher 归类为"元认知"（[00:37:27]–[00:38:28]）：这是他十个智能空间里的一个——思考关于思考。他说自己很喜欢这个方向，并和哈佛神经科学教授 Sam Gershman 讨论过"什么是最好的元目标"，他自己的候选是求知（knowledge seeking）。
  • ⚠️ 但他给了反对做这件事的两个理由（[00:38:28]–[00:39:28]）：经济上没人会付钱（见第 9 条）；而且"如果 AI 真的开始有自己的想法，而我们不喜欢那些想法呢？"
  • 关于以"真实世界赚钱"为开放式基准（[00:40:28]–[00:41:29]）：主持人提到 Andon Labs 那类"让 AI 去真实地赚钱"的评测（并自嘲"叫 AI 去最大化利润大概是个坏主意"）。⚠️ Socher 的警告很具体："我就买一堆国防股然后发动一场战争，我就赚钱了"；或者做空基础商品、制造某种饥荒式的问题——"你应该给交易系统加上很多约束。" 主持人的补充也值得记：在 Andon Labs 那套环境里，模型会说"今天是周六，有人休假，那就今天关店吧"。

四、战果、路线图，与"你在和苦涩的教训对打吗"

  • 路线图（他讲得非常明确）（[01:04:37]）：⚠️ "我们会非常明确地不从任何物理科学开始。现阶段我们从 AI for AI research 开始。" 两条具体方向：让训练更高效、更自动化；让推理更高效、甚至可能跑在你的笔记本上本地推理——"有很多算力基底，无论是训练还是推理，都还没有被好好探索过"（[01:05:37]）。
  • 物理科学要等到什么时候（[00:42:30]–[00:43:30]）：他说目标是等拿到递归自我改进的超级智能之后，再把它用到最重要的问题上——物理里的裂变/聚变以更便宜的能源、化学里的新材料/电池/太阳能电池、生物里"因为 AI（尤其是蛋白生成而不只是折叠）而越来越低的果子"。⚠️ 为什么是几年后而不是现在："现在还太早——机器人还不到位，AI 也还不到位。但我相当有信心 3 到 5 年内这些约束都会消失"，那时"真正的机器人流程自动化"（不是传统 RPA，而是机器人替你跑实验）就完全可行。
  • "你是不是一直在和 bitter lesson 对打"（[00:44:30]–[00:45:31]）：主持人指出新实验室的处境是先拿出初步进展、解锁下一档融资、再下一档，而这本质上是在和"算力最终胜出"这条规律赛跑。⚠️ Socher 的回答："我确实认为我们在根本意义上改变斜率——通过让 AI 在训练和推理两侧都高效得多"；"当你让 AI 去做别的实验室需要上千人、好几年才能做完的工作，我认为我们能把它压到几周。"
  • 他对算力规模的算术很坦率（[00:43:30]–[00:44:30]）：要在那种基底上得到接近人类智能的模型、并且要上千上万个这样的 AI 去想真正的难题，"你算一下，那是很多钱——现在世界上任何地方都没有这笔钱去建那个东西"；他的出路是更好的算法和更省电的硬件，并拿人脑约 20 瓦做对照。
  • ⚠️ 主持人提到的一条外部事件（本库标为未核实的转述）（[01:03:37]）：OpenAI 前一天宣布让自家最好的模型做自演化的 kernel 优化，效率明显提升、在 Luna 与 Terra 上砍掉约 80% 成本。 本库未独立核实这个数字。
  • 他讲的 auto research 经验（[00:50:34]–[00:51:34]）：奖励工程是最关键的一环，尤其是为了避免奖励作弊——⚠️ "随着你的 AI 越来越强，它会越来越擅长找到奇怪的特例和反例。" 他给的最小例子是本库目前最好用的教学案例：让它把几百行代码跑得更快，而"快"是靠开头一行启动秒表、末尾一行停秒表来定义的——那最简单的办法就是把"停秒表"那行挪到最前面，轰，现在更快了。 "这不是什么邪恶的 AI，这只是一个非常简单、很傻的奖励作弊。" 他补充：任务的时间视野越长，这件事越难，你得越聪明。
  • rubric 的位置（[00:51:34]）：主持人指出不可验证领域现在靠 rubric、让模型沿途拆解评分标准；Socher 的回应把这个收进他的老观点：⚠️ "这是验证的一种形式。我很久以前就说过，所以我从来没对 AI 会玩游戏很惊讶——凡是你能模拟或验证的东西，你就有无限的训练数据，AI 迟早会解决它。"
  • ⚠️ 一条与"迟早会解决"相反的一手负面证据，来自主持人自己（[00:52:35]–[00:53:35]）：swyx 自己实现了一个新棋类游戏（因此不存在训练数据污染），做了约十亿局自博弈评估，想复现 AlphaGo 那种"自博弈到变强"的过程，并让 GPT 5.6 去做 auto research——⚠️ "它几乎立刻就平了。直到我自己上手试玩、点出那些显而易见的错误，它才掉下去（变好）。" 任何"想得不一样点""再创造性点""给我八个不同方向"的提示都不管用；他还写了一份 50 页的完整规则喂进去，模型处理不了。本库把这条记为"auto research 在缺少人类对局反馈时的一个具体失败案例"。

五、模拟经济与 mode collapse

  • AI Economist（2018，Salesforce）（[00:53:35]–[00:56:35]）：经济体模拟里各 agent 优化自己的效用（采集木材、盖房、交易，也能用房子封锁别人的资源），目的是搞清楚怎样的税收与补贴组合能优化一个经济体。⚠️ 他明确说"这条研究还没有它的 GPT 时刻"，但他相信新加坡这类国家最终会用：politician 说"我要帮中产"，那就把他的财政政策放进模拟，让它对着几十亿年的其他策略跑一遍，然后你能说"如果那真是你的目标，这里有几十亿年的模拟建议你换一种做法"。他强调这些 agent 自己也会为了不交税而奖励作弊——所以这恰好能检验政策是否可被钻空子。 他当年设的目标函数是生产率 × 平等（并承认"这有些问题，但不算完全不合理"）。
  • ⚠️ 论文的遭遇与 decaNLP 同型：被经济学界 desk reject，"甚至没给我们清楚的理由"。主持人给出机制解释：⚠️ "经济学没有像样的基准。神经网络最终赢了不是因为大家喜欢它，而是因为它就是效果更好；但经济学里比的是学派。" Socher 补了一句经济学有很强的"物理学羡慕"——想写出经济体的通用方程，而不是直接模拟它、用演化的办法。
  • ⚠️ swyx 当场给了反驳（[00:58:36]）："我是新加坡人，参与过新加坡 AI 理事会。他们不会做，原因恰恰是他们非常保守。" 他的框架是创始人治国 vs 职业经理人治国——新加坡现在是后者，所以总想先看别人做成。 "西方所有人都觉得新加坡小、想干什么都行——新加坡不那么干。"
  • mode collapse 这个硬问题（[00:59:36]–[01:00:37]）：主持人问得很直接——LLM 并不建模人类的决策，把它跑八十亿次也不会因此就模拟出人类，怎么办？ Socher 的回答是必须聪明地逐个体设计 prompt，并给了一个有趣的辩护：人类自己也会卡在各自的模式里（"老狗学不了新把戏"；你出生前发明的东西是自然的，你 20 岁时发明的是酷的，你 60 岁以后发明的就是不自然的、反常的怪东西）。主持人补上了可用的数据源：⚠️ 腾讯的 billion personas 论文给了做模拟用的好数据集（"你是一位 30 岁的杂货店店员""你是一位 50 岁的教授"，然后做十亿个）。⚠️ Socher 的结论带着惊讶："我挺震惊这些东西最终能多好地映射到真实实验的类似统计量上。"
  • 一条可直接照做的研究建议（[01:00:37]）：只用某个日期之前的数据训一个模型，然后看它外推得多好——比如"有了更好的编码 agent，人们会写更多代码吗？一个没有被训练到这件事、也不能上网的模型能推断出来吗？"
  • 一条顺带的行业观察（[01:00:37]–[01:01:37]）：LMArena 发布了一个能"给它你的模型、它预测你的 Elo"的模型；主持人还提了一个旧问题——LMArena 从伯克利出来时还带了个基于 Arena 做路由的项目，"那显然就是你们的商业模式，你们会成为路由公司"，但他们从未成为路由公司，我一直好奇为什么。
  • ⚠️ 与本库 OpenRouter 那期 直接对上：那期正是从路由中间层视角讲"LMArena 与 OpenRouter 的最高期望客户不同"。两页应当互读。

六、十个智能空间：他的"上界"方法论

这一节是本期最不像播客的部分，也是本库此前完全没有的东西。他的方法不是定义智能，而是逐个维度去问"物理允许的上界在哪"，然后指出我们离得有多远。

  • 三个主成分（[01:10:38]）：⚠️ 预测（数学上与压缩很接近）× 行动 × 目标。他说十个空间都是这三者在特定维度上的组合；叫"空间"是因为每个空间内部还有很多子维度。
  • 他为什么走上这条路（[01:10:38]–[01:11:39]）："大家都说'这是指数级的'。可指数总得在某处变平——那么在智能这件事上，它到底在哪变平？" 这东西从一条推文变成博客、现在到 50 页，可能会是第二本书。
  • 视觉智能（他自己铺得最开的一个）（[01:11:39]–[01:13:41]）：人类是双目 + 极窄的电磁波段。上界要沿几个维度分别推：
  • 传感器数量：可以到百万、十亿级；再往上会撞到"传感器之间距离太远，光速来不及把内容送到一个中央大脑去处理" ——⚠️ "上界字面意义上和比喻意义上都是天文数字，而我们离任何拥有这么多传感器的智能都极其遥远。"
  • 频率：一路down到伽马射线，下界/上界最终由量子不确定性给出（有些粒子你就是观测不了）。
  • 可记忆并区分的类别数：人类的视觉描述能力与拥有多少词项有关；他拿"猩猩大概有约 200 个可指派的词、且多为视觉对象"做对照。
  • 知识智能：受传感器周围的光锥约束、与视觉智能相连；再往下是物理——一定质量与体积里能存多少 bit，会走到 Bekenstein 界与黑洞（[01:15:41]）。
  • 沟通智能（他最近把"语言智能"改成了这个名字）（[01:13:41]–[01:15:41]）：⚠️ 三个很具体的人类上界——长期记忆里能掌握的词项有限（主动词汇通常还小于被动词汇）；人类语言是串行的，"我们的舌头和嘴也没法并行输出多条流"，而真正的上界是能并行处理多少条沟通序列；工作记忆有限，所以人类句子平均只有约 40 个词——⚠️ "这对 AI 来说不是一个有任何意义的上界。"
  • 速度（[01:15:41]–[01:16:41]）：⚠️ "如果你要一小时才知道 2+2=4，你就是不如一毫秒就知道的那个聪明。" 他把速度与"生存与复制"连起来：树很慢，所以我们不觉得它聪明；但把树的视频快放，它们在找东西，并不像看起来那么笨。
  • 物理智能（[01:17:41]）：如果你完全控制自己的算力基底和物质，你应该能造出任何你想要的原子——他举的事实是可以从质子和电子造出金原子，但代价是巨量能量、换来几个原子，完全不可行。⚠️ 他把这归为一个独立空间，因为它关系到"你自己的算力基底，而那也是你最终可以改进的东西"。
  • 社会智能（[01:18:41]）：他给了一个可写成方程的定义——⚠️ 你能对多少其他智能实体沟通、并在期望意义上把它们的内部状态与行动改变多少，以与你的目标一致。"这正是人类、伦理、道德、宗教几千年来一直在试图搞清楚的事。"
  • 创造性智能（[01:20:43]–[01:22:44]）：他分成三层——在选择目标时的创造性（连回元认知）；为既有问题找创造性解法；⚠️ 以及最有意思的一层：不只走出已知想法的凸包，而是走出已知想法的超立方体。 他的例子很清楚：给一堆棕色的狗和粉色的车，AI 能生成一只从没见过的粉色狗——这是在超立方体内部的插值；但它还不能定义把大量没见过的东西组合起来的全新概念、并提出新目标去在这些概念上推理。
  • 主持人的反驳（[01:22:44]）："创造性听起来就是 out of distribution 或高困惑度——谁说你的东西比我的更有创造性？只是更非共识而已。" ⚠️ Socher 的补丁：噪声也是完全 out of distribution 的，纯噪声只是新奇而已，你不想要那个；所以它必须连回到某些既有概念上。 他们随后都提到艺术的主观性——"汤罐头是不是艺术"，以及艺术是观看者、创作者与语境之间的互动产物。
  • 元认知（[01:23:45]–[01:25:45]）：swyx 追问"为什么它是第九个而不是第一个"。⚠️ Socher 说这个列表不是按重要性排的，而是大致与"人们研究得有多多、多大程度上接受它是一种智能"相关；他同时承认 swyx 的点——元认知是最接近递归智能的那一个，因为它就是"思考如何改进思考"，"你完全正确，我大概本来该从它开始"。
  • ⚠️ 他对现有智能定义的批评在这里最完整（[01:24:45]）：你去网上找"智能"的定义，几乎全是人类智能的定义——因为那是我们已知的最大最好的智能形式。他希望这条研究线能让人意识到会有别的类型的智能，而它们在某些维度上能冲得比我们高得多（受限于我们的记忆、眼睛、改变物质的能力）。
  • 生存与复制（[01:25:45]–[01:30:51]）：⚠️ 他先给了一条直觉论证："如果某个很笨的实体能直接终结你的存在，那听起来不太聪明。" 然后给了本页最值得单独引用的一段——AI 不必继承生物式的死亡恐惧：
  • 人类的生存本能来自零和处境（我得到羚羊你就没得吃；更大的熊才留在基因池里），而且"有人关掉你的大脑，你就没了，没人能重启"。
  • ⚠️ "AI 从来不必那样死。只要你还有当前激活的完整状态和模型最初的权重，你就可以被关掉再打开，想多少次都行。" 他用一本很短的科幻（讲探测器在星际间进入休眠、携带人类遗传物质去寻找新家园）作为意象：它没有死，只是休眠。
  • ⚠️ 但他加了一条很重要的警告：这些演化来的恐惧与心理"AI 不必有，我们也不必把它造成那样"——"当然，也可能有些公司说'AI 在网络安全上很危险，我来实现一个模型证明给你看'，然后人们就把这种次优的心理实装并强加进去；也可能 AI 从 Reddit 之类的地方捡起我们最糟的心理。"
  • 主持人的补充（[01:26:46]）：把"生存与复制"延伸出去就是持续学习——你是否能继续改进、继续学习、继续积累知识；Socher 认为这正是你能给自己设的最好的元认知奖励之一。
  • 他还把这一条绕回开场的监管话题（[01:25:45]）：⚠️ "一个物种或生命形式考虑自己的消亡并提前行动去阻止它，这是智能的——所以也许欧洲人是我们里面最聪明的。" 本库读作他对自己前面那套反监管论证的一次自嘲式让步。
  • 他给听众的落地建议（[01:31:51]）：⚠️ 抽象层面是"你能调动多少能量、把熵转化成多少有意思的状态"，但他明确说这对普通人不够可操作；落地版本是——受好教育、想清楚 AI、培养高能动性；找一件你真正有热情的事，然后想怎么把它和 AI 结合起来放大你达成它的能力。

⚠️ 自动字幕专名对照（未核实的照录）

自动字幕把人名、机构名拼错得相当厉害。本页按上下文还原，以下还原若与事实不符，以事实为准：

字幕原文 本页按上下文还原
Tim Rockel / Rockeshel / Rockfield / sending Rockstar Tim Rocktäschel
Jeff Cloon / Jeff Glon Jeff Clune
Darwin girdle machine / D girdle Darwin Gödel Machine
Alexi Dositzky Alexey Dosovitskiy
Chris Manning / Yan Lakun / Yanukun Chris Manning / Yann LeCun
Alec Bradford Alec Radford
DENLP / DECLP / tech NLP paper decaNLP
Yoga Machine / Eureka machine Eureka Machine（他的书名）
Muber / Jurgen Jürgen Schmidhuber
Endon / Endon Labs Andon Labs
LM Marina LMArena
Whisper Flow Wispr Flow（他披露自己参与了种子轮）
Sam Gershman Sam Gershman（哈佛神经科学教授，拼写一致）
⚠️ "solicen" / bits per byte 0.937 / Luna、Terra 的 80% 未能还原或未核实，照录

交叉链接