跳转至

Diogo Almeida(TypeSafe / Jev):让代码而不是人来消费模型——system one 模型、RLCD 与"反公开基准"(Latent Space,2026-09-21)

录制于 Jev 发布后不到一周。本库此前的模型实验室材料都在同一条主线上(更聪明的通才、更长的推理、更好的 harness);这期是第一份主张"根本不该把模型做成给人用的东西"的一手材料:模型的消费者应该是代码,因此拒绝 reasoning、拒绝 API 层的 safety alignment、拒绝公开基准、拒绝身份塑造。他对 pacing the frontier 的反驳也建立在同一个前提上。

说话人认定:自动字幕,只有 >> 换轮标记、无姓名标签。本期单主持,分工极清晰:提问、"我们之前有一期和 Hugging Face 的 Clementine 聊过"、"我把 Jev 扔给一堆东西试过"等为 swyx;所有第一人称的 TypeSafe / OpenAI 内部事实(InstructGPT、与 Sam 的对话、招人、co-founder Eric 与 Sasha)为 Almeida。⚠️ 字幕把他名字识别成 "Diego",且有多处脏话被静音/漏词,本页引用均为意译。

概要

  • 产品主张:Jev 是"system one 模型 / large programmable model / machine native 模型",设计目标是被代码消费而不是被人读(公司名 TypeSafe 由此而来),卖点是 intelligence per dollar(Jev 取自 Jevons 悖论)。
  • 技术立场:RLHF 的 mode dropping 是被忽视的代价;robustness 比 determinism 重要;公开基准不可用;fracturing intelligence(把智能撕碎)是最该避免的事。
  • 方法论:"bitterest lesson"——比算法与算力更重要的是选对任务(north star);LLM 史上这种任务级转向只发生过约 2.2 次(RLHF → RLVR → 他称的 RLCD)。
  • 对行业的反驳:pacing the frontier 的整个讨论预设了"必须做更多 RLVR、且必须让模型在中间环节想干什么就干什么";他认为这个前提有替代项。
  • 身世:他在 OpenAI 推动过 InstructGPT 的部署,后来因为"指令跟随只被用来写 slop"而回到白板前,反推出"AI 经济革命发生时,调用 API 的会是人还是代码"这个问题。

核心观点

这是一类新模型:消费者是代码

  • 分类学([00:04:04]–[00:06:05]):预训练 LLM 的目标是"自动补全互联网";RLHF 模型是聊天/指令跟随,目标是回复文本;RLVR 处在灰色地带;而他们这类模型的产出是直接被代码消费的——"所以公司叫 TypeSafe"。他们对命名不执着,目前最准确的叫法是 system one 模型;⚠️ 他明确说不叫 decision model,因为"system one 比那更广"([00:04:04]、[01:15:54])。
  • 目标函数([00:06:05]):Jev 这个系列的定位是永远站在 intelligence per dollar 的前沿(名字来自 Jevons 悖论)。他说自己最爱和人争论的是"reliability、cost、calibration、speed 哪个最重要"——而成本与速度是你付出去的东西,智能才是你要拿回来的([00:20:11])。
  • 类比([00:25:15]):⚠️ "把 LLM 想成 UDP,把我们的模型想成 TCP"——上面可以叠各种东西。他把终局称为"intelligence 的 AWS",并说"说它一定会是我们就太自大了"([02:20:51])。

RLHF 的代价:mode dropping,以及 LeCun 那张图为什么不成立

这是本期技术密度最高的一段([00:07:05]–[00:10:07]):

  • 他说自己相当认同 LeCun 的多数判断,但那张著名的"LLM 必然失败"的图(随序列变长、出错概率累积到 1)"在数学上显而易见,但在经验上明显不成立"。
  • 他给的断点:如果模型处在mode covering / 校准良好的分布上,出现离群值不会被过度惩罚——你本来就预期有一部分时间在分布外。这就是 GAN 之前的模型生成模糊图像的原因;而 GAN 会 mode drop,丢掉少数类只生成最常见的。
  • 把这套搬到语言模型上:为了生成很长的串而不出错,模型必须极度保守——因为错误很容易被看出来,而"看起来对的微妙东西"很难被看出来。⚠️ 他的结论:"这种校准是对字符串概率分布的彻底毒害",所以string 模型做决策是糟糕的。
  • 他说这是没人关注的 RLHF 下行代价,"我早该写篇博客"。
  • 对 LeCun 的解法(JEPA / 联合嵌入预测)他不愿正面评价,只给出自己的立场:⚠️ "JEPA 是很酷的早期研究,但现在实用吗?我可能不该说。"([00:10:07]–[00:11:09])
  • 他对 scaling law 的措辞很克制([00:10:07]):scaling law 只是告诉你投入多少换来多少,而"指数级资源换次线性收益看起来是笔坏投资——除非那点线性收益极其值钱"。

"fracturing intelligence":他认为最该避免的事

  • refusal 是一个 type error([00:13:09]–[00:16:09]):人在聊天框里被拒绝很烦、但能绕;而如果这东西是后台运行的一个依赖,它拒绝了会怎样? 别人也在用这个依赖、他们并不知道这个系统的存在——"软件因为某个用户发了条奇怪的消息就随机坏掉,这是彻底的疯狂"。他把这归因于"不懂软件、不懂编程的人沉迷于'AI 同事'这个无马马车"。
  • 他的区分(本库值得长期引用的一条)([00:14:09]–[00:15:09]):capability alignment = 做用户想要的(这对软件工程师极好:越可预测,他们越不用反复测试);safety alignment = 遵循别人的指令。他认为后者对产品(ChatGPT / Claude)完全合理——"如果他们不想和 ChatGPT 角色扮演,那是他们的事,也许他们的用户是有孩子的家长";但在 API 层上这是荒谬的,因为开发者要围着它编程。
  • 他为什么不在技术层面放手指([00:16:09]–[00:17:09]):被问到"用它去杀人怎么办",他的回答是他个人当然希望不被这样用、也愿意为此出力,但不在技术层做——⚠️ 理由是机制性的:"每一次你让它为某种奇怪情形过拟合,你就把它的智能撕得更碎一点;而现在这些东西已经碎得不成样子了。"
  • 他的类比([00:17:09]):⚠️ "智能会更像数据库,而不是同事"——"我不认为该由数据库来检查自己是否被用于不好的事"。对应的边界设计是:有人在 Slack 上问"我们要部署这个,可以吗",他的反应是"我们是个 API,你是开发者,这不是我的事"——"你本来就不该知道整个任务是什么,任务应该被分解成小块"([00:18:09])。
  • 连身份也不塑造([01:55:26]–[01:56:26]):他不会把"你是 TypeSafe 的 Jev"训进模型,"那会把它撕碎";他要的是"模型就代表互联网认为的那样——要正确,因为那才能得到平滑可预测的智能"。他指出做 chatbot 的客户也不想让模型自称某个牌子。
  • chat-first + reasoning mode 本身就在撕碎智能([01:53:24]–[01:54:25]):为聊天优化基本就是纯 RLHF,而 RLHF 内在地导致人们抱怨的那些东西——⚠️ 谄媚(sycophancy)、过度自信、幻觉,以及在排行榜上得分高的那种风格(加粗、斜体、表情、不直接回答而是长篇大论再反问一句)。他的解释回到上一节:"字符串是很怪的东西,你必须失校准、必须 mode drop、必须过度自信,才不至于翻车——因为奖励模型一看到错误就重罚。"

反公开基准,但不反测量

  • 立场([00:19:10]–[00:21:11]):⚠️ "我极端反对公开基准,对私有的代理基准持中立态度。"理由不只是容易作弊——而是他卖的东西是智能,而智能有一种"说不清的质感(je ne sais quoi)";发布两小时后真正传开的不是视频,而是"这东西真能用"这种体感。
  • 他给的历史依据([00:21:11]):⚠️ "当年每个实验室都有一个团队专门收集长得像 MMLU 的数据,让分数好看——那就是 benchmaxing,只是多了几步。"
  • 他的替代方案:⚠️ "长期来看只能靠 vibes 和信任,直到你把它放进自己的工作流、为那个工作流做评估和测量";而厂商的职责是"持续推进可靠性的位数(nines)"。
  • 但他不反对测量([00:54:33]):他们当然有内部 eval——"否则我们怎么敢保证自己在 intelligence per dollar 的前沿?";关键是纪律:"不自欺地看待自己模型有多聪明,是最重要的事之一;有任何别的激励时这件事极其危险。"
  • 代价他也说了([00:34:20]):去年融资时"没人信我们,他们只想要基准分",而他们拒绝——"那会奖励坏行为"。他同时说自己连 demo 也反对("我也 anti-demo,我要确保它可靠地工作")([01:35:10])。

robustness > determinism(以及一条可操作的测法)

  • 没有 seed([00:42:27]–[00:44:28]):他说 determinism(同输入同输出)对单元测试有点意思,但是错的北极星;真正重要的性质是 robustness:相似输入给出相似输出。
  • ⚠️ 他们的测法(本库第一次拿到这种具体做法):在 prompt 里塞 UUID / nonce,语义上完全相同的问题应当给出相似输出——"LLM 在这件事上有多不可靠是很野的",而这正是人们用 AI 做决策时被烧到的地方。
  • determinism 并非做不到:⚠️ "它可以作为一个选项提供,只是会换走一些 intelligence per dollar";而他预期GPU 会长期紧张,任何降低 intelligence per dollar 的事都意味着同样智能消耗更多 GPU([00:46:30]–[00:48:31])。
  • 主持人的预判与他的承诺([00:48:31]–[00:49:32]):swyx 指出"你说为了 intelligence per dollar 什么都做、而且 GPU 紧张"会让人担心悄悄量化降质,建议公开承诺。Almeida 当场给出承诺:⚠️ "我们部署之后不会改模型",并解释"第一方产品可以随便改,API 不行";但不承诺长期支持(LTS)——他们会比模型厂商惯例快得多地发新模型,并可能临时把当前的 Jev 1.13.0 做成 LTS,因为用的人太多、而"切碎自己的 fleet 对所有人都是坏氛围"([00:50:32])。
  • 他对版本间差异的经验描述([00:50:32]):⚠️ "我们的模型版本之间的变化,通常比 string 模型连调两次的差异还小";大的 delta 出现在"从 jagged 到 wow"的时候。

API 设计:三个原语,故意不等于编程类型

  • 三个原语:choice、score、nool([00:55:34]–[00:59:39])。
  • ⚠️ nool 来自 Bernoulli(所以拼写才这么怪):它是"boolish"但连续的。
  • 三个都是新概念,故意不是已有的编程类型:"score 不是 int,如果你用 instructor / pydantic 那套把它映射成 int 或 float,你会被坑。"他说这是宁要清晰、不要一看就懂。
  • 映射关系:choice → enum 上的 switch/match(他说 function call "是个极其恶心的东西");nool → if 语句;score → 排序或阈值比较。⚠️ "将来会有更多类型,它们都会映射到编程原语。"
  • 输入也要结构化([01:00:39]–[01:01:42]):state、instructions、criteria 都可以是结构化 JSON 对象,这样程序可以把东西插进正确的位置,而不必拼模板。⚠️ 他的判词很直接:"如果你还在把它变成 system message,你在用旧方式思考";"system message 就是恶心的全局变量——你把所有指令一次性塞进去,然后指望每一条都被命中,而不是并行地分别提问。"
  • 他的使用建议(本页最可操作的一段)([01:02:43]–[01:07:48]):
  • 把问题拆到最小的语义单元,问很多很多小问题——"不管今天的模型能不能一次做完"。
  • 每一个小决策都是可评估的:发现"它没拒绝是因为我没指定这种情形"时,加一个问题、加一个阈值、把它记成测试用例,这件事就永久解决了——"你的软件不会因为 context rot 而忘记"。他称之为 ⚠️ "ML without the ML"。
  • 具体例子:不要问"我该拒绝吗",而要把可能需要拒绝的不同情形拆成多个独立问题([01:06:47])。
  • 长状态的省钱技巧([01:38:12]):⚠️ 给每条消息打 ID,然后对每个 ID 并行问一个问题——状态只付一次钱,却能问很多问题。
  • 他承认这套做法在以前不划算(慢、贵、还更差),而这正是他们要改变的前提(主持人以自己的实测佐证)([01:03:45])。
  • 没有 fine-tuning([01:08:50]–[01:12:52]):目前只有"改提问 / 拆更细 / 调阈值"三个杠杆。他对 fine-tuning 的态度是"能想象,但担心"——怕损失通才带来的边缘情形能力;他更希望靠校准 + 模型级联(置信度高就接受,中间档就升级到更大的模型)解决,并提到可能出不同大小的 Jev、甚至自动微调(⚠️ 他反复强调"这不是承诺,是我在想科幻")。
  • 主持人补了行业事实:OpenAI、Anthropic、Gemini 都上过又收回过 fine-tuning,"微调现在基本是开源模型的领域"([01:10:52])。

"bitterest lesson":选对任务比算法和算力都重要

  • 他的版本([00:21:11]–[00:22:12]):Sutton 大意是算法胜过算力;而他说 ⚠️ "数据比算力重要得多,而做对任务、有一个北极星,是最难也最重要的事"。
  • LLM 史上的任务级转向只有约 2.2 次:RLHF(把任务换成指令跟随,"当时没人意识到这是可能的")→ RLVR(他称只是"一个很小的方向性编辑","在我看来是 0.2 次,这还算宽容")→ 他们的 RLCD(任务是"程序在循环里")([00:22:12]、[01:47:20])。
  • RLHF 这个词指什么([00:26:15]–[00:29:17]):他特意区分——他说的 RLHF 不是指 PPO 那个算法(DPO 及其后代"不用那个算法但也在做 RLHF"),而是指"指令跟随"这个任务本身,"是设定'这个方向有价值'这件事"。他对术语的自我评价:"我沟通时过度讲究细微差别,但我不认为 RLCD 是黑话。"
  • 数据观([00:23:14]–[00:25:15]):⚠️ "在我这儿,模型能力就等于数据";他们在"无限招数据人"(内部称 model capabilities,因为"data 在这行业几乎是个贬义词",而他要把这些人放在最高地位)([02:19:50])。
  • ⚠️ 他们不训练用户数据,即便能拿到:真实世界数据偏得厉害——人们问同样东西有幂律分布,训上去就会过拟合、撕碎模型。
  • 更根本的理由是时间尺度:他们要的是"几年后模型成为深埋在栈里的通用基础设施"那种用法,"即使我们拥有当下的全部数据,也只会过拟合到当下"。
  • 数据人在做什么:像艺术家一样研究这个 cognitive core,找出它的 jaggedness,然后以能泛化的方式逐处外科手术式地修补(⚠️ "我们的 cognitive core 比任何人的都更不 jagged")。
  • ⚠️ "如果你给我十亿美元,我不会去预训练"([01:50:22]):太贵;他更愿意"切片、拼接、各种折腾"——"Frankensteining 不是最优雅的事,但它解决问题"。他说自己在私下对投资人说的话也会公开说,这是他的原则。
  • 对 mid-training 的看法([01:49:21]):⚠️ "都是一个连续谱……说到底是省钱的事,省得重新预训练";他感兴趣的是能力如何被逐步烘进模型——短期是微调式的快速对齐,长期是反复看到后越来越深地固化,而"最终变得稳健的那部分,正是 system one 的东西"。

system one vs system two:他承认这是经验问题

  • 他的回答方式本身值得记([01:20:54]–[01:22:56]):⚠️ "实话是,这是个经验问题,就像 scaling law 是经验问题一样"(他拿机器人类比:现在不太 work,可能不是钱的问题,而是经验结果就不在那儿)。
  • 他的经验判断:预训练得到的"智能的高度压缩"本质上是 system one 思考者;而 RLVR 为 system 2 做出了惊人的成绩("我很敬佩,这非常酷,而且我完全不认为它会导致 AI doom——当然也不是 0%,因为 0% 是失校准的")。
  • 但他说 RLVR 的产物极其脆弱([01:22:56]):对照 ChatGPT 时代人们说"它很通才但数学不行",现在人们说 RLVR 模型"好脆、好 jagged";⚠️ "数学不只是尖峰状的,它是分形的。"
  • 三个北极星的对照(本页最浓缩的一条)([01:22:56]):RLHF = 取悦人类;RLVR = 优化基准(⚠️ "凡落进 RLVR 这一类的东西,按定义就是基准,因为基准就是可程序化验证的简单输出");RLCD = 让它在程序化使用中可靠。
  • Jev 不做 reasoning([01:24:58]–[01:26:00]):他说模型真正擅长的是模型内部的推理,而"在字符串里推理"(他与主持人就"latent reasoning"这个词的历史含义有一段澄清:以前指推理轨迹保密、因而是答案的潜变量)既慢又脆;但他照例留口子——"有些形式的推理没那么慢、低效、脆弱,那些完全在考虑范围内"。
  • 主持人的实测([01:23:57]):单跳极好("单跳就别用别的了"),多跳随跳数单调变差。Almeida 的回应是回到经验问题:"我们在挖掘属性这个行当里——那些属性是这些压缩内核里本来有什么的函数。"

用例分类(他们发布前就从第一性原理画出来的)

([01:37:11]–[01:39:13])

  1. ⚠️ dark data:公司囤了大量数据但舍不得用 LLM 去跑,因为太贵——"大公司非常喜欢这个,这是数据科学家的梦";他认为这一类加 coding agent 是量最大、最赚钱的两块。
  2. coding agents。
  3. 实时 / 智能在环:他认为那些公司的 CTO 都清楚"每省 10 毫秒产品好多少";电商、各类助理、以及游戏(他想玩"智能的自动战斗游戏"、提到 NPC 用简单状态机就能很有意思)。
  4. "verify everything":给所有 LLM 调用做校验/可观测性。
  5. smart software:内在可组合的软件、"以前根本不可能存在"的东西(他举社区做的"把 Jev 当编程语言"的项目)。
  6. ⚠️ computer use 是从侧面冒出来的(社区做的语音操作整台电脑的 demo)——"如果它可靠,我超级兴奋;我怀疑我们能把模型在这类用例上做好很多,因为这是意料之外的"([01:35:10]、[01:39:13])。

对 coding agent 现状的判断,以及"KV cache 的暴政"

  • 格局判断([01:40:15]–[01:41:15]):Claude Code 与 Codex 大致是第一第二,但它们是围绕"单模型世界"建的;而所有开源 coding agent 现在很兴奋,因为它们可以混搭。他的推论:这些 agent 目前大致处在同一水平("一个 while 循环能做的事就这么多"),⚠️ 但"一旦有人找到只有某个 agent 能做的杀手用例,所有人就会涌过去——而开源的那些都能把它抄过来"。
  • ⚠️ 他最想别人去做的方向(他明说自己没时间做)([02:10:38]–[02:15:48]):让 coding agent 摆脱 KV cache 的暴政(他为此写过一篇 "KV cache rules everything around me")。他的论证:
  • KV cache 把你锁进一个模型,而且为了效率你必须不断往后追加——于是你没法做好的软件工程实践:状态管理、抽象、分解。
  • 他说这一条解释了一串现象:⚠️ 为什么路由很难、为什么 sub-agent 看起来不 work、为什么 compaction 是个难题。
  • 为什么 sub-agent 难:你要传的状态太大——"你需要比读它所用的智能便宜得多的智能,才能把这个状态搬来搬去"。
  • 他的愿望清单:显式标注状态、在带层级标签的子任务树里检索相关上下文、便宜地回看历史上下文(⚠️ "continual learning 其实是个内存管理问题,因为你没有聪明的查内存方式")、以及并行 sub-agent 互相读写状态并用聪明的锁协调,而不是"你在干啥我在干啥、Jev 你说谁先写"这种原始方式。
  • 他把这归到与 recursive language models 同一片"值得玩的空间",主持人则指向 Prime Agent(并提到同期录的 RLM 那集)([02:13:45]–[02:15:48])。

对 pacing the frontier 的反驳

([01:43:16]–[02:06:34])这是本库目前唯一一份从"你们的前提有替代项"这个角度反驳 pacing 的材料。

  • 他先澄清一个技术点([01:44:18]):⚠️ "RLVR 并不真的是关于'可验证的奖励'……重点是整套东西的形状,其中推理被当作一个潜变量:你做事的时候让模型在中间想干什么就干什么,以便让它尽可能强大,去回答最难的问题。"
  • 他的反驳本身([01:45:19]–[01:47:20]):pacing 的讨论"是个很窄的聚焦,因为它预设所有人都需要做更多 RLVR"——⚠️ "对我们这个形状,零才是最优的 RLVR 量"。所以他称这里有一种 sleight of hand(偷换):
  • "他们其实是在说我们想继续做那件看起来危险的事,因为它会做出危险的事;"
  • 关于沙箱逃逸类事故——⚠️ "显然沙箱是问题,而他们本可以轻松解决,但他们选择不解决,因为你越让模型在中间'什么都能做',它就越强。"
  • 他称之为 ⚠️ 责任的稀释(dilusion of responsibility):把"我们必须做 RLVR、而且必须越来越多"当成前提,然后得出"大家都会这么干,所以我们正走进一个危险世界"。
  • 他把责任归给研究者而不是公众([01:47:20]):⚠️ "唯一有过错的是研究者。公众当然不该被怪——他们只是假设 OpenAI、Anthropic 在尽力,而他们并不是清楚真实可选项的专家。"
  • 但他给自己设了边界([01:47:20]):⚠️ "我的目标不是说服实验室还有别的方向可走,而是让软件工程师重新有希望去自动化他们一直想自动化的东西。"
  • ⚠️ 主持人在此处引入了一条政治解释([02:05:34]–[02:06:34]):swyx 说他与 Anthropic / OpenAI(以及 SpaceX)的人谈过,认为 pacing 的推动"更多是政治定位而非纯粹的生存风险问题",并说某个房间里的讨论指向 2028 年大选。Almeida 的反应是明显的失望("真希望我没听到这个"、"这让我对人性有点失去信心")。本库标注:这条是主持人对私下对话的转述,未核实,且他自己限定为"不是整个公司、只是那个房间的讨论"。
  • 他把这条接到一个更一般的立场([02:07:37]):⚠️ 他反对"为了更大的善而误导人"——他认为 COVID 期间"人们过度依赖权威诉求和过度自信去促使他人按某种方式行事",而下游的涟漪"对世界极其有害"。

对 neolab 的判断,以及他自己的来路

  • ⚠️ "大多数 neolab 是垃圾"([02:03:32]–[02:05:34]):他说自己不看重纯研究血统("那通常不创造价值"),而看重有多在乎选对任务;并说大多数 neolab "像是在从零重做工作,推动前沿的概率很低",他谈过的多数没有方向,只是想要钱去玩实验——"如果他们有方向,我极其支持。"
  • 他给想出来创业的实验室研究者的建议是分情况的:如果你只是想玩研究,实验室大概就是最好的地方;如果你想做对的任务,那就请去打破这种单一心智。
  • ⚠️ 他对自己也用同一把尺:"我不想把自己看成 neolab 的同行……我在乎的是成为一个可靠的开发者平台";他说公司有一堆拿 neolab 开玩笑的周边([00:40:25])。
  • InstructGPT 的那段历史(一手)([01:57:27]–[02:00:27]):
  • 他说自己极力推动部署 instruct,早期版本甚至用了他自己写、从未发表的算法,因为"清洗 PPO 数据太慢了";⚠️ 上线后"基本立刻拿到当时 LLM 市场份额的一半"。
  • 他当时真的在想"这是 AGI 吗?因为它在'指令进、指令出'这件事上超越人类"——⚠️ "显然不是。但每个人都该能回答:为什么那不是 AGI,尽管它看起来很聪明。"
  • 他的答案来自结果:它最终主要被用来写营销文案(Jasper、Copy.ai 这类),"也就是现在被称为 slop 的东西","我们担心自己把互联网变得更糟了"。
  • 于是他回到白板前问:⚠️ "从'AI 带来的经济革命'往回倒推——那件事发生时,如果 AI 是个 API,调用它的会是人还是代码?"他的判断是"代码会占好多个 9",而"所有优化却都投在人那一侧"——北极星由此确定。他写了文档,Sam 说"这太好了,你该去做这个",他当时的回应是"山姆,我有工作"。
  • 他当时还以为"这么显然,Anthropic 肯定已经在做了"([02:00:27])。
  • 离职与创业([02:01:27]–[02:02:27]):他说如果真发生 AI 冬天、而他没尽一切努力阻止,⚠️ "我会认为自己负有个人责任——既为 RLHF 这个方向(我认为它大大拉开了过度承诺与交付不足的差距),也为没有全力押上这个方向。"他原以为这事"要一周",结果花了多年。先找 Eric,再找 Sasha(本意只是问"我是不是疯了",Sasha 当场说"我加入"并要解散自己的创业公司);两周内拿到融资、有人搬进他公寓。
  • ⚠️ 他说自己"零创业者属性"([02:15:48]–[02:16:49]):"我不喜欢创业公司,从没想当 CEO,想不出谁会干两次。"融资时被问"你崇拜哪些 CEO",他的回答是"呃,我为什么要崇拜那些人"。他说自己在 OpenAI 感到被剥夺能动性——"像在一个所有人都只会说 ChatGPT 的疯人院里"。
  • 他当年提的一个具体要求([02:17:50]–[02:18:50]):⚠️ "任何不给每个 function 一个真正的 bias(或概率)的 function calling 项目,请把我移出去"——因为"假设动作是 refuse 或 allow,Disney 在 AI Dungeon 里需要设一个不同的拒绝阈值,而用 function calling 控制它的唯一办法是在 system message 里求它'拜托',这是疯了"。他说这个问题至今没变:现有 coding agent 对自家 harness 高度过拟合,所以对外部工具与 MCP 用得不好;而"解法居然是在 system message 里乞求"。

经济主张:TFP 增速而不是 AGI

  • 他的北极星指标([01:18:54]):⚠️ 五年内 TFP(全要素生产率)增速 +3%。主持人的评语是"我从没见过一个实验室关心 TFP 增速"。
  • 他把这接到 OpenAI 旧章程的"完成世界上大多数经济价值工作"这个定义上([01:18:54]):⚠️ "他们该回答:怎么可能做得了数学千禧难题,却做了世界经济价值工作的零?我猜现在所有模型大致并列在零——有可能已经开始,但我猜还不到 1%。"
  • 他对后果的预期([01:19:54]):⚠️ "它不会造成大规模失业,但会带来一大堆很棒的转变";他还说"我已经厌倦 AI 永远当前景角色——世界应该只是变得更令人愉快,AI 应该只是帮忙而已",最好消失进背景里。
  • ⚠️ "反向 SaaS 末日"([01:20:54]):他认为 SaaS 会被这件事大幅增强,因为"他们最清楚什么东西值得自动化"。他对现状的质问是:"2019 年的软件已经极有价值,现在是 2026 年,为什么软件基本还是一模一样,只是旁边多了个有时能用的聊天框?"
  • 他对自己护城河的表述([00:31:17]):⚠️ "如果整个 TypeSafe 消失,也许别人要一两年才能真正追上。我其实不知道要多久。如果模型质量重要,那我们会在很好的位置待很久。"

事实性细节(均为他口述,⚠️ 本库未核实)

  • 发布一周内突破每天 1 万亿 token,而且"不是一阵风——晚上也在持续跑,说明是机器在调用,不是人在试玩"([00:36:22])。
  • signup 数对开发者平台没意义,真正的压力在 rate limit;他们"把等待列表的人全放进来了",而拿到价值的人立刻要更多额度([00:37:23]–[00:38:25])。
  • 发布视频约 36–38M 次观看;他自己给的对照是"Navier–Stokes 那条 74M、Fable 5 那条 57M"([00:39:25])。Discord 10 万人([00:03:04])。
  • ⚠️ "我们的 uptime 的 9 比 Anthropic 还多,而且是在史上最疯狂的发布期间"([00:37:23])。
  • 发布前的内部体感:一半以上试用过的人"根本没懂",非技术同事很担心"我们在卖维生素不是止痛药",发布前几乎没有收入;发布后变成"我们能不能直接给你们 GPU"。他由此说想质疑"product-market fit"这个概念本身([01:32:09]–[01:33:09])。
  • 他们把文档/cookbook 当教育瓶颈来投入,因为发布前"这东西听起来像个奇怪的外星工具,谁会需要它";发布后"社区的用法比我们能教的更酷"([01:30:05]–[01:31:06])。
  • 服务器位置敏感度:⚠️ "光速更像瓶颈了——我为欧洲用户难过,我们在那儿没服务器,所以只快三倍而不是一百倍"([02:19:50])。
  • 他说 Jev 这个名字内部一度被反对("除一个人外都已道歉"),有人想叫 Meow([00:56:35])。
  • ⚠️ 他提到 OpenAI 的两段内部史:"政变"期间他正在做一次感恩节的 hero run(他说"没时间爆料政变的事",并把它概括为"安全派接管了公司"——⚠️ 这是字幕里主持人与他交错的表述,归属不完全清楚,本库只照录)([01:57:27]);以及"OpenAI 更擅长追赶而不是真正创新",他举 ChatGPT 对 Claude、Claude 做了 coding agent 等例子,并说推理方向"算 OpenAI 领先,但那是很好的研究、不确定是不是产品需求"([02:00:27])。

相关主题

  • LLM 训练流程(RLHF/RLVR/RLCD 三个北极星、mode dropping、合成数据与"不训用户数据"、mid-training、"给我十亿也不预训练")
  • 评估与基准(反公开基准、vibes+trust、内部 eval 的纪律、robustness 的 nonce 测法、不承诺 LTS 但承诺不改已部署模型)
  • 实践中使用 LLM(拆到最小语义单元、结构化输入而非 system message、每条消息打 ID 并行提问、阈值即"ML without the ML"、KV cache 暴政与 coding agent 的待探索模式)
  • LLM 安全(refusal 是 type error、capability alignment vs safety alignment、"智能像数据库不像同事"、对 pacing the frontier 的前提级反驳)
  • AI 实验室文化("大多数 neolab 是垃圾"、不看重研究血统、InstructGPT 的部署史与离职动因、"如果 AI 冬天来了我负有个人责任")
  • AI 商业化与价值捕获(intelligence per dollar 作为产品定位、每天 1 万亿 token、开发者优先于企业、TFP +3% 作为北极星、"反向 SaaS 末日")

⚠️ 自动字幕专名对照(未核实的照录)

Jev / Jev 1.13.0(模型与版本名,取自 Jevons)、TypeSafe、RLCD(他对自己这类任务的命名,尚无论文)、nool(源自 Bernoulli)/ score / choice(三个 API 原语)、system one model / large programmable model / machine native、"KV cache rules everything around me"(他的文章)、Eric 与 Sasha(联合创始人)、Kay(chief of staff)、Clementine Fourrier(Hugging Face,主持人提到的往期嘉宾)、Prime Agent 与 recursive language models(主持人提到)、Jasper / Copy.ai、AI Dungeon、Fable 5 与 "Navier–Stokes" 视频(他给的观看量对照)。字幕把嘉宾名识别为 "Diego",本页统一写作 Diogo Almeida。