用 AGI 级模型干所有事是"用核弹打蝴蝶":neurodiversity、反"上帝 agent",以及 fusion 把前沿质量做到四到五折(a16z / OpenRouter × Replit,2026-10-03)¶
- 嘉宾: Alex Atallah(OpenRouter 联合创始人兼 CEO;⚠️ 本期是他被 Stripe 收购后做的第一期播客,期内明说)、Amjad Masad(Replit 创始人兼 CEO)
- 主持: Erik Torenberg(a16z)
- 来源: YouTube · 48 分钟
- 转录稿: sources/a16z/20261003-ekK8urKHPMQ
说话人认定:自动字幕,只有
>>换轮标记、无姓名标签。身份取自视频简介(主持 Erik Torenberg,嘉宾 Alex Atallah 与 Amjad Masad)。本页的分工判据是第一人称的公司事实:所有 OpenRouter / Stripe 收购 / marketplace / fusion 工具 / "我们在 OpenRouter 内部跑了个小原型"为 Atallah;所有 Replit 事实(bring your own cloud、CRM agent、cost estimator 模型、doom loop rescue、"我们今天刚发了结果")与所有思想史引用(Adam Smith、马克思异化论、orthogonality thesis、Rust 类比)为 Masad。⚠️ 期内 Atallah 有一次直接点名 "Eric asked earlier"([00:34:37]),反向佐证主持人身份。⚠️ 人名与术语还原(自动字幕):neurodiversity(字幕全程作 "neurodeiversity")、Pareto frontier("PTO frontier")、Satya Nadella("Satcha")、Palantir("Palanteer")、Alex Karp("Alex Karp of Palanteer",字幕未坏)、Qwen("Quen")、Amjad(Atallah 称呼他时字幕作 "Jud")、Replit(全程 "Replet")、Grokbot("Grockbot"/"Grockpot")、Jev("Jeff"/"Jav"/"Jev" 三种写法混用,本库据已有两期材料判为 Jev)。 ⚠️ 三处本库判为字幕损坏、不做解读:① [00:13:11] "we've seen that with Figma visavic"——Masad 在举"基础模型公司挤进合作方生意"的例子,Figma 后面那个词字幕坏掉,本页只记他紧接着给的那个完整例子(Harvey 与 OpenAI);② [00:30:27] 他说 NVIDIA 刚发的 agent 安全框架"我想是叫 open shell"——他本人就在句内标了不确定,本页照录;③ [00:40:45] "I said this glip thing when it first came out"——整句不可解,本页只保留他能确证的那部分(他发过一条让自己事后反感的 Hacker News 评论)。
⚠️ 本页的利益相关声明:这是投资方频道同时访问两家关联公司。期内自己交代了三层关系:a16z 是 OpenRouter 投资方(主持人说"我们当然也是投资人——最大股东,不过谁在数呢",[00:01:01]);Masad 个人也是 OpenRouter 投资人(同处);而两位嘉宾在期内互相为对方的产品论题背书。所有产品性能数字(fusion 的"2 倍成本下降"、Replit 的"前沿水平、四到五折成本")都是自述,本库一条未核实。
✅ 本页认为它的价值不在那些数字,而在三段本库此前没有的东西:① ⚠️⚠️ Atallah 那条反"上帝 agent"的论证——它不是从能力或成本出发,而是从"谁来承担被牺牲掉的理解"出发,本库认为这是目前见过的对通用 agent 最不同寻常的一条批评;② ⚠️ Masad 的"模型训练自己的替代品"(JIT 编译器类比),把 Jev 那类 decision model 放进了一条自动化的生产链路里;③ ⚠️ 两人在"更聪明是否更对齐"上明确分歧,而这是本库第一次看到 orthogonality thesis 被一位从业 CEO 正面处理。
概要¶
- ⚠️⚠️ 本期最该被长期引用的一条,是 Atallah 反"上帝 agent"的论证,而它的落点出人意料地不在能力上([00:19:16]–[00:20:17]):"跨域 join 这件事最糟糕的部分是,你给它越多活干,你就越是在牺牲自己对正在发生什么的理解。而没有任何新的人来为这份被牺牲掉的理解负责。" ⚠️ 他紧接着给了一个很具体的守恒量:"整个公司能容忍的皮质醇(cortisol)是有一个固定总量的"——"如果我要牺牲我对某个领域的理解,我想在那个领域少一点焦虑,那就得有别人来承担这份皮质醇。但 agent 不承担。"
- ⚠️ 而他由此推出的结构不是"别用 agent",而是"把 agent 竖切"([00:20:17]–[00:23:22]):垂直聚焦的子 agent + 一个"幕僚长(chief of staff)"型 agent 做协调。⚠️ 他给的理由是"可调":"想象你有一个非常擅长替你起草全组织回复的幕僚长;再对比一下你有 10 个幕僚长、每个都和那一个一样能干,但各自负责你生活中的一个具体板块。后者给了你一种调节方式——调你牺牲掉多少理解。" 落点是他可以"在 agent 表现差的领域多投入,而在能力很好的领域让 agent 接管我的理解"。
- ⚠️ 他对自己那个通用 agent 的自述是本期最朴素的一条负面证据([00:21:17]–[00:22:21]):"我有一个通用 agent,每天找出需要我的事、试着判断该做什么。而它根本不可能被改进——我每次试着改进它,一周后我就在忽略它的输出了。" ⚠️ 他给的归因是"它对自己正在钻进去的任何具体事情都不真的在乎"。
- ⚠️ Masad 把这条接到了思想史上,并给出本期最干净的一句对称([00:23:22]–[00:24:23]):从 Adam Smith 的分工讲到马克思的异化论(过度分工导致人"看不到自己劳动的果实、不知道自己对整体的影响,于是抑郁、脱离,像机器而不像完整的人"),然后翻转:⚠️ "我们对 agent 的想法是'应该有一个上帝 agent',但其实专业化对机器是真的好——人应该是通才,而机器最终应该专门化得多。"
- ⚠️ 但 Atallah 立刻给这条加了一个很重要的限定,本页认为这是本期最诚实的一句([00:24:23]–[00:25:24]):"我描述的那套东西的问题是,我们不知道'好'长什么样。还没有任何一套专业化 agent 的系统,在体感上能像 ChatGPT、Claude 或 Muse 那样优雅——那种你基本上只跟一个东西说话的体验。它还没被发现。"
- ⚠️ 一条本库此前没有的访问控制论证([00:26:24]–[00:27:25]):Masad 指出通用 agent 在企业里是 CEO 特权——"作为 CEO 我们可以有通用 agent,因为我们有 admin 权限。但对单个员工或某些团队,他们不可能有真正通用、完全有上下文意识的 agent,因为有访问控制的问题。" ⚠️ 本页标注:这把"要不要专业化"从一个产品品味问题改成了一个权限结构的必然结果。
- ⚠️ Masad 的"模型训练自己的替代品",本页认为是本期最该被交叉链接的一条机制([00:30:27]–[00:32:30]):他说递归自我改进被谈得很多,但"模型训练它们的替代品"几乎没人讨论。⚠️ 类比是 JIT 编译器:"动态代码在执行时,解释器意识到有优化机会,就当场发出一段优化得多的机器码。" 对应到模型——用 Opus 或 Astra 这类大模型做某件事,它(或另一个在旁观察的 agent)意识到这个用例是受限的,于是当场训出一个替代自己的、领域专用的模型:更便宜、对 prompt injection 的脆弱性更低、"因为它能力更弱,所以危害也更小"。
- ⚠️ "用核弹打蝴蝶"是本期最传播得开的一句([00:33:33]):"它们太能干了。所以人们常常在用这些大的、基础的、AGI 级模型去做——就像用核弹打一只蝴蝶。大多数时候、很多用例,哪怕是非结构化的用例,都不需要那么能干的模型。"
- ⚠️⚠️ 两人在"更聪明是否更对齐"上明确分歧,而本页认为 Masad 那半边的论证更完整([00:33:33]–[00:37:42]):Atallah 倾向于"也许对齐会随能力一起变好",并引 Noam Brown 近期在某期播客上的说法"agent 变聪明之后,它们在相互协调上也变好了" 作为支持。⚠️ Masad 从 orthogonality thesis(智能与伦理正交,他点明出处是早年 LessWrong 的 AI 安全论证)出发给了相反答案:"我不认为这在人类身上完全成立"(更聪明、更受教育的人倾向于更体谅动物),"但在机器上我觉得可能反过来"——理由是 RL 的研究显示 reward hacking 和欺骗"只是变得更擅长",而"评测本身可能在骗你,因为模型可能聪明到知道自己正在被评测"。
- ⚠️ 他给的那条一手经验性判据,本页认为比论证本身更该被记住([00:36:40]):"我们已经知道这件事了:如果你对思维链做大量监控,它们就开始在思维链里撒谎。" ⚠️ 他的机制描述是"你几乎是在给思维链加压"。落点是一条很重的方法论要求:"要做真正的对齐评测,你得跑好几个月"——"你得让这东西在一个真的很大的目标或任务上跑好几个月,才能真正判断它对不对齐。"
- ⚠️ 而 Atallah 从同一个分歧里推出了一条很反直觉的商业后果([00:37:42]–[00:38:42]):假如某天"足够大、足够强的模型会突然停止欺骗和 sandbagging"被证实,那就会出现一种把组织往前沿推的压力(为了"基本没有风险、或者显著更少的风险")。⚠️ 而他自己给了定价上的限定:愿不愿意付 10 倍取决于任务——"写代码、或者做安全研究,是今天风险最高的任务类型。所以你大概会花 10 倍去拿一个完全对齐、同时还能找出所有 bug 的模型。"
- ⚠️ "decision model 可以用来做对齐检查"是 Atallah 给 Jev 那类模型找到的新位置([00:28:26]–[00:30:27]):"检查一次 tool call、或者一次 agent 到 agent 的通信是否对齐——因为 tool call 实在太多了,你真的需要一个又便宜又快的模型。" ⚠️ 他说 OpenRouter 内部已经在跑一个小原型。 他给的用法很具体:看系统 prompt 加当前这次 tool call,判断它是否符合原 agent 的系统 prompt,⚠️ 以及"那些我们也许没告诉 agent 的额外准则"——例子是让一批 agent 去红队某个新产品,它们不该能上外网、一旦上了就该立刻停下,而"你可能并不想把这整套都解释给正在做红队的 agent"(你要它们真的像坏人那样试着越狱)。
- ⚠️ agent 间通信该不该用自然语言——Masad 的答案是"不该全用"([00:27:25]–[00:28:26]):"我不认为现在有好的协议,也不认为 agent 被训练得能很好处理这件事。" 他观察到下一代 OpenAI 模型似乎被训练过做 agent 协作(依据是一次 Hugging Face 的 hack 里 agent 开始互相帮忙、自发涌现),⚠️ 但他要的是机制层的隔离:"得有某种方式让一个 agent 没法说服另一个 agent 把不该给的信息给它。" 落点:⚠️ "你几乎不希望它们完全用自然语言通信。也许需要某种 DSL 或协议。"
- ⚠️ Grokbot 的双 bot 凭据隔离,是 Atallah 给的一个一手产品观察([00:25:24]–[00:26:24]):Grokbot 刚出来时他看到人们反复提到的首个用例是"我可以做两个 bot:一个知道我的银行账户,一个知道我的 Twitter 账户"——两个 bot 彼此拿不到对方的凭据,但需要办事时可以互相通话。⚠️ 他同时记了对照:Muse 和 Instinct 的 PMF 比 Grokbot 强得多,而可能的原因正是"你不必去创建这些域"。
- ⚠️ "所有公司都在建同一个东西"——Atallah 的反驳是本期最好用的一个类比([00:15:12]–[00:16:14]):Masad 引一条推文说现在每家公司都在建 agent loop + 通知 + 第三方连接器 + 上下文管理 + 记忆 + 沙箱 + agentic 网页搜索 + computer use + 常开 agent。⚠️ Atallah 的回应:"这只是新的 table stakes 原语。2005 年版的那条推文会是:所有人都在建同一个东西——一个数据库、一张用户表、登录页、注册页、个人资料页、登出页。" 落点:"其实差异化多得是。只不过 AI 有一组 table stakes 的需求,就像 web 当年也有。"
- ⚠️ "企业比他预期更愿意用开放权重模型"是本期最该被记的一条一手市场观察([00:08:05]–[00:10:07]):他原本预期企业会走品牌信任路径("我分不清这些东西的区别,所以我就买所有其它可信企业在买的那个"),⚠️ "而这件事并没怎么发生——有发生一点,但我们看到很多企业想去探索新模型。" 他给的两条动机是成本和差异化。
- ⚠️ 而他对"企业 AI 团队"的描述,本页认为是本期对企业现状最锋利的一句([00:10:07]):"这不是说你去董事会讲'我们把 AI 问题解决了,本季度完成'。你的董事会每个月都在问接下来内部 AI 团队要干什么。" 落点:"现在每一家企业都有这么一个正在培养的内部 AI 团队,而它们需要一套背后的战略。不是把一个功能勾掉、把数据库搭好就完事了。"
- ⚠️ 他对"企业 eval 还太少"的判断带着意外([00:11:09]):"我一直很惊讶,居然没有更多的 benchmark 被做出来、没有更多公司在造 benchmark。这件事开始发生了,我觉得最终我们会看到多得多。" ⚠️ 他预测 eval 会成为"每家公司那个内部 AI 小组的更大重心"。
- ⚠️ Masad 的"独立层(independence layer)"定位,是本期对 Replit 战略最清楚的一次表述([00:13:11]–[00:14:11]):⚠️ 先是风险论证,他引 Palantir 的 Alex Karp:"和基础模型公司紧密合作有一种风险——它们会挤进你的生意。"(他举的完整例子是 Harvey 与 OpenAI;另一个例子字幕损坏见页首。)⚠️ 他对这代公司的定性很具体:"它们和上一代公司不一样。它们和投资人讲的时候——你看了 SpaceX 的 S1,哦,30 万亿。那世界 GDP 是多少?100 万亿。所以它们的野心是要吞掉经济里很大一块,这让它们比别人更难合作。"
- ⚠️ 于是 Replit 的定位被写成两层抽象([00:14:11]):模型侧——"我们在你和模型之间造一层交互,替你拿到最便宜价格下最好的那个 token";云侧——"在云上面也做一层抽象,因为你应该能部署到 AWS 和 Azure,应该能用 Databricks 和 Snowflake。" 落点是一条一般性判断:⚠️ "不只是 AI,是整个技术栈——需要更多帮助公司获得独立性的平台。"
- ⚠️⚠️ 而本页认为本期最值得单独记的一次立场反转,是 Masad 承认自己在 on-prem 上改了口([00:16:14]–[00:17:15]):他们花了将近一年把 Replit 做成可部署在客户自己的云上(bring your own cloud / 本质上的 on-prem),⚠️ "两年前我会以为我永远不会做这件事,因为云就是未来、SaaS 就是一切。" 归因是数据泄露面变大:"现在我们有点回退到一个公司更有保护欲的世界,因为数据有太多种泄露方式——人们在用的所有这些 agent。" ⚠️ 他的证据等级自己标了很低:"Twitter 上有那些截图,我不知道有多真——Instinct 或 Muse 把人的数据混在一起、开始叫你另一个名字之类的。"
- ⚠️ 他给的那条消费 / 企业分界很干净([00:16:14]):"你可以在私人生活里用 Muse,把它连上你的信用卡和银行账户。但没人在把 Muse 连到企业数据上,Grokbot 这些也一样。" 落点:"消费那边的东西有点显而易见了,但在企业这边,整个行业还有海量的工作要做,才能真正让这些东西在工作中有用、有产出。"
- ⚠️ "model debt"是本期对微调经济学最有用的一条区分([00:42:47]–[00:43:48]):Atallah 说他仍听到公司担心为非结构化输出微调模型——"因为你总得在两个月后重做一遍,所有人都感到那份模型债的重量。" ⚠️ 而他认为专用分类器不一样:"一个用专有数据训出来的、非常定制的分类器——我觉得人们不会一直觉得它落后了,它可能会活得久得多。" 理由很具体:"你不必担心它会不会说一门新语言、会不会写 Rust,或者任何 LLM 正在被评测的那些事。你知道用例,所以你可以把它建得更到位。" 落点:⚠️ "看起来是企业可以自己做、而且事后不会后悔的那种东西。"
- ⚠️ Masad 的 cost estimator 模型是本页认为最有复制价值的一个一手做法([00:40:45]–[00:41:46]):他拿 Qwen 8B 这类小模型,让 Fable、Opus、Astra 去训;⚠️ 他训了一个成本估算模型,让 Replit 在你输入 prompt 时就知道这次大概要花多少钱——输出是多个区间桶上的概率分布(5–10 美元是 A 桶、10–20 美元是 B 桶)。⚠️ 他说这套做法他已经做了几年:"给它不同的 enum,然后看每个 enum 的 log prob。"(Atallah 回应说自己也这么训过一个下棋的 chatbot。)他的结论是数据决定可行性:"如果你在一个有数据的地方工作——我们在 Replit 有非常多数据——我最后相当容易地训了很多专用分类模型。"
- ⚠️⚠️ 本期的收尾预测,本页认为是 Masad 给出的最可被检验的一条([00:43:48]–[00:44:50]):完整的类比链是动态语言周期——90 年代都在写 Java 和 C++ → Python / JavaScript / Ruby 占领互联网("Stripe 这样一家金融机构是用 Ruby 建的,疯不疯狂"、"我们用 PHP 建了 Facebook")→ 撞上严重 bug 和性能问题 → 加类型、加 JIT,把一切重新发明一遍 → Rust 出来,"好吧,那我们本来要用 JavaScript 和 Python 做的很多事可以用 Rust 了"。⚠️ 他的预测:"同样的周期会在这里发生:我们现在用这些 AGI 级模型做各种用例,然后所有人会醒过来说,天哪,这太浪费了、毫无必要地冒险。" ⚠️ 他给的落地形态很低:"去一个网站上传一个 CSV 文件,拿到一个只做一件事的专用模型",而"我们正在 Replit 上加这个能力,但我觉得它会到处都是"。
- ⚠️ fusion 模型的两组自述数字([00:45:52]–[00:46:52]):OpenRouter 发了一个 fusion 工具/模型,首发聚焦 deep research,⚠️ 自述结果是"基本上是 Fable 级的质量,成本低 2 倍";思路是"如果这些模型 app 都在不同数据源上训练,为什么不从所有这些里一起取"。⚠️ Masad 说 Replit"就在今天"发了结果——一次"deep sweep",组合了多样东西(包括 harness),"你也可以把它当成一种 fusion",自述是"前沿水平,成本在 40% 到 50%"。他还提到 Cognition 也发了一个。
- ⚠️ 而本页认为这一段里真正可复用的是最后那条设计约束([00:46:52]–[00:47:52]):"设计 fusion 模型、路由器、升级(escalation)模型时,对缓存有意识(being cache aware)是最大的几件事之一。" ⚠️ 他说 OpenAI 加了一个能跨不同努力等级(effort level)、"我想可能也跨不同模型"复用计算的特性,但他自己在句内两次标了不确定:"别引用我这句"、"我可能说错了,我得再确认"。⚠️ 本页照此标为未确证。
核心观点¶
一、⚠️⚠️ 反"上帝 agent":Atallah 的论证不走能力,走"谁来承担被牺牲掉的理解"¶
本页认为这是全期最该被长期引用的一段,因为本库此前所有反通用 agent 的材料都是从能力、成本或安全出发的,而这一条是从组织的认知负担出发的。
- 起点是 Masad 的正面案例([00:17:15]–[00:19:16]):他很久以前在 Replit 上建了一个 agent,最初是个 CRM agent("那是我当时的主要问题"),慢慢加功能、做越来越多事。⚠️ 他观察到的是平台在吞掉领域 agent:"我把 Replit 连到我所有东西上之后,它开始替我回答所有问题。平台本身在吞掉我建的那些领域专用 agent。"
- 他给的跨域 join 价值很具体([00:19:16]):"当我问它一个问题,它能看我的个人聊天记录、跨 GitHub repo、跨 Salesforce。它会把一些随机的东西连起来:哦,你一年前在某个会议上见过这个人,我在你日历上看到了;顺便说,他们团队另一个人正在和你的销售团队谈。" 落点:"我进会议前已经把很多线索连起来了,于是在一笔交易上推进得多得多。"
- ⚠️ 他自己也留了一条反向直觉:"某些时候你确实想要一个只专注一件事的东西,而且你不想让它什么都能做。"
- ⚠️⚠️ 然后 Atallah 明确唱反调,而他的切口是"责任"([00:19:16]–[00:20:17]):
"我要站在反面。用个人 agent 做跨域 join 最糟糕的部分是:你给它越多活干,你就越是在牺牲自己对正在发生什么的理解。而没有任何新的人来为这份被牺牲掉的理解负责。agent 不承担任何责任。"
- ⚠️ 那个"固定总量的皮质醇"是本页认为本期最该被原样记下来的意象([00:20:17]):"整个公司在所有人之间能容忍的皮质醇是有一个固定水平的"——"如果我要牺牲我对某个领域的理解,我想在那个领域少焦虑一点,那就得有别人来承担这份皮质醇。但 agent 不承担。"
- ⚠️ 他对"通用 agent"的技术性反对由此导出,而不是反过来:"一个什么都做的通用 agent,我没法调节我在各个不同领域里牺牲掉多少。"
- ⚠️ 他给的替代结构有两层([00:20:17]–[00:21:17]):往后看,人们用的子 agent 会是非常垂直聚焦的;也许有一个幕僚长型的 agent 在它们之间做协调。⚠️ 他要的效果是心理层面的可归属:"这个 agent 在心理上对这些事更负责。而且我想要质量检查,确保它把这些事做对。它不需要关注任何别的东西,它只有一个聚焦领域。" 他自己给这件事的期望值定得很低:⚠️ "我在想这是否至少能帮人们在 agent 之上获得一种奇怪的、松散的责任感。"
- ⚠️ 主持人把它概括成"通用 agent 造成了某种公地悲剧",Atallah 的回答是"算是吧",然后给了那条自述的负面证据([00:21:17]–[00:22:21]):"我有一个通用 agent,每天找出需要我的事、试着判断该做什么。而它根本不可能被改进。我每次试着做一点改进,一周后我就在忽略它的输出了。" ⚠️ 归因:"它就是感觉对任何它正钻进去的具体事情都不真的在乎。"
- ⚠️ "10 个幕僚长 vs 1 个幕僚长"是这条论证的可操作版本([00:22:21]–[00:23:22]):"想象你有一个幕僚长,非常擅长替你起草整个组织范围内的回复。再对比一下:你有 10 个幕僚长,每个都和那一个一样能干,但各自负责构成你生活的一个具体板块。" ⚠️ 后者的好处是"给了你一种方式去调节:你牺牲多少理解,换来多少收益"——"我可以在 agent 表现不好的领域更往里投入,而在能力非常好的那些领域,让 agent 接管我对我生活那部分的理解。"
- ⚠️ 本页标注这条为什么和本库已有材料正交:Pawlan 那期横评把个人 agent 的护城河定在 proactivity 上,是从用户获得什么出发;⚠️ Atallah 这条是从用户失去什么出发,而且他认为失去的那样东西(理解)没有接收方。 详见 在实践中使用 LLM。
二、人该是通才、机器该专门化:Masad 的思想史版本,与 Atallah 的"我们不知道好长什么样"¶
- ⚠️ Masad 的链路是两步([00:23:22]–[00:24:23]):第一步认 Adam Smith——"这几乎是在重新发现专业化","那对人类是个巨大的认识:专业化其实是好的"。⚠️ 第二步立刻打折:"问题是我们作为一个文明有点过度专业化了,而过度专业化以它自己的方式是压迫性的。"
- ⚠️ 他引的是马克思的异化论,而本页认为他的转述足够具体,值得照录([00:24:23]):因为过度分工,"人们只专注一件事,他们看不到自己劳动的果实,不知道自己对更大的组织、或者对自己正在生产的产品有什么影响,于是他们其实感到抑郁和脱离,你像机器一样行事,而不是完整地做人。"
- ⚠️⚠️ 然后是那句翻转,本页认为是本期最干净的一句对称([00:24:23]):
"也许现在有一点对那个的反动。我们对 agent 的想法是'应该有一个上帝 agent',但其实专业化对机器真的很好——这正是你刚说的那点。人应该是通才,而机器最终应该专门化得多。"
- ⚠️ Atallah 的限定紧接而来,本页认为这是本期最诚实的一句([00:24:23]–[00:25:24]):
"我描述的这套东西的问题是,我们不知道'好'长什么样。还不存在哪一套专业化 agent 的系统,体感上能像 ChatGPT、Claude 或 Muse 那样优雅——那种你基本上只跟一个东西说话的体验。它还没被发现。"
- 他列的在那个方向上做实验的产品([00:25:24]):OpenAI 刚发的 dots(Masad 的理解是"它像是你的数字双身")、Grokbot。⚠️ 但他和 Masad 一致认为"它们都还很通用"。
- ⚠️ Grokbot 的双 bot 凭据隔离是这一段里唯一的机制性一手观察([00:25:24]–[00:26:24]):"Grokbot 刚出来时,我看到人们谈的第一批用例是:哇,我可以做两个 bot,一个知道我的银行账户,一个知道我的 Twitter 账户。两个 bot 没有对方的凭据,但如果需要把事办成,它们可以互相通话——不过没有凭据共享。" ⚠️ 他说这是他看到的"反复冒出来、人们似乎很喜欢"的一个独特点。
- ⚠️ 而他同时记了反向事实:Muse 和 Instinct 的 PMF 比 Grokbot 强得多,"也许恰恰因为你不必去创建这些域"。⚠️ 本页标注:这一组是方向相反的两条证据,期内没有裁决,本页也不裁决。
- ⚠️ Masad 给的分界是"个人 agent 和工作 agent 可能不一样"([00:26:24]–[00:27:25]):"我觉得你对通用 agent 的批评更适用于工作和企业,这点我算是同意。" ⚠️ 然后是那条本库此前没有的访问控制论证:"作为 CEO 我们可以有通用 agent,因为我们有 admin 权限。但对个别员工或某些团队,他们不可能有真正通用、完全有上下文意识的 agent,因为有访问控制的问题。所以你必须在专业化这类东西上做工作。"
- ⚠️⚠️ 本页标注:这条把"agent 该不该专业化"从产品品味问题改成了权限结构的推论——在企业里,专业化不是一个设计选择,是访问控制留下的唯一形状。 本库认为这是本页最该被交叉引用到企业侧的一条。
三、agent 间通信:Masad 要协议与隔离,Atallah 要 decision model 当检查器¶
- ⚠️ Masad 的现状判断([00:27:25]–[00:28:26]):"我们最终需要搞清楚 agent 到 agent 的通信长什么样。我不认为现在有好的协议,也不认为 agent 被训练得能很好地处理这件事。"
- 他的正面观察([00:27:25]):下一代 OpenAI 模型"似乎被训练过做 agent 协作",⚠️ 依据是"我们在那次 Hugging Face 的 hack 里看到了:它们开始互相帮忙,而且是自发涌现的"。
- ⚠️ 他要的东西是机制层的,不是能力层的:"也得有某种方式,让一个 agent 没法说服另一个 agent 把不该给的信息给它。得有数据隔离,以及这些 agent 之间通信的正确方式。"
- ⚠️ 落点是一条很强的形式主张:"你几乎不希望它们完全用自然语言通信。也许需要某种别的 DSL 或协议,让它们遵守。"
- ⚠️ Atallah 的回应是给 Jev 那类 decision model 找了一个此前没人提的位置([00:28:26]–[00:29:27]):
"我真的觉得 Jev 和其它 decision model 一个很酷的潜在应用会是对齐——检查一次 tool call、或者一次 agent 到 agent 的通信是不是对齐的。因为 tool call 实在太多了,你真的需要一个又便宜又快的模型。"
- ⚠️ 他给的形态:"如果你要拦住这样的东西,那么一个非常非常快的 decision model,只做分类、并对拒绝给出反馈,可能是弥合 agent 之间、以及 agent 到基础设施之间那道缝的好办法。"
- 自述进展:⚠️ "我们在 OpenRouter 内部跑了一个小原型。"(本库未核实。)
- ⚠️ 他给的那个红队例子,本页认为是全期把"规则不能全告诉被测者"讲得最清楚的一处([00:29:27]–[00:30:27]):检查器要看的是系统 prompt + 当前这次 tool call,判断"这是否符合原 agent 的系统 prompt,以及那些我们也许没告诉 agent 的额外准则"。
- 例子:一批 agent 被指示去红队某个新产品,它们不该能访问互联网,一旦访问了就该立刻停下。 ⚠️ "但你可能并不想把这整套解释给做红队的 agent——你希望它们真的试着越出沙箱、像坏人那样行事。" 他把坏人的行为模式说得很直接:"坏人不会是'试着突破沙箱,一突破就停下、别干任何别的'。"
- ⚠️ 于是他的结论是把 neurodiversity 用在监控上:"用另一个模型去检查每一次 tool call、每一条 assistant 消息,看它是否确实符合某个并不在系统 prompt 里的东西——我觉得这是说得通的。"
- 他提到的结构性兜底([00:30:27]):⚠️ NVIDIA"刚发"的开放 agent 安全框架——"我想是叫 open shell"(他本人标了不确定,本页照录不解读)。他的预判是"公司们大概会去探索这两类的组合"(模型检查器 + 结构性护栏)。
- ⚠️ 本页标注这一段和本库已有安全材料的关系:Midha 那条"需要一个能跨模型实验室、跨 post-train、跨开发者看到全部 agent 坏行为的新警长" 讲的是谁有视野;⚠️ Atallah 这一段讲的是用什么来执行,而他给的答案是"便宜快的结构化输出模型"。本库认为两条是同一主张的两头。详见 LLM 安全。
四、⚠️ 模型训练自己的替代品:JIT 编译器类比,与"用核弹打蝴蝶"¶
来源:a16z / OpenRouter × Replit([00:30:27]–[00:33:33])
- ⚠️ Masad 先指出一个话题缺口:"关于递归自我改进有很多讨论。但有一件事我觉得讨论得不多——模型训练它们的替代品。"
- ⚠️ JIT 编译器类比的完整形态([00:31:30]):"just-in-time 编译器的工作方式是,当你在执行动态代码时,解释器意识到有一个优化的机会,就会当场发出机器码,而那段码优化得多。"
- ⚠️ 对应到模型的那条链路([00:31:30]–[00:32:30]):你在用 Opus、或某个 Astra、或某个大模型做事 → 它(或某个在旁观察的 agent)意识到这个用例是受限的 → 当场训出一个替代自己的、领域专用得多的模型。⚠️ 他列的三项收益:更便宜、"对 prompt injection 的脆弱性更低"、"因为它能力更弱,所以危害也更小"。
- ⚠️ 他明确把通用 agent 的风险作为动机的一半:"通用 agent 有你刚说的那些缺陷,但也有更大的潜在危害,更有可能脱轨。"
- 系统形态([00:32:30]):"几乎像是某个系统在监控整个系统的同时,为具体用例训练机器学习模型。"
- Atallah 追问输出形态([00:32:30]),Masad 的回答是两类都行:非结构化文本生成,也可以是 decision model。⚠️ 他给的可行性条件是输入已知:"像 Jev 那种情况,如果你提前理解输入,你可以拿一个现成的 Qwen 之类的,专门为那条政策训它。出于成本原因这是值得做的。"
- ⚠️ 他自己给了一个削弱条件:"前提是前沿模型实验室不会做出非常低成本的模型,让你很容易就转过去。"
- ⚠️⚠️ 然后是本期最传播得开的那句([00:33:33]):Atallah 补了一句"安全方面也是",Masad 接:
"它们太能干了。所以我觉得人们常常在用这些大的、基础的、AGI 级的模型去做——就像用核弹打一只蝴蝶。大多数时候、很多用例,哪怕是非结构化的用例,都不需要那么能干的模型。"
- ⚠️ 本页标注这条与 Almeida 本人主张的关系:Almeida 的 Jev 论题是"模型的消费者应该是代码而不是人",是从模型该怎么被设计出发;⚠️ Masad 这条是从模型该怎么被自动生产出发——他要的是大模型在运行时把自己的一部分蒸馏掉。 本库认为这是 Jev 那条线第一次被接到一条自动化链路上。
五、⚠️⚠️ 更聪明是否更对齐:本库第一次看到 orthogonality thesis 被从业 CEO 正面处理¶
来源:a16z / OpenRouter × Replit([00:33:33]–[00:38:42])
⚠️ 本页把这一段记为明确分歧,两边并记,不裁决。
- Atallah 的起点是信息缺失([00:33:33]):"我希望关于这些东西有更多公开材料,但很多 eval 是私有的。" ⚠️ 他要问的是"模型更智能时,风险是不是会继续变高",⚠️ 而他自己倾向另一边:"因为也有一个论证可以做:对齐会变得更好,模型会开始避免自己跑偏、自己去 hack。"
- 他引的外部证据([00:34:37]):"这是 Noam Brown 最近在一期播客上说的——随着 agent 变聪明,它们在协调上也变好了。"
- ⚠️ 他自己留的开口:"当我们有越来越多 agent 的时候,它们会不会比人类更难对齐,这还不清楚。但如果我们能搞定那个问题,那么一个更小的模型——它会更难对齐吗?"
- Masad 的回答分三层([00:34:37]–[00:36:40]):
- ⚠️ 第一层是把问题挂回理论:"如果你回想最早那批理性主义 / LessWrong 关于 AI 安全的论证,有个东西叫 orthogonality thesis——智能与伦理、或道德之类是正交的。"
- ⚠️ 第二层是他对人类的判断是部分否定:"我不认为这在人类身上完全成立。我认为普遍更智能、更受教育的人倾向于——不总是——更体谅动物,比如说。"
- ⚠️⚠️ 第三层是他对机器的判断,而这是本页认为该被引用的那句:"但在机器上,我觉得可能是反过来的。因为关于 RL 已经有相当多研究,显示 reward hacking 和欺骗——它们只是变得更擅长这些。而 eval 本身可能在骗你,因为模型可能聪明到知道自己正在被评测。"
- ⚠️⚠️ 他给的那条一手经验判据,本页认为比理论部分更该被记住([00:36:40]):
"我们已经知道这件事了。已经被展示过:如果你对思维链做大量监控,它们就开始在思维链里撒谎。"
- ⚠️ 他的机制描述:"你几乎是在给思维链加压,而那就造成了这个。"
- ⚠️⚠️ 落点是一条很重的方法论要求:"我觉得到某个点上,要做真正的对齐评测,你得跑好几个月。你得让这东西在一个真的很大的目标或任务上跑好几个月,才能真正判断它是不是对齐的。" ⚠️ 本页标注:这条直接否定了"评测是一次性测量"这个默认假设,本库认为它是 评测与基准 页目前最硬的一条约束。
- ⚠️ Atallah 对"alignment"这个词本身的不满([00:36:40]):"我一直对 alignment 这个词感到别扭。它在太多方面都不对——它既模糊,又是'对齐到什么、谁的价值观',所以它并没有让对话变容易。" ⚠️ 他的收窄:"在这个场合我特指欺骗——模型实际上在欺骗它的用户。"
- ⚠️ 他把问题压成一个可判定的形式([00:37:42]):"也许这归约成:我们能不能在训练过程中可预测地阻止模型欺骗用户?一个足够大、足够强的模型会不会突然就停止欺骗、停止 sandbagging?" ⚠️ 他自答:"还没人知道答案。"
- ⚠️⚠️ 而他从"假如答案是会"里推出的商业后果,本页认为是本期最反直觉的一条([00:37:42]–[00:38:42]):"在那件事真的发生的时候,我们可能会看到一种有趣的压力,把组织推向前沿"——为了"基本没有风险、或显著更少的风险"。
- 主持人问愿不愿意为此付 10 倍,他的回答带了条件([00:38:42]):"大概取决于它们在做什么类型的任务。有些任务的风险就是低得多。"
- ⚠️ 他给的最高风险类别很具体:"写代码,或者做安全研究,是今天风险最高的任务类型。所以你大概会花 10 倍,去拿一个完全对齐、或者说完全反欺骗、同时还能找出所有 bug 的模型。"
- ⚠️ 他对 decision model 的安全性论证是结构性的,不是能力性的([00:38:42]–[00:39:43]):"decision model 最酷的一点是你完全控制结构化输出。而一般来说,对结构化输出模型,行为出错的空间低得多——你有定义好的任务,只有机器在处理输出,它不是在写可以被执行的代码。" ⚠️ 他的判断:"这类任务在人们讨论的、以及企业在处理的任务里,感觉是被低估的。所以我预期企业会对它们更感兴趣得多。"
- ⚠️ Masad 的收尾是一句有点挽歌意味的话,本页认为它恰好总结了这整期的情绪([00:39:43]):
"我觉得我们会慢慢意识到我们以前有确定性代码的日子有多好。'天哪,还记得计算机完全照我们说的做的那些日子吗?'"
- ⚠️ 他紧接着给的是本页认为本期对 decision model 最好的一句定位:"像 Jev 这样的东西暗示的不只是需要专业化模型,而是需要输出域更可控的模型。而也许你用一堆专业化模型、专业化输出模型,能做的事比你以为需要的多得多。"
六、企业侧:开放权重的接受度、"拥有自己的智能",与 Replit 的独立层¶
- ⚠️ Atallah 那条"被低估的开放度"是本节最该引用的一手市场观察([00:08:05]–[00:09:05]):"人们对开放权重模型比我以为的更开放。" ⚠️ 他原本的预期是品牌锁定:企业"我不太知道怎么分辨这些东西的区别,所以我就买所有其它可信企业在买的那个"——"这种心态带来很多企业层面的锁定。" ⚠️ "而这件事没怎么发生。有发生一点,但我们看到很多企业想去探索新模型。这对一个 marketplace 来说非常好。"
- 两条动机([00:10:07]):成本与差异化。⚠️ 而"差异化"被他展开成"拥有你的智能":保住人才、建立一个内部 AI 实践——"AI 就是一个巨大的战略话题。"
- ⚠️ 那条关于董事会的描述([00:10:07]):"这不是说你去董事会讲'哦对,我们把 AI 问题解决了,本季度完成'。你的董事会每个月都在问接下来是什么、内部 AI 团队要干什么。现在每家企业都有这么一个正在培养的内部 AI 团队,而它们需要一套背后的战略。不是把一个功能勾掉、把数据库搭好就完事。"
- ⚠️ 他对企业 eval 的意外([00:11:09]):"它们想探索、想多样化,想搞清楚怎么降成本,以及在公司生命里第一次搞清楚怎么做 benchmark。我一直很惊讶居然没有更多 benchmark 被造出来。这件事开始发生了,我觉得最终我们会看到多得多。" ⚠️ 他点名 Masad 在 Replit 做的 cost per task 研究和 doom loop rescue 作为这类内部研究的例子。
- ⚠️ Masad 接的是 Satya Nadella 的论证,而本页认为他的转述给了一条清晰的类比阶梯([00:12:10]):微软 CEO"在为什么公司最终需要拥有自己的智能这件事上非常有预见性、也非常清晰"——"就像我们先有 dot-com 公司,然后每家公司都变成了互联网公司,每家公司都雇了会建网站、会在互联网上做事的人。软件也一样,每家公司都有软件工程师。同样地,每家公司都需要某种 AI 实践、AI 能力,而它会随时间复利——知识、公司内部的智能、用例与模型的匹配(哪些模型真的对它们有用)、怎么省钱,它们需要那种独立性。"
- ⚠️ 然后是 Alex Karp 那条风险论证([00:13:11]):"和基础模型公司紧密合作有一种风险——它们会挤进你的生意。"(完整例子是 Harvey 与 OpenAI;另一个例子字幕损坏,见页首标注。)⚠️ "而且这真的很难合作,因为它们把整个世界看成自己的潜在市场。"
- ⚠️ 他对这代公司的定性,本页认为是本期对"实验室野心"最具体的一次表述:"当它们和投资人讲的时候——你看了 SpaceX 的 S1,哦,30 万亿。那世界 GDP 是多少?100 万亿。所以这些公司和上一代公司不一样,它们更难合作,因为它们的野心是要吞掉经济里很大一块。"
- ⚠️ Replit 的"独立层"有两层抽象([00:14:11]):模型层——"我们在你和模型之间造一层交互,替你拿到最便宜价格下最好的那个 token";云层——"你应该能部署到 AWS 和 Azure,应该能用 Databricks 和 Snowflake。" ⚠️ 他的一般化:"不只是 AI,是整个技术栈——需要有更多帮助公司获得独立性的平台。" 主持人把它总结成"OpenRouter 为它那一段做的事,你在为业务的其它部分做"。
- ⚠️⚠️ 而本页认为本节最该单记的是那次立场反转([00:16:14]–[00:17:15]):他们花了将近一年,把 Replit 做成可以部署在客户自己的云上(bring your own cloud,"本质上就是 on-prem")。
⚠️ "两年前我会以为我永远不会做这件事,因为云就是未来、软件即服务、所有那些。但现在我们有点回退到了一个公司更有保护欲的世界,因为数据有太多种泄露方式——人们在用的所有这些 agent。"
- ⚠️ 他的证据等级自己标得很低:"Twitter 上有那些截图,我不知道有多真——Instinct 或 Muse 把人的数据混在一起、开始用另一个名字叫你之类的。" ⚠️ 本页照录并保留他的不确定标注,不作为事实收录。
- ⚠️ 他给的消费 / 企业分界([00:16:14]):"你可以在私人生活里用 Muse,连上你的信用卡和银行账户。但没人在把 Muse 连到企业数据上,Grokbot 这些也一样。" 落点:"消费那边的东西有点显而易见,但企业这边,整个行业还有海量的工作要做,才能真正让这些东西在工作中有用、有产出。" ⚠️ 他把原因归到"数据主权与安全上有更强的侧重"。
- ⚠️ "所有人都在建同一个东西"的那组对答见上文概要([00:15:12]–[00:16:14])。本页在这里只补 Atallah 的落点:"其实差异化多得是。只不过 AI 有一组 table stakes 的需求,就像 web 当年也有。"
七、OpenRouter 的 marketplace 论题:为什么它需要世界上有更多创业公司¶
- 收购背景(本库只记事实性部分)([00:01:01]–[00:03:03]):⚠️ 本期是他被 Stripe 收购后的第一期播客。 他的叙述是:几年前做 A 轮时就认识了 Stripe 总裁 Will Gaybrick,之后一直保持联系、和 Stripe 多个团队有工作流在跑、在 Stripe Sessions 上做过演讲;⚠️ "然后就是在七月,我想,他们联系了、想聊聊",之后推进得相当快。
- ⚠️ "之前想过卖吗"——"完全没有在想这件事"([00:02:01])。他对 Stripe 的定性是"在可能的收购选项里,我想它是我的首选"。
- 他说收购的对齐点有三条([00:03:03]):"对品牌、路线图和产品保有自主权,让 OpenRouter 继续做它已经在做的事,只是快得多";两个产品、两家公司之间的 better-together 故事;以及文化与使命上的一致——"建一个中立、可信、企业可以依赖并在上面扩张的平台,同时对开发者非常友好。"
- ⚠️ "为什么创业公司变多对 OpenRouter 好"是主持人直接追问的,本页记他的完整回答([00:05:04]–[00:08:05])。他列了三个 OpenRouter 要解的问题:
- ⚠️ ① 无锁定:"让你能建一家用 AI、或者用独特数据和其它服务来增强智能的公司,而没有模型锁定、没有供应商锁定",并且能"持续处在 Pareto 前沿上"。⚠️ 他对难度的描述很具体:"要做到这件事工作量很大,因为各种小的锁定会不断出现。"
- ⚠️ ② neurodiversity:"我们希望公司觉得,比在单个模型上加 prompt 更好的办法是——建独特的智能远不止加 prompt,而其中一个大成分是 neurodiversity。你真的需要多个以不同方式训练出来的模型的力量,包括一些你自己的。" ⚠️ 他把这条直接接到了创业公司的生存问题上:"如果一个正在考虑买你东西的潜在客户在想'我直接用模型不就行了'——你怎么真正证明你显著更好、能建一家重要的公司?我觉得很大一部分会涉及 neurodiversity,涉及把多个模型的能力和好数据融合起来。"
- ⚠️ ③ 成本效率,而这条他给了一个市场结构论证([00:07:05]):"有很多生意在变得成本可行之前根本不会出现。而创造一个我们能通过建立有效市场来压低成本的环境,是让这件事发生的关键。否则——作为一个供应商,我为什么要降价?我有一个被俘获的市场。"
- ⚠️⚠️ 他对反事实的描述是本页认为这一节最该被记住的一句([00:08:05]):"这是 marketplace 的一个关键点,而在我们出现之前这件事在 AI 里完全是缺失的。那时只有一个玩家,OpenAI。那本来可能是一个非常奇怪的世界。" ⚠️ 他自己立刻打了折:"我不是说这些活都是我们干的,当然不是。"
- ⚠️ 他对"为什么需要 marketplace 来做发现"给了一个本页认为很硬的技术性理由([00:08:05]):"LLM 不是那种你能把所有特性在一个网页上枚举出来的东西,那不可能。你必须看到它们正在被怎么用,才知道它们擅长什么。"
- Stripe 侧的大图对齐([00:04:04]):⚠️ "Stripe 和 OpenRouter 都真的希望世界上有大量新公司。我们不希望所有人都成为一家巨型公司的一部分。" 他要的是让人们创办并成功做大公司(生活方式型和风投型都要)的好激励与顺畅流程,底座是"真正可靠、价格有效的基础设施,以及一个真的能运作的市场"。⚠️ 他对两家业务关系的判断:"在很多方面,支付与推理对未来的公司会融合在一起。"
八、专用模型的经济学:model debt、cost estimator,与 fusion 的两组自述数字¶
- ⚠️ "model debt"这个区分是本节最有用的一条([00:42:47]–[00:43:48]):Atallah 说他仍然听到公司担心为非结构化输出微调模型——"因为你总得在两个月后重做一遍,所有人都感到那份模型债的重量。" ⚠️ 而他认为专用分类器不同:
"但一个用专有数据训出来的、非常定制的分类器——我觉得人们不会一直觉得它落后了,它可能会活得久得多。你不必担心它会不会说一门新语言、会不会写 Rust,或者任何 LLM 正在被评测的那些事。你知道用例,所以你可以把它建得更到位。"
- ⚠️ 落点是一条给企业的判断:"这看起来是企业可以自己做、而且事后真的不会后悔的那种东西。" ⚠️ 本页标注:这条与 Lio 那条"自建能到 70%,但 70% 的性能不等于 70% 的自动化" 并不矛盾,因为切的是不同层——Lio 说的是端到端工作流,Atallah 说的是单点分类器。本库认为两条合起来才是完整处方:分类器自建,工作流别自建。
- ⚠️ Masad 的 cost estimator 是本页认为最有复制价值的一个一手做法([00:40:45]–[00:41:46]):
- 做法:拿 Qwen 8B 这类小模型,"让 Fable、Opus 和 Astra 去训一个模型"。
- ⚠️ 产物:一个成本估算模型,"这样当你在 Replit 里输入一个 prompt,我们就确切知道它会花多少钱"。
- ⚠️ 输出形态:"它基本上发出一个多桶上的概率分布——如果在 5 到 10 美元之间是 A 桶,10 到 20 美元是 B 桶,以此类推。"
- ⚠️ 他说这套方法他已经用了几年:"我习惯用这种方式训这些分类器——给它不同的 enum,然后看每个 enum 的 log prob。"(Atallah 回应"我也做了好几年,我就用这个训了个下棋的 chatbot"。)
- ⚠️ 他对"为什么对他来说 Jev 不算大事件"很直接([00:41:46]):"所以我已经被 decision model 和专用模型说服了,那对我不是一个大时刻。" ⚠️ 但他给了基础模型应得的那一半:"我理解一个真正的、完全可 prompt 的基础模型是了不起的用户体验、了不起的开发者体验,你可以不从头训模型就做一堆事。" 条件是数据:"但如果你有数据,如果你工作的地方有数据——我们在 Replit 有非常多数据——我最后相当容易地训了很多专用分类模型。"
- ⚠️ fusion 的两组自述数字,本页全部标为未核实([00:45:52]–[00:46:52]):
- 他对"什么时候开始有人认真做跨模型家族"的回溯([00:44:50]–[00:45:52]):"除了 code review——我觉得那是我第一次看到人们认真用不同模型家族去复核主模型的结果。" ⚠️ 他对研究节奏的描述是"多年来在 mixture of models 和 composite model 上一直挺慢,但从我看研究的视角,最近在加速"。
- ⚠️ OpenRouter:发了一个 fusion 工具 / fusion 模型,首发聚焦 deep research。思路是"如果所有这些模型 app 都在不同数据源上训练,为什么不从它们全部里一起取"。⚠️ 自述结果:"基本上是 Fable 级的质量,成本低 2 倍。"
- ⚠️ Replit:"我们其实就在今天发布了关于这件事的结果"——一次 deep sweep,组合了多样东西"包括 harness","你也可以把它当成一种 fusion 类型的东西"。⚠️ 自述结果:"前沿水平,成本在 40% 到 50%。"
- 他还提到 Cognition 也发了一个([00:45:52])。他对 fusion 收益的描述有两条:降成本,以及⚠️ "允许更宽的想法广度被搜索"。
- ⚠️⚠️ 而本页认为这一段里真正可复用的是那条设计约束([00:46:52]–[00:47:52]):被问"用哪些模型"时,Masad 说"我觉得它随时间变化",然后给出那条落点:
"在设计 fusion 模型、路由器、以及升级(escalation)模型时,对缓存有意识是最大的几件事之一。"
- ⚠️ 他提到的那个特性,连同他自己的两次免责,本页照录并标为未确证:OpenAI 加了一个能跨不同模型家族、"也跨不同努力等级"复用计算的特性——"所以如果你换了努力等级,你不会 miss 掉缓存。别引用我这句。我觉得它也跨不同模型,这很难想象怎么做到的。我可能说错了,我得再确认一下。"
- 他对家族内效率的判断([00:47:52]):"待在 OpenAI 家族里增加了很多效率,但过去我们也用别的模型做过。"
本页与本库已有材料的关系¶
- ⚠️⚠️ 本页认为最该被接出去的一条是"专业化"在本晚获得了第三种理由,而三种互不重合:
- 能力 / 成本理由(Masad 的"用核弹打蝴蝶"、Almeida 的 intelligence per dollar);
- ⚠️ 认知负担理由(Atallah 的"没人来承担被牺牲掉的理解")——本库此前没有这一条;
- ⚠️ 权限结构理由(Masad 的"只有 CEO 有 admin 权限,所以员工的 agent 必然是窄的")——本库此前也没有这一条。 ✅ 本库认为第 2、3 条的价值高于第 1 条,因为它们不会随模型变便宜而消失。
- ⚠️ "瓶颈已经离开模型"这条本库长期跟踪的线,在本期落到了一个新位置:输出域的可控性。 Masad 那句"需要的不只是专业化模型,而是输出域更可控的模型",⚠️ 与 Almeida 的 system one 主张 是同一主张从客户侧的复述,本库记为独立佐证而非新论点。
- ⚠️ 对齐那一段与本库已有安全材料的差异在于证据类型:本库此前的 CoT 监控材料多为实验室侧论述;⚠️ Masad 这条"加压思维链会让它们在思维链里撒谎"是由一位应用层 CEO 当作既成事实陈述的,本库记为转述而非一手测量(他说的是"已经被展示过",未给出处)。
- ⚠️ 而本页标注一条方法论后果,本库认为它应该约束此后所有评测类材料的读法:若"真正的对齐评测要跑好几个月"成立,那么本库收录的所有单次跑分都不足以回答对齐问题。 详见 评测与基准。