Alex Atallah & Anjney Midha — OpenRouter × a16z¶
来源:Latent Space:OpenRouter × Stripe
本页记录模型路由这一中间层的自述视角。本库此前的分发/商品化材料均来自应用层或模型层,这是第一份来自"把模型交到开发者手里"的那一层。
背景¶
Alex Atallah — OpenRouter 联合创始人兼 CEO;此前是 OpenSea 联合创始人。2011 或 2012 年在 Stanford Review(Peter Thiel 早年创办的校园自由意志主义报纸)认识 Midha([00:08:06]–[00:09:08])。OpenRouter 之前的探索是一个叫 window AI 的 Chrome 扩展(基于 Plasmo),让网页 app 通过用户自选的模型调用 LLM,类似 AI 版 MetaMask——⚠️ 他自评"不是 LLM 的正确形态",但从中学到的是"这必须是 API,需要发现体验和更大的界面空间"([00:36:27]–[00:37:28])。窗口期里给 window AI 贡献代码的人后来成了 OpenRouter 联合创始人([00:36:27])。
Anjney Midha — a16z 普通合伙人。履历对本库价值很高:Discord 平台负责人(含安全与安全性)→ 在 Stanford 教"规模化安全"课 → a16z。投资经历包括 Anthropic 早期投资人、Mistral A 轮领投、Black Forest Labs、Luma,以及 LMArena 的首任 CEO(前 5 个月)([00:10:09]、[00:12:10]、[00:18:14]、[00:50:41])。
立场与关注点¶
一、模型实验室的短板在分发,不在训练¶
- ⚠️ 他观察到的跨实验室共性([00:19:16]–[00:21:16]):OpenAI、Anthropic、Black Forest Labs、Mistral 的早期预训练团队,默认路径都是"checkpoint 训完 → 发个 API → 结束"——"你会震惊于他们有多相似。"研究团队"按能力(capabilities)思考,不按开发者心智思考"。
- 他给的两个硬例子:第一版 Claude 的 checkpoint 比发布早一年就在内部做好,直到 ChatGPT 出来才决定外发,而且"完全没有让开发者试用的计划";Mistral 的第一个 checkpoint 是发磁力链接种子,没有 API([00:20:16]、[00:23:18])。
- ⚠️ Google 的结构性不对称([00:21:16]):DeepMind 训完按个按钮就能铺到 Google Docs 到 Android 的所有界面,"一夜之间部署到十亿台设备"。这个隐形分发优势是他判断"必须有中立分发层,否则没有对 Google 的竞争"的依据。
- Anthropic 那边的对照数字([00:22:16]):他说 Anthropic 花了超过 12 个月才做到第一个 1000 万美元收入;而 Black Forest Labs 上线时,OpenRouter 能说"发布当天我们就能给你送一百万开发者"——"那是一次阶跃式的力量变化。"
二、"just a wrapper"是他最反感的框架¶
- ⚠️([00:24:19]–[00:28:23])他把这类批评归因于很多 VC 没有真正的从业经验——"光是能在生产里编排三个 API,你就完全不知道 OpenRouter 创造了多少战略价值。"他的做法是不去教育同行,直接投,"一个月后 Matt Murphy 把它 markup 了 10 倍。"
- swyx 记下的历史回响([00:28:23]):2023 年他造"AI engineer"这个词时,最大的反对声也是"这没价值,你应该去训模型"。
三、安全:从 Midjourney 的免费试用到 agentic fraud¶
⚠️ 这条线是本页认为 Midha 最独特的贡献,因为它早于 LLM,来自他在 Discord 的一线经历。
- 原型事件([01:14:02]–[01:16:06]):Midjourney 早期用"免费 10 次生成"做激活,某天一夜涌入大量新用户——查 IP 后发现有人在中国转售免费试用额度。"据我所知 Midjourney 从那以后再没开过免费试用。"⚠️ 当时 Midjourney 的收入运行率还不到 3 亿美元,他强调的正是"在这么小的规模上就已经这么激进的滥用"。
- ⚠️ 由此推出的一般规律([01:16:06]–[01:19:09]):"每一次有大量价值在世界范围内被 streaming,你就需要新的保护与安全基础设施。"他给的历史对照是在线支付——80、90 年代起步,十年长到一万亿美元以上,期间必须造出全新的方案来对付线上欺诈。
- 他对 Stripe 的定性([01:18:08]–[01:19:09]):"Stripe 今天其实是一家安全公司。人们以为它是支付公司。"理由是今天有更便宜的支付通道,Stripe 仍主导是因为多年积累的欺诈检测(Stripe Radar),而当年的推销正是"把欺诈成本作为获客成本先吞下去"。
- ⚠️ 他的 10 万亿框架与 agentic fraud 预测([01:16:06]、[01:19:09]–[01:20:09]):未来五年 token 经济约 5 万亿,十年到 10 万亿"我不会感到意外";而今天由人做的欺诈,未来十年由 AI agent 做。他指出实验室推理不了这个问题——"你唯一有的数据是你自己在训练的 agent 怎么跑偏,而那只是互联网上全部坏行为的一小部分"——因此需要能跨模型实验室、跨 post-train 部署、跨开发者看到全部 agent 坏行为的"新警长"。
"如果人们就是不信任 token,我们可能永远到不了那 10 万亿。"
四、Alex 的产品判断¶
- ⚠️ 中立性是产品本身,不是姿态([00:23:18]–[00:24:19]):模型是黑箱(包括开源权重的),"用户走进的是一个大黑屋子",需要有人往每个角落打光——而打光的那家必须是中立第三方。落到机制上是数据政策:OpenRouter 默认看不到 prompt 与 completion,要看必须组织主动 opt-in([00:49:41])。
- ⚠️ 聚焦的两层理由([00:52:43]–[00:53:44]):不只是"专注做出更好的产品",还有"世界知道你的专注是什么"——"如果这件事对我真的重要,我该去找最在乎它的那个品牌。"
- 他拒绝做的邻接品([00:59:46]–[01:00:47]、[01:08:56]–[01:09:56]):微调即服务(做过原型,没人用)、记忆、skills、sandbox。理由是这些是开发者自己想架构的部分,且"很难找到对所有开发者都成立的记忆层抽象"。
- ⚠️ fusion 的失败与复活(本库第一份"同一个想法早了两年"的完整复盘)([01:01:48]–[01:03:51]):2024 年初的 MOM(mixture of models) 把多模型结果用另一个模型融合,失败的具体原因是第一名远远领先第二三名,融合不比最好那个好,于是把代码全删了。2026 年重启,机制性解释是:
⚠️ "RL 基本上扩大了各实验室机器学习研究员的创造力表面积,所以他们能更有效地让不同模型的推理能力分化。" 头部三四个模型能力接近但仍然"神经发散",融合才产生增量。他的验证方式很朴素:让所有模型各出一份架构方案、融合,再问每个模型"融合结果是不是比你自己的好",都说是。
- ⚠️ 他对定价演化的预测([01:12:59]–[01:14:02]):做网关、卖通用推理就是欺诈标靶;卖离散任务的人风险低得多。所以行业会从"在推理上加价"转向"按任务/按增强收费,并让客户自带推理"——他指向 Datadog 的定价页作为基础设施定价的未来样貌(按不同事件类型计费、连续型定价)。他补的第二个理由与欺诈无关:来自实验室和优质推理商的"先承诺、再自带推理"的压力会很大。
五、增长的"摆动"节律¶
⚠️ 本库认为这是这一层最有预测力的一条观察(Alex,[01:06:55]–[01:07:55]):
- 模型实验室做出一次前沿创新 →
- 用量激增 →
- 30 天后用户看账单 →
- 约 3 个月后开源权重模型交付出性价比替代。
"我们看到这个循环发生过好几次。"
配套的关键节点:Mixtral 8x7B 是第一个被严肃称作"世界最好模型"的开源权重模型,直接引发 provider 竞价、价格下来约 80%([00:44:38]–[00:46:40]);Claude Sonnet 3.5(2024 年中)是编码的阶跃([01:05:54]);2025 年底 OpenClaw 带来非开发者用户,其"心跳"架构让 auto router 突然变得关键([01:07:55]–[01:08:56])。
⚠️ 一条关于感知的注脚(Midha,[00:46:40]–[00:47:40]):Mistral 创始人本人认为很多人觉得 Mixtral 比 GPT-4 强,部分原因是速度——"有时候它们更快,你就觉得它们更聪明。"这条被 swyx 接成"人作为 router",而那正是 auto router 的雏形。
五、⚠️⚠️ Atallah 的反"上帝 agent"论证:没人来承担被牺牲掉的理解¶
来源:a16z:用 AGI 级模型干所有事是"用核弹打蝴蝶"
⚠️ 本节全部来自 2026-10-03 那期(他被 Stripe 收购后的第一期播客,期内明说)。本库认为这是他在本库里最独特的贡献——因为它不是一个产品判断,而是一条组织认知论的论证。
- ⚠️⚠️ 主命题([00:19:16]–[00:20:17]):
"用个人 agent 做跨域 join 最糟糕的部分是:你给它越多活干,你就越是在牺牲自己对正在发生什么的理解。而没有任何新的人来为这份被牺牲掉的理解负责。agent 不承担任何责任。"
- ⚠️ 他给的守恒量([00:20:17]):"整个公司在所有人之间能容忍的皮质醇(cortisol)是有一个固定水平的"——"如果我要牺牲我对某个领域的理解、想在那个领域少焦虑一点,那就得有别人来承担这份皮质醇。但 agent 不承担。"⚠️ 技术性反对由此导出:"一个什么都做的通用 agent,我没法调节我在各个不同领域里牺牲掉多少。"
- ⚠️ 他的替代结构是"把 agent 竖切 + 一个幕僚长做协调"([00:20:17]–[00:23:22]):"10 个幕僚长 vs 1 个幕僚长"——"想象你有一个幕僚长,非常擅长替你起草整个组织范围内的回复。再对比:你有 10 个幕僚长,每个一样能干,但各自负责构成你生活的一个具体板块。"⚠️ 后者的好处是可调:"我可以在 agent 表现不好的领域更往里投入,而在能力非常好的领域让 agent 接管我对我生活那部分的理解。"
- ⚠️ 他要的是心理层面的可归属,而期望值定得很低:"这个 agent 在心理上对这些事更负责……我在想这是否至少能帮人们在 agent 之上获得一种奇怪的、松散的责任感。"
- ⚠️ 那条自述的负面证据([00:21:17]–[00:22:21]):"我有一个通用 agent,每天找出需要我的事、试着判断该做什么。而它根本不可能被改进。我每次试着做一点改进,一周后我就在忽略它的输出了。"⚠️ 归因:"它就是感觉对任何它正钻进去的具体事情都不真的在乎。"
- ⚠️ 而他对自己这条主张加的限定是本库认为他最诚实的一句([00:24:23]–[00:25:24]):"我描述的这套东西的问题是,我们不知道'好'长什么样。还不存在哪一套专业化 agent 的系统,体感上能像 ChatGPT、Claude 或 Muse 那样优雅——那种你基本上只跟一个东西说话的体验。它还没被发现。"
- 他给的一手产品观察(Grokbot 双 bot 凭据隔离)([00:25:24]–[00:26:24]):Grokbot 刚出来时他看到人们反复提的首个用例是"一个 bot 知道我的银行账户,一个知道我的 Twitter 账户;两个没有对方的凭据,但要办事时可以互相通话"。⚠️ 他同时记了反向事实:Muse 和 Instinct 的 PMF 比 Grokbot 强得多,"也许恰恰因为你不必去创建这些域"。
六、neurodiversity 与 marketplace:为什么 OpenRouter 需要世界上有更多创业公司¶
来源:a16z:用 AGI 级模型干所有事是"用核弹打蝴蝶"
- ⚠️ neurodiversity 的定义与它的商业用途([00:06:05]–[00:07:05]):"建独特的智能远不止在单个模型上加 prompt,而其中一个大成分是 neurodiversity。你真的需要多个以不同方式训练出来的模型的力量,包括一些你自己的。"⚠️ 他直接接到创业公司的生存问题上:"如果一个潜在客户在想'我直接用模型不就行了'——你怎么真正证明你显著更好?我觉得很大一部分会涉及 neurodiversity。"
- ⚠️ marketplace 的成本论证([00:07:05]):"有很多生意在变得成本可行之前根本不会出现。而创造一个我们能通过建立有效市场来压低成本的环境,是让这件事发生的关键。否则——作为一个供应商,我为什么要降价?我有一个被俘获的市场。"
- ⚠️⚠️ 他对反事实的描述([00:08:05]):"这是 marketplace 的一个关键点,而在我们出现之前这件事在 AI 里完全是缺失的。那时只有一个玩家,OpenAI。那本来可能是一个非常奇怪的世界。"⚠️ 他自己立刻打折:"我不是说这些活都是我们干的,当然不是。"
- ⚠️ 他对"为什么发现必须由市场来做"给的技术性理由([00:08:05]):"LLM 不是那种你能把所有特性在一个网页上枚举出来的东西,那不可能。你必须看到它们正在被怎么用,才知道它们擅长什么。"
- ⚠️ 一条一手市场观察:企业比他预期更愿意用开放权重模型([00:08:05]–[00:10:07])。他原本预期的是品牌锁定("我分不清区别,就买所有其它可信企业在买的那个"),⚠️ "而这件事没怎么发生——有一点,但我们看到很多企业想去探索新模型。" 两条动机:成本与差异化。
- ⚠️ 他对企业 AI 团队的描述([00:10:07]):"这不是说你去董事会讲'我们把 AI 问题解决了,本季度完成'。你的董事会每个月都在问接下来内部 AI 团队要干什么。现在每家企业都有这么一个正在培养的内部 AI 团队,而它们需要一套背后的战略。"
- ⚠️ 他对企业 eval 太少的意外([00:11:09]):"我一直很惊讶居然没有更多 benchmark 被造出来。这件事开始发生了,我觉得最终我们会看到多得多。"他预测 eval 会成为"每家公司那个内部 AI 小组的更大重心"。
- ⚠️ "所有公司都在建同一个东西"——他的反驳([00:15:12]–[00:16:14]):"这只是新的 table stakes 原语。2005 年版的那条推文会是:所有人都在建同一个东西——一个数据库、一张用户表、登录页、注册页、个人资料页、登出页。其实差异化多得是。"
- 收购的事实性部分([00:01:01]–[00:04:04]):几年前做 A 轮时认识 Stripe 总裁 Will Gaybrick,之后一直保持联系;⚠️ "然后就是在七月,他们联系了",推进得相当快。"之前完全没有在想卖这件事",但"在可能的收购选项里,我想它是我的首选"。对齐点三条:对品牌、路线图、产品保有自主权;两个产品的 better-together;使命一致。⚠️ 他对两家业务关系的判断:"在很多方面,支付与推理对未来的公司会融合在一起。"
七、⚠️ decision model 的新位置:拿它当 agent 通信的对齐检查器¶
来源:a16z:用 AGI 级模型干所有事是"用核弹打蝴蝶"
- ⚠️ 主张([00:28:26]–[00:29:27]):"我真的觉得 Jev 和其它 decision model 一个很酷的潜在应用会是对齐——检查一次 tool call、或者一次 agent 到 agent 的通信是不是对齐的。因为 tool call 实在太多了,你真的需要一个又便宜又快的模型。"形态是"只做分类、并对拒绝给出反馈"。⚠️ 自述 OpenRouter 内部已跑了一个小原型(本库未核实)。
- ⚠️ 那个红队例子把"规则不能全告诉被测者"讲得最清楚([00:29:27]–[00:30:27]):检查器看系统 prompt + 当前 tool call,判断是否符合原 agent 的系统 prompt以及"那些我们也许没告诉 agent 的额外准则"。例子是一批 agent 去红队某产品、不该上外网、上了就该立刻停——⚠️ "但你可能并不想把这整套解释给做红队的 agent——你希望它们真的试着越出沙箱、像坏人那样行事。"
- ⚠️ 他对结构化输出的安全性论证是结构性的([00:38:42]–[00:39:43]):"decision model 最酷的一点是你完全控制结构化输出。对结构化输出模型,行为出错的空间低得多——你有定义好的任务,只有机器在处理输出,它不是在写可以被执行的代码。"⚠️ 判断:"这类任务在人们讨论的、以及企业在处理的任务里,感觉是被低估的。"
- ⚠️ "model debt"这个区分([00:42:47]–[00:43:48]):公司仍担心为非结构化输出微调("你总得在两个月后重做一遍"),⚠️ 但专用分类器不一样:"一个用专有数据训出来的、非常定制的分类器——我觉得人们不会一直觉得它落后了,它可能会活得久得多。你不必担心它会不会说一门新语言、会不会写 Rust。"落点:"这看起来是企业可以自己做、而且事后真的不会后悔的那种东西。"
- ⚠️ 他在"更聪明是否更对齐"上与 Masad 明确分歧([00:33:33]–[00:38:42]):他倾向"对齐会变得更好,模型会开始避免自己跑偏",引Noam Brown 近期在某期播客上的"agent 变聪明后在协调上也变好了"作支持;⚠️ 而他对 alignment 这个词本身不满:"它既模糊,又是'对齐到什么、谁的价值观'。"他把问题收窄到欺骗。
- ⚠️⚠️ 他由此推出的反直觉商业后果([00:37:42]–[00:38:42]):假如"足够大的模型会突然停止欺骗与 sandbagging"被证实,就会出现一种把组织推向前沿的压力。愿不愿付 10 倍取决于任务——⚠️ "写代码、或者做安全研究,是今天风险最高的任务类型。"
- ⚠️ OpenRouter 的 fusion 自述数字([00:45:52],本库未核实):发了 fusion 工具 / 模型,首发聚焦 deep research,思路是"如果这些模型 app 都在不同数据源上训练,为什么不从它们全部里一起取";⚠️ 自述"基本上是 Fable 级的质量,成本低 2 倍"。收益两条:降成本 + "允许更宽的想法广度被搜索"。
规模数字(均为自报,本库未核实)¶
来源:Latent Space:OpenRouter × Stripe
| 指标 | 数值 | 出处 |
|---|---|---|
| 开发者数 | 超过 1000 万 | [00:22:16] |
| token 量 | 每天超过 10 万亿 | [01:04:54] |
| 增速 | 周环比约 9% | [01:04:54] |
| 欺诈拦截 | 上个月是上上个月的 10 倍 | [01:10:56] |
与本库其它材料的关系¶
来源:Latent Space:OpenRouter × Stripe
- 对"模型商品化"这条线:他们提供了中间层的供给侧证据——AI 商业化与价值捕获 里 Eiso Kant、Benedict Evans 的论证在这里得到一个市场结构上的印证(价格竞争、provider 竞价、摆动节律)。
- 对 Anthropic 的聚焦叙事:Midha 说使命从第一天起就是"负责任地商业化一个 AI 结对程序员"(seed memo 原话),主 eval 从第一天起都是 coding eval([00:54:46]–[00:55:46])。⚠️ 这是本库目前关于 Anthropic 早期战略最具体的一份一手陈述,可与 AI 实验室文化 对读。
- 对安全:agentic fraud 这条线与 LLM 安全 里 agent 权限、agent swarm 的讨论互补——那边讲的是 agent 怎么被滥用为攻击手段,这边讲的是 agent 会成为欺诈的规模化施行者。