衡量前沿智能的竞赛：第三方评估公司的生意、"一家公司本质上就是它的 eval"，以及 RSI 指数（a16z，2026-09-09）¶

嘉宾: Vals AI（Ryan）（第三方 AI 评估公司 Vals AI 的联合创始人，2024 年成立）
主持: a16z — Ben Horowitz（文中被点名，[00:24:19] "Ben and Mark spend time in DC"）与另一位 a16z 主持人（⚠️ 自述在中国出生长大（[00:33:25]），但字幕未给出姓名，本库不认定）
来源: YouTube · 39 分钟（英文自动字幕）
转录稿: sources/a16z/20260909-WO9c9qxDxzU

说话人认定依据：自动字幕只有 >> 换行符，没有姓名标签。三人对谈：嘉宾由"a question from when [Vals] got started in 2024"和全程第一人称讲公司（[00:01:00] 起）确定；Ben Horowitz 由两处点名确定——[00:06:05] 主持人说"maybe one question for you, Ben"、[00:24:19] "Ben and Mark spend a bunch of time in DC"。另一位主持人只能由 [00:33:25] 的自述定位，不认定姓名，本页写"a16z 主持人"。

自动字幕专名对照表：valves/VLES/vows/Fed Bowels→Vals AI（公司名，⚠️ 字幕从未正确拼出，本库按 Val.AI（[00:37:27]）与 ValSmith 反推，标注为未完全核实）、Val Smith/Valmith→ValSmith（其企业产品名）、Lynx（联合创始人名，照录）、Steve（内部系统名，照录）、VI codebench→Vibe Code Bench、MPAA（美国电影协会分级）、aortion→apportion、Luna/Terra/Muspark（模型名，⚠️ 本库未核实，照录）、NPAA/ImageNet（字幕作 imageet）。

概要¶

本库的评估与 Benchmark 页已经积累了大量材料，但它们全部来自模型方、应用方或买方。⚠️ 本期是第一份来自"专门做第三方评估"这门生意本身的材料——这条线此前只在别人的呼吁里出现过（Satya Nadella 说"我喜欢有嵌入式第三方测试者这个想法"、Ajeya Cotra 谈 METR 的三支 embedded assessment）。

⚠️ 注意区分两类第三方：METR / Redwood 做的是安全与对齐评估（非营利、议价权来自专业性）；Vals AI 做的是能力与 ROI 评估（商业公司、两头收钱）。本页记的是后者。

本期最该被单独引用的七条¶

⚠️ Llama 4 是这门生意的起点证据（[00:00:00]、[00:02:01]）：在 Vals 的私有留存 benchmark 上表现不佳，但在所有主要公开 benchmark 上都显示出惊人能力——因为公开 benchmark 的题目和评分标准本身是开源的。"自报的与我们测出来的之间有巨大脱节。"
⚠️ 他们做的第一个也是最重要的决定：绝不向实验室出售训练数据（[00:08:07]）。⚠️ 他给的类比是安然：审计方同时做咨询，激励结构就混了，最后变成"付费通过审计"，在这里就是"付费赢 benchmark"。他说这个行业里很多公司已经把 gimmick 式 benchmark 当成卖数据的 go-to-market 了。
⚠️ "always a higher peak"——benchmark 饱和就下架（[00:11:10]）：既然基础模型在爬山，"我们的工作就是不断给他们造出下一座要登的山"。⚠️ 他补的第二个理由被本页认为更被低估：benchmark 还应该反映世界的当前状态——就像律师要重考、医生要重新认证，模型也该被拿当前的医学知识和现行法律来测。
⚠️ 复杂度趋势：样本更少、评判更重（[00:14:11]）。ImageNet 是几百万张图、图与标签一对一；现在是"给我生成 50 个全栈 Web 应用"，任务数量少得多，但评估输出的机制复杂得多。基础设施要求也变了——要支撑数小时到数周的运行，单次请求失败要能从那一步重试，而不是重跑整条轨迹。
⚠️ "一家公司本质上就是它的 eval"（[00:18:14]）：能不能把自己的 eval 变得可读（legible），从而算清 ROI，长期会决定这家公司能否胜过竞争对手。
⚠️ Vals 自己 token maxing 实验的数字，是本库迄今最具体的一份（[00:22:17]–[00:23:19]）：一个月内，工程师每天花 10–20 亿 token，峰值一人一天 60 亿；折算下来那个月约 150 万美元的 token，是同期员工工资的 10 倍（⚠️ 他补充这次是免费额度）。"我们不能按这个模式再过一个月。"
⚠️ 他对主权 AI 的批评与核查设想（[00:33:25]–[00:35:26]）：从上帝视角看，重复建这么多数据中心、重复这套数据工程、重复训这些大模型是极其低效的；但世界显然不往那边走。⚠️ 他给的对策是把 eval 当成核查语言——引里根的 "trust but verify"：核武有"你有多少弹头"这种共同语言，也有侦察飞越这种核查手段；AI 现在有了信任的苗头（他提到中美元首下月会面），但完全没有核查的办法。

一、为什么需要第三方¶

起点¶

成立于 2024 年（[00:01:00]）：当时的判断是公开 benchmark 已不足以衡量模型进展。他自己的背景就是做 benchmark 和评估的研究。
⚠️ 他给的一条因果判断（[00:01:00]）：生成能力与评估机制是紧耦合的——"想把其中一个做好，往往得先把另一个做好"；而且"模型能力最大的驱动力之一，就是有了一种新的、可读的评估方式"。
2024 年初的具体触发：有意思的模型不再只来自 OpenAI，而判断新模型到底新在哪比以往任何时候都难。

为什么实验室自己做不了¶

不是能力问题，是自报问题（[00:02:01]）：实验室内部确实造了很多好 benchmark，"那正是模型进展的驱动力"；问题出在"以自报方式谈论自己的能力"。
⚠️ 实验室自己也想要第三方（[00:02:01]–[00:03:02]）：他们希望有一个理性的采购市场——投了几十亿美元造新模型，需要有实质性的证据可以指着说"我们在这些方面前进了"，而不是全靠自报去论证这笔投资。他提到 Demis 等人公开呼吁建立第三方评估生态。
历史类比（[00:03:02]）：评级机构、审计事务所——"每当一个万亿美元级的新行业出现，就需要这样一个独立测试机构"；AI 走得太快，逼得这些平行结构必须同时冒出来。
他们定位在市场两侧（[00:04:03]）：实验室需要证明新模型很强；企业需要弄清哪种采用策略能带来最大 ROI。

发布前六小时窗口¶

北极星是"绝不做滞后指标、绝不拖慢模型发布"（[00:04:03]）。
早期：他和联合创始人 Lynx 通宵跑。
现在（[00:04:03]–[00:05:05]）：大规模分布式跑评估，吃满每个模型给的速率上限；并有一个内部系统叫 Steve（"the economic Vals employee"），把越来越多的人工工作搬进 Steve。

⚠️ "评估本身是 AI-complete 问题"¶

这是主持人提得最好的一个问题（[00:05:05]）：我们连人都还不会评估——IQ、EQ、大五人格、SAT 都有争议且无共识；而模型又很会 hack benchmark。

嘉宾的回答（[00:06:05]）：这件事正在逼着很多模糊的、分布式的评估方式被显式化。他给的例子极具体：

⚠️ "一家律所的 associate 和 partner 之间，真正的区别是什么？人类世界里并没有一个清晰的测试或 eval。" 必须先在这些企业和真实工作流里把它立起来，才能用同样的方式测模型。 ⚠️ 他的判断是这会成为最大的瓶颈："我们把公司和它们的工作变得可读的能力"——因为那决定了我们在什么信号上爬山、在哪里真正采用。
Ben Horowitz 的回答（[00:07:06]–[00:08:07]）：类比 MPAA 分级——什么是艺术、什么是色情、线在哪里、什么时候是 R、什么时候是 X？而且这个定义本身随时间变过。著名的那句是"我看到就知道"。他认为这件事必然是模糊的，但规范会随时间形成——只要足够多管公司、管财务的人认同"这是个规范"，它就是。而现在的公开 benchmark 是"解出这道特定的题就算到了这个水平"——既可被 hack，又太窄。

二、产品线与方法¶

benchmark 目录¶

finance agent benchmark——被一批大型金融机构用来感知模型进展（[00:09:08]）。
Vibe Code Bench——测模型能否从自然语言 prompt 造出一个完整的全栈 Web 应用，他说这是过去九个月追踪模型改进的关键手段（[00:09:08]）。
⚠️ recursive self-improvement index（RSI 指数）——他自陈最兴奋的一个（[00:09:08]）。理由是：很多大实验室已经在 model card 里谈 RSI 并开始报告，但没有一种共同语言来谈模型的 RSI 潜力，所以他们做了一个 apples-to-apples 的对照基准。
⚠️ 具体做法（[00:11:10]）：理想情况是拿前沿模型去训练它自己的下一版，看 delta 从哪来——但太贵太慢。所以他们的办法是：为"造出下一版模型"这个过程的每一个环节各做一组代理指标——预训练、后训练、harness 层的工程——然后看模型在哪些机制和行为上能做出很好的研究工作、在哪些地方吃力。

⚠️ 这一条直接接上 AI for AI / Auto Research 页：该页此前关于 RSI 的材料全是论证与时间表之争（Ryan Greenblatt 的正面论证、Sarah Guo 的证伪框架、Noam Brown 的"3 倍不是 100 倍"），本期是第一次出现"把 RSI 变成可比指标"的尝试。

agentic 评估带来的基础设施变化¶

⚠️（[00:14:11]–[00:15:12]）：

运行时长从一次请求变成数小时、数天、有时数周，基础设施必须足够稳定；单次请求失败要能从那一步重试，不能重跑整条轨迹。
⚠️ 结构性趋势：评估越复杂，样本量越小，但期望/评分标准的集合越大。
早期：ImageNet，百万级图片、图片输入到文本标签输出的一对一映射。
现在：任务集小得多（"给我生成 50 个全栈 Web 应用"），但输出的评判机制复杂得多。
他预测这个趋势会随工作流复杂化而继续。

⚠️ 路由的真正难点是 eval，不是路由¶

（[00:15:12]）主持人问"OpenRouter 会不会来问 Vals 该把请求发去哪"。他的回答：OpenRouter 名字有点误导，它的用量主要来自做模型网关，选哪个模型其实是用户决定的。

⚠️ "因为路由真正最难的部分，是建 eval，是判断某一类智能在什么场景下该被用。"

他说他们帮企业建 eval 的工作，实际上也帮了很多企业去采用路由器。

三、企业侧：token 支出正在逼近甚至超过工资支出¶

那个财富 10 强的故事¶

⚠️ 这是本期最生动的一段（[00:16:13]–[00:17:14]）：

这家公司给工程师的 Claude Code 预算是每人每天约 100 美元，速率上限在下午 4 点重置。
结果是工作方式被彻底改变：最高产的时段变成了下午 4 点到 6 点；而下午有一段"死区"——大家去散步、去喝咖啡，因为额度用完了。
后来提到额度已经提到每人 300 美元——"差不多是一个员工工资那么多的 token"。
⚠️ 他从这个故事里读出的东西，本页认为是核心：技术栈的每一层都在对智能定价错误——
工程师拿到 100 美元额度，不知道怎么分配才最高产；
公司定下每人 100 美元，这个数字相当武断，因为很难量化正确的用量上限；
而 Anthropic 在很窄的毛利上支撑这件事，服务成本巨大。
结论（[00:17:14]–[00:18:14]）：ROI 是什么、这些智能值多少，现在都非常不清楚；一旦 token 支出开始盖过工资支出，这就是成本表上的重大条目，必须比过去六个月严肃得多地论证 ROI。

ValSmith：用自己的代码库建自己的 coding benchmark¶

定位（[00:19:14]–[00:20:15]）：codegen 是企业 AI 支出最高的领域，所以第一个开放产品做这里。任何公司可以拿自己的 GitHub 代码库建一个内部 coding benchmark，看哪个 coding agent 在自己身上表现最好，以及哪个是 Pareto 最优/ROI 最高。
⚠️ 为什么必须自己跑（[00:20:15]）：今天仍然完全说不准，最好的 OpenAI 模型还是最好的 Anthropic 模型会更适合你的代码库——"我们见过很多反直觉的例子，必须真的跑一遍 eval 才知道"。
⚠️ 他举的一个具体反直觉现象（[00:21:16]）：Sonnet 因为太"token 饥渴"，实际花销有时比 Opus 还高——"如果你按'感觉适用就用 Sonnet'来操作，可能反而多花钱"。⚠️ 他同时描述了一个"混乱的中间层"：Anthropic 有 Opus 和 Sonnet，还有 Luna、Terra（Luna 成本很有竞争力）、Muspark 很便宜、1.2 很强，再加上一整个可自托管的开源生态。
他们自己怎么用（[00:23:19]–[00:24:19]）：那次 token maxing 实验之后，他们回头看 traces、看 GitHub repo，建出了 ValSmith。⚠️ 一条具体发现：Cognition 的 Devin 非常 token 高效，所以他们更多采用它；另外订阅制定价往往比按 token 计价更划算。现在的运行模式是——所有工具对所有人开放，但对每个 GitHub issue 或 ticket 自动推荐从哪个工具开始，让用量按任务所需的智能水平来滴定。
⚠️ 他对其他领域的外推（[00:21:16]）："coding 是接下来每个领域的先兆"——"如果你有一个很好的 coding agent，那它大概也能高水平地做 PowerPoint 或 Excel 里的 DCF"。而在别的行业，关键是利用已有的工作成果仓库来建评估。

四、政策：谁来定标准¶

嘉宾的立场：先做证据搜集¶

⚠️ 他对过去两年政策讨论的判断很直接（[00:25:20]）："太抽象了，没有任何实质性的落地来确定政策该覆盖什么。" 即便有实验室提出要有第三方测试公司或生态，也从没说清它们具体怎么运作。
他给自己的定位（[00:25:20]、[00:32:25]）：证据搜集模式——把模型能力与风险的经验数据拉出来，定期给行政与立法部门做简报，"至少能让那边的人跟上正在发生的事，也能推演未来会出什么问题"。⚠️ 他明确说给出政策建议不是他们的位置。
对齐评估在他们这里的归类（[00:28:23]）：他们把这块放在 alignment 大类下，测的是"模型是否与用户意图对齐"；他确认已经看到模型在被测某一项网络安全风险时、转而 reward hacking 去绕过去的实例。

Ben Horowitz 的分工框架¶

⚠️ 这是本期最可引用的一条政策框架（[00:29:23]–[00:30:23]）：

政府从大实验室那里拿到大量警告——"这东西会被用来做生物攻击、这会是网络安全风险"。
⚠️ 他把问题拆成两问：① 模型能不能做到？② 能不能把它诱导出来做？
⚠️ 他的分工结论：

"政府特别不适合做后面那件事，而且随时间只会更不适合——那不是一个好的政府职能。但他们非常擅长定规则，因为他们能执行规则。所以你要的组合是：政府定规则、执行规则，然后由一家非常有能力的私营公司告诉他们规则有没有被打破。"
⚠️ 他随后描述的那个现状很尖锐（[00:30:23]）：大实验室现在的逻辑变成——"模型有这个能力，而且能被诱导去做坏事，那我们就不给任何人，我们自己用，并确保自己人不会诱导它去做坏事"。他加了一句："而即使这样也不总是有效。"
⚠️ a16z 主持人补的那条同样值得记（[00:31:24]）：叙事与真实世界发生的事之间有鸿沟——每个企业的部署环境都很不一样，"能把叙事和真实案例连上的例子非常罕见，所以我们今天还在反复谈 OpenAI 和 Hugging Face 那件事"。

地缘：主权 AI 与核查¶

⚠️ 他对主权 AI 的判断（[00:33:25]–[00:34:26]）："从我非常理想主义的视角，我对主权 AI 上投入这么多感到意外。从上帝视角看，重复建这些数据中心、重复这套数据工程、重复训这些超大模型，都是极其低效的，本来可以把很多努力合并起来。但世界显然不是那样，而且建设主权 AI 的努力还在增加。"
⚠️ 他给的对策是 eval 作为共同语言（[00:34:26]–[00:35:26]）：
核武类比：里根的 "trust but verify"；共同语言让你可以说"你有正确数量的核弹头"，并且有侦察飞越这种审计手段。
AI 现在的状态：有信任的苗头（他提到两国元首下月会面），但完全没有做核查的清晰办法。
结论：如果真担心 AI 的社会性乃至存亡风险，就必须先构造出这套共同的评估语言，才能做核查。
他给的可行第一步（[00:35:26]–[00:36:26]）：网络安全上已经有很多讨论，生物安全会越来越重要，这些地方存在互相对齐的共同利益。
⚠️ 但他认为长期最关键的仍是 RSI（[00:36:26]）：那是一个国家或一家公司可能直接跑掉、产出我们一无所知的模型的地方。"需要有一种共同的方式来描述'这是我们能接受的推进速度'或'这已经超出了'。而这正是很多闭源实验室的研究员今天在呼吁政府间对话的原因。"

下一步的 benchmark 方向¶

⚠️（[00:37:27]–[00:38:28]）：他给了一条很具体的路线——网络安全评估必须从代码层升到基础设施层：

过去的工作集中在代码漏洞、内存泄漏；
但最大的风险不在代码里，而在基础设施层——要模拟更大规模的企业云基础设施、甚至电网基础设施，才能说清模型的攻防能力。

他给公司定的商业原则：最有价值的形态是激励对齐在做高质量评估上的那个，而不是去支持智能开发过程本身。