跳转至

Vals AI（Ryan）

来源：a16z 2026-09-09

  • 背景: 第三方 AI 评估公司 Vals AI，2024 年成立；嘉宾是联合创始人之一（Ryan），另一位联合创始人字幕作 Lynx。他自陈研究背景就是做 benchmark 与评估。
  • ⚠️ 公司名的拼写：自动字幕从未正确拼出（valves/VLES/vows/Fed Bowels），本库按 Val.AI（[00:37:27]）与产品名 ValSmith 反推为 Vals AI，标注为未完全核实。
  • 本库收录起点: 2026-09-09 a16z 访谈（39 分钟，英文自动字幕；同台的是 Ben Horowitz 与另一位 a16z 主持人）

他们在本库中的位置

⚠️ 本库 评估与 Benchmark 页此前的材料全部来自模型方、应用方或买方；这是第一份来自"专门做第三方评估"这门生意本身的材料。这条线此前只以呼吁的形式出现过（Satya Nadella 说"我喜欢有嵌入式第三方测试者这个想法"）。

⚠️ 注意与 METR / Redwood 区分：METR 做的是安全与对齐评估（非营利）；Vals AI 做的是能力与 ROI 评估（商业公司，两头收钱）。见 Ajeya Cotra。

立场与核心观点

为什么需要第三方：Llama 4 是起点证据

⚠️（[00:00:00]、[00:02:01]）在 Vals 的私有留存 benchmark 上表现不佳，但在所有主要公开 benchmark 上都显示出惊人能力——因为公开 benchmark 的题目与评分标准本身是开源的。"自报的与我们测出来的之间有巨大脱节。"

  • 他的因果判断（[00:01:00]）：生成能力与评估机制紧耦合——"想把其中一个做好，往往得先把另一个做好"；"模型能力最大的驱动力之一，就是有了一种新的、可读的评估方式"。
  • 实验室自己也想要第三方（[00:02:01]）：它们希望有一个理性的采购市场——投了几十亿造模型，需要实质性证据而非全靠自报去论证投资。他提到 Demis 等人公开呼吁建立第三方评估生态。
  • 历史类比：评级机构、审计事务所——"每当一个万亿美元级的新行业出现，就需要这样一个独立测试机构"。

⚠️ 激励结构：绝不向实验室出售训练数据

（[00:08:07]）这是他们最早、也是他自认最重要的一个决定。

  • 类比安然：审计方同时做咨询，激励就混了，最后变成"付费通过审计"——在这里就是"付费赢 benchmark"。
  • ⚠️ 他对行业现状的判断：很多公司已经把 gimmick 式 benchmark 当成卖训练数据的 go-to-market。
  • 商业原则（[00:38:28]）：最有价值的形态是激励对齐在做高质量评估上的，而不是去支持智能开发过程本身。

benchmark 的生命周期

  • ⚠️ "always a higher peak"（[00:11:10]）：基础模型在爬山，"我们的工作就是不断给他们造出下一座要登的山"，饱和就下架。
  • ⚠️ 第二个下架理由更被低估：benchmark 还应反映世界的当前状态——就像律师要重考、医生要重新认证，模型也该被拿当前的医学知识和现行法律来测（[00:12:10]–[00:13:10]）。
  • 产品目录（[00:09:08]）：finance agent benchmark（被大型金融机构使用）、Vibe Code Bench（自然语言 → 完整全栈 Web 应用）、⚠️ recursive self-improvement index。

⚠️ RSI 指数：怎么把 RSI 变成可比指标

（[00:09:08]–[00:11:10]）他的出发点是：很多大实验室已经在 model card 里谈 RSI 并开始报告，但没有共同语言。

  • 理想做法：拿前沿模型去训练它自己的下一版，看 delta 从哪来——太贵太慢。
  • 他们的做法：为"造出下一版模型"这个过程的每个环节各做一组代理指标——预训练、后训练、harness 层的工程——再看模型在哪些机制和行为上能做出很好的研究工作、在哪些地方吃力。

⚠️ 这是 AI for AI / Auto Research 页 上第一次出现"把 RSI 变成可比指标"的尝试——该页此前全是论证与时间表之争。

agentic 评估的结构性变化

⚠️（[00:14:11]–[00:15:12]）

  • 基础设施：运行时长从一次请求变成数小时、数天、有时数周；单次请求失败要能从那一步重试，不能重跑整条轨迹。
  • ⚠️ 趋势：评估越复杂，样本量越小，但评分标准的集合越大。
  • 早期：ImageNet，百万级图片、图片到标签一对一；
  • 现在："给我生成 50 个全栈 Web 应用"——任务少得多，但输出的评判机制复杂得多。
  • ⚠️ 路由的真正难点是 eval（[00:15:12]）："路由真正最难的部分，是建 eval，是判断某一类智能在什么场景下该被用。" 他说他们帮企业建 eval 的工作，实际上也帮了企业去采用路由器。

⚠️ "评估本身是 AI-complete 问题"

（[00:06:05]）他的回应是：这件事正在逼着很多模糊的、分布式的评估方式被显式化。

⚠️ "一家律所的 associate 和 partner 之间，真正的区别是什么？人类世界里并没有一个清晰的测试或 eval。"

他判断这会成为最大的瓶颈："我们把公司和它们的工作变得可读的能力"——因为那决定了我们在什么信号上爬山、在哪里真正采用。

企业侧：token 支出正在逼近甚至超过工资支出

⚠️ 那个财富 10 强的故事（[00:16:13]–[00:17:14]）：

  • 给工程师的 Claude Code 预算每人每天约 100 美元，速率上限下午 4 点重置 → 最高产时段变成 4–6pm，下午出现"死区"（大家去散步、喝咖啡）。
  • 额度后来提到每人 300 美元——"差不多是一个员工工资那么多的 token"。
  • ⚠️ 他的读法：技术栈的每一层都在对智能定价错误——工程师不知道怎么分配、公司定的数字相当武断、而 Anthropic 在很窄的毛利上支撑这件事。

⚠️ 他给的判断（[00:18:14]）：

"一家公司本质上就是它的 eval。" 能不能把自己的 eval 变得可读、从而算清 ROI，长期会决定这家公司能否胜过竞争对手。

Vals 自己的 token maxing 实验（[00:22:17]–[00:24:19]）： - 一个月内工程师每天 10–20 亿 token，峰值一人一天 60 亿；折算约 150 万美元的 token，是同期员工工资的 10 倍（⚠️ 这次是免费额度）。"我们不能按这个模式再过一个月。" - 这直接催生了 ValSmith——用自家 GitHub 代码库建内部 coding benchmark。 - ⚠️ 两条具体发现：Cognition 的 Devin 非常 token 高效；订阅制定价往往比按 token 计价更划算。现在的模式是所有工具对所有人开放，但对每个 GitHub issue 自动推荐从哪个工具开始。 - ⚠️ 一个反直觉现象（[00:21:16]）：Sonnet 因为太"token 饥渴"，实际花销有时比 Opus 还高。 - 外推："coding 是接下来每个领域的先兆"——好的 coding agent 大概也能高水平做 PowerPoint 或 Excel 里的 DCF；关键是利用已有的工作成果仓库来建评估。

政策立场

  • ⚠️ 对过去两年政策讨论的判断（[00:25:20]）："太抽象了，没有任何实质性的落地来确定政策该覆盖什么。" 即便有实验室提出要有第三方测试生态，也从没说清它们具体怎么运作。
  • 他给自己的定位：证据搜集模式——定期给行政与立法部门做简报；⚠️ 明确说给出政策建议不是他们的位置（[00:32:25]）。
  • 对齐评估在他们这里的归类（[00:28:23]）：测的是模型是否与用户意图对齐；他确认已看到模型在被测某项网络安全风险时、转而 reward hacking 去绕过去。
  • 下一步方向（[00:37:27]）：⚠️ 网络安全评估必须从代码层升到基础设施层——过去做的是代码漏洞、内存泄漏，但最大的风险不在代码里，要模拟企业云基础设施、甚至电网基础设施。

⚠️ 主权 AI 与"trust but verify"

（[00:33:25]–[00:36:26]）

  • 他的批评："从我非常理想主义的视角，我对主权 AI 上投入这么多感到意外。" 从上帝视角看，重复建这些数据中心、重复这套数据工程、重复训超大模型都是极其低效的，本可以合并。但世界显然不往那边走，而且这种努力还在增加。
  • ⚠️ 他给的对策是把 eval 当成核查语言——引里根的 "trust but verify"：核武有"你有多少弹头"这种共同语言，也有侦察飞越这种核查手段；AI 现在有了信任的苗头（他提到中美元首下月会面），但完全没有做核查的清晰办法。
  • 可行第一步：网络安全与生物安全上存在互相对齐的共同利益。
  • ⚠️ 但他认为长期最关键的仍是 RSI（[00:36:26]）：那是一个国家或一家公司可能直接跑掉的地方。需要共同的方式来描述"这是我们能接受的推进速度"或"这已经超出了"——"这正是很多闭源实验室的研究员今天在呼吁政府间对话的原因"。

⚠️ 同期 Ben Horowitz 的分工框架（本页一并记录）

（[00:29:23]–[00:30:23]）他把政府该做什么拆成两问——① 模型能不能做到？② 能不能把它诱导出来做？

"政府特别不适合做后面那件事，而且随时间只会更不适合——那不是一个好的政府职能。但他们非常擅长定规则，因为他们能执行规则。所以你要的组合是：政府定规则、执行规则，然后由一家非常有能力的私营公司告诉他们规则有没有被打破。"

⚠️ 他随后描述的现状很尖锐（[00:30:23]）：大实验室现在的逻辑变成——"模型有这个能力、而且能被诱导去做坏事，那我们就不给任何人，我们自己用"。他加了一句："而即使这样也不总是有效。"

Ben Horowitz 另给了一个评估本身的类比（[00:07:06]）：MPAA 分级——什么是艺术、什么是色情、线在哪里，定义本身还随时间变过，最后靠的是"我看到就知道"和随时间形成的规范。他认为现在的公开 benchmark 既可被 hack，又太窄。

与他人观点的呼应/分歧

  • 与 Mark Chen 的 "evals crisis" 与 Noam Brown 的 "benchmark 要控制 test-time compute"：同一问题的三种切入——Vals 给的是制度性解法（第三方 + 激励隔离）。
  • 与 Decagon（自建 eval 是应用层的真实门槛）与 Kavak（evals 是刹车，投入约 1:1）：⚠️ 两家说的是企业必须自建；Vals 的回应是"我推荐很多公司发展内部能力，但那不该是唯一解法"——因为智能选项在复合式增长（[00:19:14]）。
  • 与 Ramin Hasani：⚠️ 两人对主权 AI 的判断正相反，本库并列不裁决。
  • 与 Ajeya Cotra：两家都是第三方评估，但评的东西不同（能力/ROI vs 安全/对齐），⚠️ 而两人给出的"共同语言"诉求方向一致——Cotra 要的是公开训练原则 + 外部审计，Vals 要的是共享的评估语言用于国际核查。
  • 与 Satya Nadella：Nadella 一边说"我喜欢有嵌入式第三方测试者这个想法"，一边警告"应该避免那种谁测谁、谁能拿到什么的温情安排"——⚠️ Vals 的"绝不卖训练数据"恰好是对这条警告的正面回应。

已收录访谈

日期 视频 频道
2026-09-09 衡量前沿智能的竞赛：第三方评估公司的生意与 RSI 指数 a16z