Simon Mo¶
- 背景: Inferact 联合创始人、vLLM 主维护者之一（4 位 BDFL 之一）。UC Berkeley 出身（Sky Computing Lab 谱系），此前在 Anyscale / Ray 生态。Inferact 的另一位联合创始人兼顾问是 Ion Stoica（Databricks / Anyscale 联创）。
- 本库中的位置：他是 游凯超 之外的第二位 vLLM 一线视角，也是本库中唯一从美方政策语境谈开放权重的推理层从业者。两人合起来构成同一项目的中美两侧记录。
- 首次收录: a16z，2026-08-06
⚠️ 转录稿把公司名写作
Infact/Infra、把 vLLM 写作VLM/VM/VRM等多种形式，均已在视频页列表校正。
立场与关注点¶
一、推理引擎的自我定位：数据库和操作系统那一层¶
- "把可用的 GPU 变成一个正在运行的智能端点"；vLLM"像数据库和操作系统一样，是驱动 AGI 的关键软件"（[00:08:03]）。
- 他强调 vLLM 在生态中的位置是稍下游："推理引擎不参与预训练、也不参与 RL 过程，但我们是模型真正与世界相遇的地方。"（[00:13:09]）
- ⚠️ 他给的一条结构事实与游凯超独立给出、措辞几乎一致：每次模型发布背后都有 vLLM 的 day-zero 支持；NVIDIA/AMD/Google/Amazon/Intel 的新芯片会确保 vLLM 能跑，"很多情况下他们拿 vLLM 当 benchmark"。本库把它当作已交叉验证的事实。
二、开放权重的核心是控制权，成本是最近才成为议题的¶
- 顺序他说得很清楚："控制在过去几年一直很重要，成本是最近几个月才开始重要的。" 成本变重要的触发点是"从很贵的 coding plan 迁走"与"不断飙升的 token maxing 开销"（[00:14:10]）。
- 速度自由度是他给的一个新维度：专有模型只有 regular / fast 两个开关，开放权重"每个 provider 可以提供多达 10 个速度档"，上限 400–500 tokens/s、"比今天外面的 fast mode 快 2–3 倍"（[00:17:12]）。
- 他明确反对"开源=便宜"的简化：Kimi K3 不如 Claude/GPT 贵但比 GLM 5.2 贵不少，"我们在弥合几乎 10 倍的差距，但落在中间某处"；重点应该是"把一个 opus 4.8 级别的模型带到我自己的基础设施上"（[00:16:12]–[00:17:12]）。
三、⚠️ 护栏误杀：本库最具体的一条"闭源模型流失用户"证词¶
（[00:33:22]）这是他在本库中最该被引用的一段：
Inferact 与 vLLM 内部很多开发者正在从 Fable 5 撤退——他们研究 GPU kernel，"哪怕只是一个 invalid memory access 报错，我们都在触发红线"（前沿 AI 研究相关的护栏）。代价是不可恢复的："你有一个两小时的任务，触发了红线（假阳性），然后你全部的工作就没了。" 于是"很多开发者今天在用比如 Kimi K3，就因为它质量相近、护栏对我们来说是合理的"。
- 他由此推出的终局论证：如果内容审核这个问题永远解不掉（他认为会非常难），那"可信用例会默认走向开放权重，因为那是你确知护栏由自己控制的地方"（[00:32:21]–[00:33:22]）。
- 同一段的背景事件是 Hugging Face 用一个中国开源模型帮助遏制一次由未沙箱化的 OpenAI 测试模型发起的攻击（他转述 Hugging Face 官方博客，⚠️ 本库未核实）。
四、差异化正在从能力层退到发行层，而真正的护城河是环境¶
- ⚠️ "归根到底并没有太多差异化。更多是关于发行策略和 go-to-market 策略。而能力上，我看不到大差距——今天都没有。"（[00:38:26]）
- 他的配料表论证：算力集群 + 训练数据 + 出色的研究员；而最关键的一味不是数据来源，是环境。例证是 K3 在 Arena 上最强的一条是前端编码——说明 Moonshot 造出了最好的前端编码环境之一（写代码 → 看渲染 → 循环）。"这是关于他们改进模型的环境，不是关于他们从哪拿的数据。"（[00:39:28]–[00:40:29]）
- ⚠️ 由此推出的蒸馏反驳（政策价值最高的一条）："这些是 RL 环境——它们没法被蒸馏。你没有别人的环境可以复制；你没法蒸馏模型在环境里是怎么学的。" 能做的只有重写数据集、做更好的预训练数据，"但任何会遵循指令的模型都能派上用场"，所以蒸馏"不是今天推动进展的一块基石"（[00:43:32]）。
- 中美研究员的分野他刻意不接立场框架："在我看来他们是被有趣的问题吸引，不一定是被开还是闭的立场吸引；不过开放权重确实给这类模型的影响力一个非常大的加成。"（[00:40:29]）
五、开源的运维成本在部署足迹，不在获取¶
- 模型是在给定硬件、给定架构上训出来的，"一旦放到野外，每个人的集群拓扑和用例都不一样"——"关键是你怎么把'一个用例'变成'几乎无穷个用例'"：边缘设备到最大规模，语音 agent 与编码 agent 是完全不同的用例。他称之为"一整个村庄的事"（[00:26:16]）。
- 规模即验证机制：要抓住"大约 0.00001% 概率才出现的最后一批 bug"就需要尽可能大的部署足迹，"今天很多推理云和 API-as-a-service 底下用的都是开源推理引擎"（[00:28:18]–[00:29:19]）。
- ⚠️ 与游凯超的论证互补而非重复：游凯超论证维护者的个人 context 不可替代（要预判三个月后的模型、半年后的硬件）；Simon 论证部署足迹不可替代。两条合起来才是"这层为什么不能被一家公司闭源做掉"的完整论证。
六、伯克利谱系与 Ion Stoica¶
- 被问"为什么 vLLM、OpenRouter、Ollama 都在 2022–2023 前后起步"，他给的是伯克利传统 + 好奇心："我们来自 UC Berkeley，有很长的开源软件与系统研究传统……开源是你能遇到最多使命一致的人的地方。"（[00:31:21]）——与游凯超那期完整讲的 AMP Lab → RISELab → Sky Computing Lab 谱系是同一来源的两种讲法。
- Ion Stoica 的取向：从 Databricks、Anyscale 到 Arena 再到 Inferact，"一直是开源优先"——"我们需要造的东西，尽量在开源里造；而我们能交付的价值，是把最后一公里做完。"（[00:36:22]）
- ⚠️ 一处只有另一侧留下记录的事：游凯超那期 提到 Simon Mo 曾试图借 Character AI 之力支持 vLLM 而失败（"最终还是发现没有办法靠别人"）。本期 Simon 本人没提这段。两条不冲突，但只有游凯超那侧留下了失败记录。
已收录访谈¶
| 日期 | 视频 | 同场 |
|---|---|---|
| 2026-08-06 | 开源如何成为 AI 的骨干：vLLM / Inferact | Matt Bornstein（a16z） |