游凯超：开源 Infra、模型与 Infra 的 Co-design、"如果 vLLM 失败，我们会后悔一辈子"（张小珺 #148，2026-07-28）¶

嘉宾: 游凯超（清华本科 → 清华博士 → UC Berkeley Sky Computing Lab 访问/博士后 → Inferact 联合创始人兼首席科学家；vLLM 核心维护者之一）
主持: 张小珺（《商业访谈录》第 148 期）
来源: YouTube · 127 分钟
转录稿: sources/zhang-xiaojun/20260728-ffdR5fZTC5E
⚠️ 无字幕，本地 RTX 5090 上用 faster-whisper large-v3-turbo 转录 + pyannote 说话人分离（2 位说话人）。

说话人映射（转录稿中为匿名标签，此处认人属 wiki 层编辑判断）： SPEAKER_01 = 张小珺（主持）、SPEAKER_00 = 游凯超（嘉宾）。本期为一对一访谈、两人轮次分明，分离结果与内容高度一致，未发现明显错配。

⚠️ 转录归一化：whisper 对本期专有名词误识严重，本页已按上下文统一。最需注意的是 "vLLM" 被反复转成 "为我们 / 为我 / VM / VOM / VYM / 微网 / 微玩"——转录稿中"为我们项目失败了"实为"vLLM 项目失败了"。其余：PagedAttention（"Page of Tension"）、Ion Stoica（"Yang/Young Stoica、央CEO老师"）、Michael I. Jordan（"麦克朱登"）、RISELab（"Rice Lab"）、Woosuk Kwon（"乌塞克/无数个同学/Wussuk"）、李卓翰 Zhuohan Li（"卓汉/浙汉"）、Simon Mo、何恺明（"何凯明/凯明老师"）、旷视（"旷世/矿式"）、DeepSeek（"Deepseek/DeepSig/dipsig/dbc"）、幻方量化（"换方量化"）、预填充 prefill（"育田充"）、推理引擎（一处误作"催泪引擎"）、天授 Tianshou（"天兽/天寿"）、LogME（"lockme"）、xAI（"XAI…曲终人散"误作"曲忠仁散"）、腾讯混元（"腾讯的会员团队"）、OpenClaw（"OpenCloud"）、黄氏定律（"黄式定律"）、Edward Yang（"Edward Young"）。

⚠️ 未能确证、按存疑记录的专有名词：公司名 Inferact（转录出现 "Infrault / Infraact / Infract" 多种拼法；游凯超自述取名逻辑是 Inference + "bring inference into action"，故本库暂记作 Inferact，准确拼法以官方为准）；DeepSeek 新投机解码方法 "DSpark" 与其所属路线 "DFlash"（均为转录音，官方名待核）；早期资助方 "ACC"（疑为某美元基金缩写，未能确证）；2022 年在旷视与他长谈的 "张强宇老师"（转录音，旷视首席科学家，真实姓名待核）；本科合作者 "翁家翌"（转录作"温嘉义/翁嘉义/翁天忆"，天授作者，现 OpenAI）。

⚠️ 本期上传版本不完整，两处需注意： ① 标题称"3 小时访谈"，但 YouTube 上传版为 127 分钟； ② 转录在 [02:05:53] 处戛然中断于一句未说完的话（音频总长 02:06:36），最后一问"为什么这边没做起来"的回答被截断。更关键的是：片头预告片段（[00:01:01]–[00:02:02]）中的两段实质内容并未出现在正文里——即"DeepSeek 深厚的 infra 功底可能来自幻方量化时期对性能的极致压榨"，以及下面记录的"token 不可调制"论。这说明上传版是剪辑过的版本。这两条仍可按 [00:01:01]–[00:02:02] 引用，但其完整论证在本库现有素材中缺失。

概要¶

本库第一份开源基础设施项目本身的一手内部史：vLLM 如何从伯克利一篇被审稿人嫌"too simple"的论文，长成 GitHub 上最活跃的项目，再长成一家公司。游凯超是 vLLM 的第 4 位核心投入者，也是中国 vLLM 社区的搭建者。

三条主线：① 一位算法研究者为何转向系统工程（学术评审"礼乐崩坏"、算法天花板需要资源、系统贡献可量化）；② 开源项目的治理与商业化——捐给 PyTorch 基金会做"保险杠"、同时自己开公司做"支柱"，以及为什么这两件事不矛盾；③ 模型与 Infra 的 co-design——以"硬件彩票"为框架，RoPE、DeepSeek、expert choice 为正反案例。

核心观点¶

一、为什么从算法转向系统：三个原因¶

学术评审的崩坏："我在刚接触人工智能研究的时候大概是 18 年，那个时候一届学术会议一年大概几百篇论文左右，学术社区比较健康"——审稿人给建设性反馈。但会议规模扩张速度远超社区成长速度，投稿数逐年几何级增长，"审稿人的数量和质量都远远比不上投稿的数量"，于是"你的投稿就像抽彩票一样，中或者不中跟你工作的质量本身已经没有很大的关系"。他形容自己"亲眼见证了这个过程，只能说比较痛心""大厦将倾不是我一个人能够改变的"（[00:08:17]–[00:09:23]）。
算法的天花板在资源，不在 idea：他把何恺明当作心中的算法天花板，"只要恺明老师的主页有变动，我们这些同学就像收到了新的神谕一样"。但私下讨论时常有的疑问是——"看完恺明老师的论文，我们觉得这个想法实在是太自然了，浑然天成，类似的想法其实我也早就想过，可能几个月前组会上就探讨过"。他的结论：差别在于恺明做了大规模的实验，而"我们实验室里面的这些小虾米只是在玩玩具数据集，螺蛳壳里做道场"。由此得到那句关键判断——"支撑实验的机器学习系统以及对应的数据，才是决定成败的关键，而不是说你去雕这个 cross entropy 的五种加权方法"（[00:10:23]–[00:11:24]）。后来他把这条讲得更直白："我没有恺明老师的资源，我只是想到了他那些论文的 idea 也没有用"（[00:34:54]）。
工业界的反馈：2022 年在国内一个机器视觉大会上，他"厚着脸皮"拉着旷视首席科学家（转录作"张强宇老师"，姓名待核）聊了一个多小时，很惊讶地发现这位目标检测大佬讲的不是新 loss，而是复杂硬件对软件带来的挑战——为 CV 算法特化的硬件有多级缓存、需要手动控制片上数据流动，"旷视的工程师每天最头疼的不是参数怎么调，而是我这个 cuDNN 代码里面又有这样那样的问题、我需要适应这个硬件去写这样那样的算子"（[00:12:25]–[00:13:28]）。

时代判断（与张小珺的对话）：张问"是不是恺明那个年代更适合算法研究，今天更适合大规模系统研究"，游答"绝对有关系"——恺明的时代是算法研究的蓝海，"后面 low hanging fruit 都被大家摘完了"；叠加对 scaling law 的信仰："你的基本算法其实不需要怎么变，你只需要不断地堆算力堆数据，效果就能自然变好"（[00:13:28]–[00:14:28]）。

转向后的衡量标准变了：不再是引用数，而是"你做的东西有多少人用、GitHub 多少 star、多少人在 issue 里发来感谢信说提高了多少效率"，论文变成副产物（[00:34:54]–[00:35:54]）。他给出了本页最凝练的一句方法论——

"你可以说我的东西不 novel，但是你不可以说我的东西没有用。"（[00:33:52]）

理由是正反馈的可累积性：系统工程说"我给你加速两倍"，原理确定、可复现、别人用了也是两倍；而算法研究说"提升 2%–3% 准确率"，别人换个场景复现可能反而更差，"很难积累一个正反馈"（[00:35:54]–[00:36:54]）。

二、伯克利的开源传统：为什么重要项目总是从这里长出来¶

谱系：BSD（操作系统）、RISC-V（芯片）、RAID（存储）、Spark、Ray——"这些软件其实都是学生在读期间发起的，从学生的 research project 开始，最后变成学生主要维护，再把社区发展壮大，再变成工业界的基础设施"（[00:38:57]–[00:39:57]）。
David Patterson 的"5 年关停论"：Patterson 2014 年的观点文章主张每个实验室/大型研究中心只做 5 年就够了——因为 5 年刚好是博士生毕业周期，"在这 5 年里充分利用优秀博士生的时间，让他们静下心来专注一个领域"。伯克利实验室由此一脉相承：AMP Lab（→ Spark）→ RISELab（→ Ray）→ Sky Computing Lab（→ vLLM）。游凯超的推论："实验室的 5 年周期和工业界的需求周期一旦共振，就会诞生一些重要的项目"——他 2023 年判断 vLLM 就是下一个（[00:39:57]）。
谁适合维护开源项目（一条很具体的经验）：低年级博士生急着发论文开新方向、不愿沿老路；博士后期急着找工作；最合适的是博士中后期、已无毕业压力、又对开源有兴趣的同学——他自己 2024 年正处在这个窗口（[00:40:59]–[00:43:02]）。
两位老师的分野：Michael I. Jordan 偏理论（"他从来不把自己叫做 AI 研究者"，做机器学习理论、博弈论、经济学分析）；Ion Stoica 偏系统，"他的追求很简单，就是 real world 的 impact"。游凯超明确选了后者，理由不是优劣而是时代——"前一个那种东西，你要能做出 impact 的只能在世界上很少的地方，有这样的坑位"（[00:25:38]–[00:26:39]、[00:34:54]）。
一个关于坚持的细节：2019 年暑研时他问 Ion Stoica"如果我做一个机器学习系统但没人用，时间是不是浪费了"，Stoica 答"只要你是一个好的软件总会有人用的"。四年后（2023 秋）他再次申请去伯克利时，把这段旧事讲给 Stoica 听——"他看到四年前的一个青春少年，四年之后还跟他说他还一直在践行这个建议，所以他也非常感动"，于是同意了申请（[00:21:32]、[00:24:37]）。

三、PagedAttention ≠ vLLM：一个常见误读¶

必须区分两个概念：PagedAttention 是论文/算法（借鉴操作系统虚拟内存管理机制，管理自回归生成中的中间状态 KV cache）；vLLM 是推理引擎和生态系统。"时至今日 vLLM 早就不是 PagedAttention 算法了，它是一整个大模型推理的系统，是大模型高效运行的一个底座"（[00:46:10]–[00:47:14]）。
对自家成名作的低调评价（罕见的坦率）："我觉得不能算一个很大的创新，任何一个认真分析大模型推理过程的机器学习研究者都能够想到这个想法，所以从学术创新的角度来说 PagedAttention 算法的创新性甚至是偏低的。"投稿 SOSP 2023 时审稿人就批评 "too simple"、没有 novelty，"它最后能发表完全是因为他们做得很早，而且做了非常丰富的实验，所以最后是以低分过线的状态被会议接收"（[00:47:14]–[00:48:14]）。
与 PagedAttention 的实际影响力对照，这是本库里"学术新颖性与工业价值脱钩"最直接的一手例证，也反过来印证了他转向系统工程的判断。
真正撑起推理的核心技术是 PagedAttention + Continuous Batching 两条，加上后续大量优化（[00:48:14]）。
为什么论文接收后要开源：系统会议要求 artifact evaluation（系统需被他人复现），团队本就有原型；而 Ion Stoica 作为指导老师"很早就看到开源推理引擎里面蕴藏着一个巨大的机会"，推动学生团队把 vLLM 当重要开源项目维护。但"不是所有人都同意 Stoica 老师的观点"，加上各人客观情况，最后主要是 Woosuk Kwon 和李卓翰两人在继续维护（[00:48:14]–[00:49:17]）。

四、推理引擎是"电力系统"：一个贯穿全场的比喻¶

这是本期的核心框架，游凯超反复用它解释 co-design（[00:54:24]–[00:56:29]、[01:52:36]–[01:53:38]）：

现实	类比
硬件	自然资源（不同地方的风力、水力、光伏）
模型	发电机（风力/光伏/水力，形制各异）
推理引擎（vLLM）	电力系统：把模型跑在硬件上，再把 token 分发到千家万户

V0→V1 重构的意义："好比说这个发电系统整体上从火电过渡到新能源发电"——用户侧感知不大（"你可能都是电，插头插上去就能用"），但背后工作原理发生巨大变化（[00:55:28]）。
推理引擎的真正职责是屏蔽复杂性："用户只是从下拉菜单里点了一个模型，或者只是改了一个参数说我今天请求的是 DeepSeek、明天是通义千问，但从背后的推理引擎来看，不同模型的支持效率、适配硬件其实是千差万别的"（[00:56:29]）。
最困难的是兼容性："你背后支持的模型、支持的硬件不停地在变，但是你要给前端用户一个比较统一的体验"；因此"vLLM 其实一直是在重构的过程中"，V0→V1 只是名字上看得出来的那次（[00:56:29]–[00:57:32]）。

⚠️ 但这个比喻有一条他自己给出的边界（仅存于片头，[00:01:01]–[00:02:02]）：

"大家把 token 和电做类比的时候，可能会觉得电它是比较通用的、可以调制的，但是 token 它是没有办法去做调制的——你没有办法把一个 DeepSeek 模型的 token 转化为一个 Kimi 的 token，这个 token 它是带着模型的烙印的。"

这是对本库多处沿用的 Jensen Huang "token 工厂" / token 即商品世界观的一次来自推理引擎一线的限定：token 不是同质商品，不可互换，因而"token 价格"并不像电价那样可以跨供给源套利。

五、模型与 Infra 的 Co-design¶

理论框架 = "硬件彩票"（Hardware Lottery）：摩尔定律黄金时代，软硬件各自为战——"你写软件的人不需要考虑那么多硬件特性，因为硬件的通用性能每隔两年翻一倍"。但现在进入专用时代："英伟达经常说黄氏定律，你的算力每隔两年又会翻几倍，但这个算力它其实都是专用的算力。那所以如果你的算法没有利用到这些专用的算力，你就没有抽中硬件的那个彩票，你就吃不到这个时代的红利"（[01:54:40]–[01:55:41]）。
反例：Hinton 强推的 Capsule Network——"从概念上非常 make sense，但那个东西在 GPU 上不友好，所以它得不到广泛的应用"（[01:55:41]）。
正例：Transformer 抽中了 GPU 的彩票（大量矩阵乘法、非常适合并行）（[01:56:42]）。
由此得出的核心断言："模型的结构决定了推理效率的一个上界。如果你的上界太低了，那系统工程师就无力回天了——你已经做成这个烂样子了，他再优化也就是这个样子。"（[01:55:41]）
谁迁就谁：理想是协作，但现实是硬件更强势——"因为硬件它已经造出来了，所以很多时候是算法需要去学习硬件的发展"；而硬件公司的代价是"一旦走错了，他就几年的时间就走错了"（[01:56:42]–[01:56:42]）。同理在公司内部，"很多公司里面是算法的话语权更高一些，infra 很多时候是一个被动接收的状态"（[02:01:47]）。

正面案例：RoPE 为什么赢了（[01:56:42]–[01:58:44]）——本页最技术、也最能说明 co-design 的一段： - Transformer 之后位置编码"少说可以找到上百种实现"，但很多实现都需要改注意力 kernel。 - 随着训练长度提升，FlashAttention 成了训练的必需品，而"大部分用户是没有能力去修改 FlashAttention 的"——于是所有需要改 attention 内部实现的位置编码都被干掉了（例：ALiBi 是 absolute position bias，因此没能广泛应用）。 - RoPE 的好处是兼具绝对与相对位置编码的性质，且可以独立注入到 query 和 key 里、独立在 attention 之外做——"所以它跟 attention kernel 是互补的，就变成了一个最佳搭档"。 - 结论："模型结构设计得好，就可以跟 infra 有一个 co-design、共鸣的效果，大家可以互相提高。"

反面案例：expert choice（[02:01:47]）——"MoE 里面曾经出现过一些 infra 同学为了 MoE 的均衡而选择了 expert choice，那么这个事情在算法上面其实是不能被接受的，但是在 infra 上面你可以让它跑得很快"。他把这明确定为"过度倾斜到 infra 的一个例子"——co-design 失衡在两个方向上都会出问题。

怎么落地：招人时能招到既懂算法又懂 infra 的最好；组织上一起办公——"infra 同学每天讨论什么，算法同学耳濡目染也就知道了原来我有这样一些东西要考虑"，反之亦然（[02:00:45]–[02:01:47]）。

六、DeepSeek 的 Infra：一手观察¶

评价："DeepSeek 的 infra 团队我觉得可以说是全球顶级的团队，是不是第一我不好说，这个可能见仁见智，但是绝对是顶级的。"（[01:59:45]）
机制解释（而不只是称赞）：infra 能力强 → 能够高效实现的模型结构就更多 → 算法研究员可以更快更充分地探索各种选项。并且双向："他们的算法同学其实也都是懂一部分 infra 的"——2024 年初探索 DeepSeekMoE 时，是一位算法同学写出了当时较粗粒度 MoE 的高效实现；后来的细粒度 MoE 也是他们在推理系统里面第一个做出来的（[01:59:45]–[02:00:45]）。
合作史比外界以为的早："DeepSeek 跟我们的合作其实很早就开始了，从 23 年 24 年那段时间，因为 DeepSeek 内部用的就是 vLLM（后续加了一些自己优化的变种）"，从 DeepSeekMoE → V2 → V3 一直有联系。"只是在 24 年的时候，DeepSeek 还属于社区里面的一员，只是一个泯然众人的模型厂商。"（[00:58:34]）
R1 之后是 vLLM 反过来学 DeepSeek："DeepSeek 的 infra 同学做了很多的优化，然后我们需要学习——他们在推理引擎方面虽然是基于 vLLM 做的，但比我们做的往前面走了很多，所以我们当时是在不断地跟他们学习的过程中"（[00:59:35]）。
⚠️ 关于 DeepSeek infra 功底的来源，游凯超把它归因于幻方量化时期对性能的极致压榨——但这句只出现在片头预告（[00:01:01]），完整论证不在上传版正文中。

DSpark（新投机解码方法）解读（[02:02:50]–[02:05:53]，⚠️ 名称为转录音）： - 背景：自回归推理分预填充（处理输入）与解码（一个一个 token 生成，效率低）两阶段；投机解码一次性猜测接下来几个 token，把解码变成"一小段一小段的预填充"。 - 两条路线：EAGLE / MTP 系猜得短（3–5 个）但接收率高；"DFlash" 系一次猜很多（如 16 个）但猜错也多，验证阶段存在算力浪费。 - DSpark 的改进：先估计这些猜测里哪些大概率准，用模型输出的置信度做个简单统计，"可能发现只有前 8 个 token 是准的，那你就只需要验证前 8 个"。 - 他的判断很克制："DSpark 对我们来说其实并不意外，因为我们已经做了几个月的 DFlash 相关优化了"；接收率问题"也是这个研究圈子里面的一个共识"；此前腾讯混元团队的 "DCat"、上海交大的 "Domino" 已用类似思路。"所以你说 DSpark 在算法上面有多么 novel，我觉得并不能算很 novel。" - 但随即给出真正的赞许——这也是全场 co-design 论的收束："创新性是一回事，能不能把这个创新的想法扎实地做出来又是另一回事。DSpark 是继承了 DeepSeek 一如既往的非常扎实的 infra 基础，把推理优化压榨到了极致……有没有一个好的推理引擎上的实现，是决定一个投机解码算法能不能大规模使用的关键——DeepSeek 的推理引擎团队非常强悍，所以也为算法团队研究投机解码提供了更大的探索空间和更多的反馈。这刚好是一个 co-design 的案例。" - 另附一条 vLLM 侧数据：vLLM 与 NVIDIA 刚发布技术博客介绍 vLLM 中的 DFlash 支持，"可以对某些模型达到每秒上千 token 的速度"。

七、中国开源模型爆发与 vLLM 中文社区¶

时间线的巧合：他 2024 年 12 月结束伯克利交流回国，"我结束交流的时候就是 DeepSeek V3 发布的时候，回来 1 月份马上 R1 又发布了"。他明确承认中国开源模型的爆发在 vLLM 团队意料之外（[00:57:32]–[00:58:34]）。
25 年的两大主旋律：大规模部署（硬件和模型都越来越大）+ 开源重心从欧美转移到中国。24 年的开源重心还在 Meta、Mistral 等；且那时"模型和硬件还没有很耦合，模型结构在那一年没有发生巨大的变化"，支持起来不算复杂（[00:52:20]–[00:57:32]）。
中文社区是他一个人跑出来的：项目诞生在美国，沟通用 Slack、以英文为主，国内同学有语言障碍、且"因为各种各样的原因，国内的同学用国外软件的时候还是有一些不方便"。解法是搭建公众号、小红书、知乎等中文阵地，并走访国内大公司——"像 DeepSeek、Kimi 他们都是公开说过他们就是用 vLLM 的，但之前我们跟他们的沟通非常少，因为时区不一样、人也没办法见面"（[01:00:36]–[01:02:37]）。
一个行业节奏观察：2025 年 7 月国内密集发模型，"事后回想起来，感觉应该是当时 WAIC 快开会了，很多公司都想在这之前把自己有的模型都发出来"（[00:59:35]）。2026 年已有 DeepSeek V4、MiniMax M3 等大发布（[01:00:36]）。

八、开源治理：仁慈的独裁者、AI slop、以及"个人贡献者的黄昏"¶

分级治理结构（[01:20:03]–[01:22:05]）： - 仁慈的独裁者（BDFL）：Simon Mo、Woosuk Kwon、游凯超、李卓翰 + Red Hat 的一些同学。"平常跟大家沟通都是心平气和的，但是如果有重要的决定要拍板，这个时候大家得听我们的。" - 十来个核心维护者（负责重要模块、参与关键设计）→ 几十个 committer（日常代码开发）→ 社区贡献者（约 2000 人）。 - 之上还有 PyTorch 基金会的治理结构：NVIDIA、AMD（芯片）、Red Hat（软件）、亚马逊、Google（云）都投入资源维护 vLLM，"我们作为项目维护者的职责之一，也就是协调这些大公司之间的合作"。 - 决策层每周碰一次。

"独裁"的实例：他把 beam search 基本上从引擎里删掉了——做推荐系统的同学持续抱怨，但"大模型推理这边我们主要的 workload，它的推理形式已经不再适应 beam search 这种算法的发展了，如果持续维护它，只会给模型和推理引擎的适配带来越来越多的复杂性、不可维护"（[01:22:05]–[01:23:07]）。其余"独裁"多体现在优先级上：优先支持大集群上的大模型，几百兆的小模型不列为高优先级——"你可以用 vLLM，但是如果你有这方面的性能优化需求，我们并不会接"（[01:23:07]–[01:24:07]）。

他对管理大型开源社区的概括："最大的挑战就是你要梳理事情的优先级，要做什么，更重要的是不做什么。"（[01:24:07]）

AI slop：一个基本假设被打破（[01:24:07]–[01:26:09]）——本页最具时效性的一条： - 背景：2025 年 GitHub 统计中，按贡献者活跃度排序 vLLM 是整个 GitHub 上最活跃的项目。 - 2026 年 5 月，他们发现有培训机构通过提交垃圾代码来包装学员简历——提交无用 PR 想合进 vLLM，然后就能在简历上写"我是 vLLM 项目的贡献者"。 - 他的判断很重："这对我们来说是一个非常大的变化，它彻底打破了我们对于开源社区的用户都是善意的这一基本假设。" - 应对：引入认证机制——更重视来自知名机构的贡献；忽略甚至拉黑看起来像机器人的账号（"10 分钟之内给你提交了 20 个 PR，这种人一定是机器人……我们叫做 AI slop，完全没有营养的东西，所以你可以放心地把它 block 掉"）。

由此推出的结构性预测（[01:26:09]–[01:27:12]）：

"整体上来说代码变得如此廉价，以至于维护者花时间去看别人的 PR，不如说他自己来让 coding agent 再写一遍——然后他自己还有更多的 context 说我想让 coding agent 怎么写。"

"所以我觉得未来开源社区的演进方向，会更多地掌握在机构和这些重要的贡献者手中，一些个人贡献者他能做的事情其实会变少。社区会变成维护者和用户这两个部分：用户只需要提交 bug report 或者 feature request，你就不需要贡献代码了。"

他明确认为这是开源社区的整体演进方向而非 vLLM 一家，并援引 PyTorch 核心维护者 Edward Yang 写过的类似博客："我们现在已经没有精力去看大家的 PR 了，与其花时间去看别人的 PR，不如我自己重写一遍。"（[01:27:12]）

对 OpenClaw 的评价（[01:27:12]–[01:28:14]）："OpenClaw 感觉已经变成了纯 AI 治理的方式——AI 提交 PR、AI 来审、AI 来合并，已经变成了一个 AI 自治的社区。虽然这个社区接下来演进的方向是好是坏，可能不是很好说。" - vLLM 为什么不走这条路："我们这个地方还是很难让 AI 完全自动化的，还是需要很多参与者有历史的 insight 在里面。我们做的很多事情，它不是来解决现有的一个问题，它很多时候是解决接下来将要发生的问题——比如我们要支持接下来三个月内要发布的新模型。所以我们维护代码的时候，脑海里还必须想着接下来三个月的模型、接下来半年一年要推出的新硬件要怎么支持。所以这个项目维护的过程中必须是带着大量的个人 context 去做的，这一部分目前还没有办法交给 AI。" - 他对 coding agent 的总体尺度："AI 可以帮我们走完 90% 的路程，但是还有 10% 的关键的、画龙点睛的那一部分，是需要人来提供支持的——需要提前预判、顶层设计。"（[01:29:16]–[01:30:17]）

开源项目成败的历史规律（[01:30:17]–[01:33:19]）： 1. 根基：确实在解决一个大家都关心的问题——"如果你解决的是一个没多少人关心的问题，那这个项目它就长不大"。 2. 必须有一家创业公司在背后运营（见下节）。 3. 创始团队持续在推进——"如果团队的主心骨发生了变化，肯定会有一个阵痛期"；被追问有没有"换过领导还发展非常好的开源社区先例"时，他的回答很直接："我觉得换过领导之后，这个项目基本上就很难发展得很好了。" 4. 反面教材：他举了 SSH/SSL 一类的基础加密设施——维护者"就只有那么几个人在自己维护"，直到十多年前出了一次漏洞事故"导致可能全世界都在裸奔"，之后大家才成立基金会投钱支持。结论："开源基础设施建设一直是老生常谈的话题——它们都很重要，但是直到它们出问题之前，大家都觉得不需要投入。"（⚠️ 转录作 "OpenSSH"，但所述事件——漏洞致全球暴露、事后成立基金会注资——与 2014 年 OpenSSL Heartbleed 及随后的 Core Infrastructure Initiative 吻合，疑为口误或转录误识。）

九、为什么捐给基金会又开公司：两件事不矛盾¶

捐给 PyTorch 基金会（2024 年底决策）：动机是长期维护。Ion Stoica 说"应该有一个公司来支持这个项目，不然这个项目最后会黄掉"，但当时几个人还犹豫，于是先"参照 Linux 之类的项目的经验捐给一个基金会"（[01:02:37]–[01:03:39]）。
基金会提供什么：它是独立法人实体——可以注册商标、有法律团队、接受募捐、投入资源。但它不参与技术治理，"代码什么的其实还是自己要写"（[01:04:41]–[01:05:42]）。
为什么不能是伯克利：学校"你还是要从学校里面找出一个具体的人来承担这个职责，而学校里面没有这样的机构"；实验室更不行——按 Patterson 的 5 年论，实验室本身就该关掉重开，"所以实验室不是一个具备这样资格的实体"（[01:04:41]）。
捐赠真正锁死的是什么：vLLM 的商标属于 PyTorch 基金会，"那你不能把 vLLM 闭源了之后，然后再说我支持 vLLM 项目"。他把基金会形容为"那一道保险杠，保证这个项目它不会闭源"，而"具体的技术发展以及商业化，我们都是可以由我们公司来做的"——而且不只他们一家，Red Hat、NVIDIA、AMD 也都在做技术维护并可以商业化（[01:03:39]–[01:06:43]、[01:47:30]）。
代价与收益的对照：如果项目属于公司，"那商标也会属于我们公司，任何一个人用 vLLM、用它的 logo，可能都是要向我们申请"；现在商标与使用权在公共领域，"我们只是作为一个技术参与者和技术领导者在引领它的发展"（[01:06:43]）。
顺序上先有捐赠、后有公司——捐给基金会时"还没有定"要不要开公司（[01:06:43]）。
对"开源闭源有没有犹豫过"的回答：没有——"因为如果我们想做闭源的话，我们就可以自己去找家公司做了。"（[01:47:30]）

十、为什么必须开公司：三个具体到琐碎的理由¶

这是本页对"开源可持续性"最有说服力的部分——不是理念之争，而是三个卡住工程的现实约束（[01:34:20]–[01:37:25]）：

人力资源不确定："以开源社区的方式运作的时候，参与这些事情的人都是不确定的，人来人往……这个事情是没有办法支撑你长期做一个重要的 feature 的。"
法务：NDA 没人能签。他们经常做新模型/新硬件发布前的支持，对方法务要求签保密协议，"那这个保密协议谁来签？这是一个很尴尬的问题，因为开源社区它不是一个实体"。对方还会追问"你背后是哪些人在做这个事情""这次来做的是这些人，下次可能是另一些人，这些变动的人里面有没有我的竞争对手、我是不是要对他做背景调查"。
机器资源：从"一台机器"到"一个集群"的断层。24 年模型还小，"你搞到一台机器、单机单卡就可以做很多事情"，也有公司热心捐机器；但 25 年很多优化必须是集群级别的——"我要别人给我一个集群的时候就很困难了，他给我一台机器已经是顶天了"。于是只能"各处乞讨"：花一个月劝对方给机器 → 拿到后马不停蹄规划（因为一个月后到期）→ 而且不是 promised 的，"他们内部如果有紧急项目，可能一三五自己用、二四六给你用，甚至通知你说接下来一个小时我马上要用"。

他对那一年的自评罕见地直白："我们 25 年其实我觉得说实话，我们做的不是很好。"

为什么必须是创业公司而不是大厂（[01:32:18]–[01:33:19]）：大厂"很容易带来原来的一些偏见或者立场，这个时候它很难去融合这个社区，可能有别的大厂不服它，所以所有人不会跟它一起走"。他也用这个逻辑解释了为什么 Meta / NVIDIA / AMD 虽然都在用 vLLM 却无法领导它——"他们更多是一个参与者的决策，很难做出战略性的决策，他们之间可能本来就会打架，因为 Meta 是 AMD 和 NVIDIA 的客户"（[01:07:45]–[01:08:47]）。 - 而创业公司同时又是项目的原创始团队，"在社区里面带着大家一路风风雨雨走过来，它的号召力、中立性、公正性大家都是比较认可的"。

Simon Mo 的失败尝试印证了这点：他曾在 Character AI 试图借公司之力支持 vLLM（从公司里找几个人维护、找机器资源），结论是"最终还是发现没有办法靠别人"——"公司有自己的事情，你不可能把公司里面的人无限制地抛来做 vLLM 相关的事情……你只能有一个很小的团队，类似用爱发电的方式来支持，你很难说服公司高层说我有一个正经业务的公司、然后我需要全力来支持 vLLM 开源项目的发展"（[01:13:54]–[01:14:55]）。

十一、创业的心路：四个人、两年犹豫、和一个 2000 万美元的拒绝¶

Ion Stoica 从 2023/24 年就在推，理由是历史类比：Linux 需要 Red Hat、Kubernetes 需要 Google、PyTorch 需要 Meta、Spark 需要 Databricks——"vLLM 项目的体量已经达到了前几个项目的体量，历史意义已经很明显了，但是没有一个这样的公司在支持"（[01:07:45]–[01:08:47]）。
阻力不是理念而是能力边界："我们其实都是学生团队，原来很舒适的那个区域都是'来了一个技术问题，我们怎么拆解它'；那么现在要我们做的是成立一家公司，然后要把这个公司抚养长大的感觉。"要学融资、学招聘、还要考虑商业化——"所以这个路线的选择其实就困扰了我们两年"（[01:08:47]–[01:09:49]）。
游凯超自己决定得最早（2024 年在伯克利时）。他的推理很干脆：

"即使创业失败，你最坏的情况下也不过就是少拿了几年工资；但是如果不创业的话，那么 vLLM 项目最终没有办法长期发展。"（[01:10:52]）

因为其他人还没定，"我也不能自己一个人创业"，于是他接了 Sky Lab 的博士后 offer 来等——"我会为 vLLM 的创业公司再等两年，直到大家出来一起创业"。他后来确认这个博后就是为了等他们创业而接的，期间"我一直在不断地催促说我们应该创业了"（[01:10:52]、[01:42:28]）。Michael Jordan 给他的建议也是"长期来看，肯定是要继续支持 vLLM"（[01:11:53]）。 - 最摇摆的是 CTO Woosuk Kwon（PagedAttention 第一作者），因为他的机会太好：2024 年初 xAI 刚创立时马斯克邀请他去领导 infra 建设（"尽管说 xAI 现在失败了、曲终人散了，但是如果他当时加入，后来能够获得的财富是一个天文数字"）；2025 年 Thinking Machines Lab 创立时创始人又邀请他负责基础设施，而该公司估值"一路飞涨"。他一度以学生身份在 Google DeepMind 兼职，"我们当时是把他从 Thinking Machines Lab 拉出来的"（[01:13:54]–[01:18:00]）。 - 说服他的那一问（本期标题的来源，[01:14:55]–[01:15:56]、[01:37:25]–[01:38:25]）：

"你如果不跟我们一起创业，你赚到了很多钱，但是 10 年之后 vLLM 项目失败了，你是开心还是不开心？"

游凯超形容这是"逼宫"，"这个问题一旦问出来，是我们双方都需要冷静一下的时候"——Woosuk 想了几天才回来。时间大约在 2025 年七八九月。四个人（李卓翰、Woosuk、Simon、游凯超）的答案一致：

"如果我们自己赚了很多钱，但是 vLLM 项目失败了，我觉得我们都会后悔一辈子。" - 李卓翰为什么没加入：他 2024 年就毕业了，那时"如果创业只有他一个人，因为其他同学都是学生，而学生是非常廉价的——只要有吃有喝、有电脑有网你就可以干活，你觉得没必要开公司"，所以他拉不动人，就去工作了（先 OpenAI，后 Meta TBD）。现在再拉"比较困难，因为你把人家拉过来需要影响到别人原来的团队"（[01:18:00]–[01:19:01]、[01:20:03]）。 - 2000 万美元的拒绝：公司注册前夕，"某家顶级大厂的一号位知道我们要创立公司了，直接给我们打电话说'你可不可以不要创立公司，你来我们公司'"，开价四位创始人每人年薪 2000 万美元。"我们当时都已经坚定了，就直接爽快地回绝了，没有一个人犹豫。"（[01:15:56]–[01:16:59]） - 他对开源人群的社会学解释（[00:50:17]–[00:52:20]）："有的人追求金钱，有的人追求权力……我追求的就是意义。"以及一条唯物的补充——"仓廪实而知礼节，衣食足而知荣辱"：这个时代的物质基础已给了基本保障，"而且做计算机方向的技术同学，基本生活需求非常简单：有吃有住，然后有电脑能上网就可以了"，"所以我觉得这样艰难的环境为我们筛选出了一批志同道合的人"。

十二、融资与商业模式¶

VC 早就在等："虽然我们决定成立公司是在 2025 年年底，但其实他们 23 年 24 年的时候就已经在跟我们接触了，而且那个时候就已经在给我们这个开源项目提供资金了"——2023 年某基金（⚠️ 转录作 "ACC"，未能确证）给 vLLM 项目几十万美元级别的资助；2024 年 Sequoia 和真格也以开源社区的形式捐赠（[01:38:25]–[01:39:26]）。

"所以当我们最终说我们几个人决定要创业了，再去找他们的时候，他们其实都比较爽快，都说'其实我钱已经准备好了'。"
种子轮 1.5 亿美元（片头 [00:00:00]）。张小珺问是否是全球 AI Infra 领域种子轮融资最多的一家，他答"没有做过横向的历史对比，但应该确实是比较大的"（[01:40:26]）。
投资人的逻辑（他自己的转述）："核心还是我们在这个生态里面的地位——当你去看开源模型的生态的时候，每一个模型的发布背后都跟着 vLLM 的支持，每一个芯片厂商都会主动来靠近 vLLM说他希望得到 vLLM 的支持。那么这背后的市场其实是一个多少 B 亿的市场，所以其实给我们的投资相比于我们产生的价值来说，我觉得并不算多。"（[01:40:26]–[01:41:28]）
对继续融资的克制："直到现在其实也不停地有人说'我这里有很多钱，几千万美元的 SAFE 都可以直接给你们'"，但"我们希望把融资和公司成长的速度相匹配，不是为了融资而融资"（[01:40:26]）。
公司规模：30 多人、接近 40，持续招人（[01:50:33]）。
商业模式（三条并行探索）（[01:48:32]–[01:50:33]）：
Endpoint Service——公司有机器有软件，客户直接买 token；
BYOC（客户有机器，公司提供软件，token 供其内部自用）；
生态合作伙伴——与战略客户一起探索怎么把 vLLM 生态建得更好。
统一原则：按量收费。"我们不是技术外包，我们不是在售卖我们工程师的时间；我们产生的价值取决于我们为你多产生了多少 token、为你的这些机器又节省了多少成本。"
商业客户与社区冲突时怎么办——他的回答揭示了当下的议价地位：

"我们不接这样的商业客户。我们现在是供少于求的状态——我们能支撑的商业客户远远小于想跟我们做商业合作的客户，所以我们可以非常爽快地拒绝我们不想做的事情。所以我们目前做的事情，都是跟社区发展一致的事情。"（[01:46:29]–[01:47:30]）
公司名 Inferact：讨论了好几天，取自 Inference + "bring inference into action"——"把推理做到行动里面，而且让它真正地跑起来"（[01:47:30]–[01:48:32]）。⚠️ 拼法以官方为准。
十年愿景："把大模型推理这件事情做到一个基本解决的状态——大家想起推理，就会想起 vLLM，然后想起 Inferact。"（[01:48:32]）
商业化会不会损失社区信任：他认为恰恰相反，因为社区期盼已久——有了公司才能签 NDA（"他们的法务也很开心"）、才能合规采购算力（此前"资金放在谁的口袋里都是一个问题，我们不能直接放在个人的口袋里"）、才能招人和买机器把原来做不好的事做好。而且"社区对一个开源项目的意见，并不是说他能在项目里写多少代码，更多的是说这个项目能不能给他带来收益——新模型发布时是不是又能支持了、新硬件发布时是不是又能支持了"（[01:44:29]–[01:46:29]）。

与本库其他视角的关系¶

与朱邦华（SGLang）：两人是 vLLM/SGLang 两大开源推理引擎的对应位置，且都是"学术研究组挑战工业界 AI Infra"的路径。共识：推理是主战场、infra 权重很大。互补：朱邦华从 RL/训练框架侧讲 infra 暗坑，游凯超从推理引擎侧讲治理与商业化——本库此前缺的正是后者。
与江鋆晨（LMCache/TensorMesh）：江从 KV Cache 数据层预测"未来的石油"，游凯超则给出 KV Cache 的上游载体史（PagedAttention 如何管理 KV Cache、以及为什么它早已不是 vLLM 的全部）。江的"OpenAI API 兼容格式 = AI 时代的 IPv4"与游的"推理引擎屏蔽模型/硬件复杂性"是同一层抽象的两种说法。
与 vLLM Omni 团队 / 志鹏：Omni 是从 vLLM 主库拆出的独立项目，游凯超讲的是主库视角。⚠️ 一处值得记录的张力：志鹏（2026-05）讲的是"个人从零基础成长为 committer"的上升通道；游凯超（2026-07）则预测代码变廉价后个人贡献者的空间会收窄、社区将分化为维护者与用户。两条判断相隔两个月、都来自 vLLM 生态一线，本库两条都记，不做裁决——详见开源基础设施与治理。
与姚顺宇：姚从模型侧说"知识已无秘密、纸面趋同"；游从 infra 侧给出了这一现象的机制补充——中国模型的迭代速度部分建立在 vLLM 这样的公共推理底座上，"每一个模型的发布背后都跟着 vLLM 的支持"。
与 Reiner Pope（MatX）：Pope 从芯片设计侧讲"最大化计算相对通信"，游凯超的"硬件彩票"是同一命题的软件侧后果——硬件既已铸成，算法必须去抽签。
与 Peter Steinberger / OpenClaw：游凯超对 OpenClaw"已变成纯 AI 自治社区"的观察，是本库首次从另一个大型开源项目维护者的角度评价 OpenClaw 的治理模式。