跳转至

游凯超（You Kaichao）

  • 背景: Inferact 联合创始人兼首席科学家（⚠️ 公司名转录拼法不一，取自 Inference + "bring inference into action"，准确拼法以官方为准）；vLLM 核心维护者之一、四位"仁慈的独裁者"（BDFL）之一。清华大学本科 + 博士（2019 年清华特等奖学金获得者），博士期间研究方向从迁移学习（代表作 LogME）转向机器学习系统；2024 年赴 UC Berkeley Sky Computing Lab 交流并投入 vLLM，2025 年毕业后接 Sky Lab 博士后以等待团队一同创业，2025 年底公司成立。
  • 定位: 本库第一位开源基础设施项目本身的内部叙述者。此前的中方 infra 素材（朱邦华/SGLang、江鋆晨/LMCache、vLLM Omni 团队）讲的都是技术与创业；游凯超讲的是一个开源项目如何被治理、如何被钱和法律结构撑住——落点 开源基础设施与治理、AI 算力与基础设施、中美 AI。
  • 另一重身份: 中国 vLLM 社区的搭建者——2024 年 12 月结束伯克利交流回国，恰逢 DeepSeek V3/R1 发布，此后一年从零建起中文社区（公众号/小红书/知乎）并走访 DeepSeek、Kimi 等国内使用方。
  • 来源出处: 张小珺访谈 #148（2026-07-28）

与 朱邦华、江鋆晨 同属"从学术研究组走向工业界 AI Infra"的中国背景创业者群体，三人的项目（vLLM / SGLang / LMCache）在技术栈上彼此相邻甚至竞争。

立场与核心观点

方法论：系统工程 vs 算法研究

  • "你可以说我的东西不 novel，但是你不可以说我的东西没有用。"——他转向系统工程的核心理由是贡献可量化、正反馈可累积：加速两倍的原理是确定的、可复现的；而算法研究的"提升 2%–3%"换个场景复现可能反而更差。
  • 算法的天花板在资源而非 idea："我没有何恺明老师的资源，我只是想到了他那些论文的 idea 也没有用"——差别在于是否做了大规模实验，而支撑实验的机器学习系统与数据才是决定成败的关键。
  • 对学术评审的判断：AI 会议投稿量几何级增长而审稿质量急剧下降，"你的投稿就像抽彩票一样"，中或不中与工作质量已无大关系。他称亲眼见证这一过程，"只能说比较痛心"。
  • 对自家成名作的低调：PagedAttention"从学术创新的角度来说创新性甚至是偏低的"，SOSP 2023 审稿人批评 "too simple"、最终"以低分过线的状态被接收"——它能成立靠的是做得早 + 实验丰富。并强调 PagedAttention ≠ vLLM："时至今日 vLLM 早就不是 PagedAttention 算法了。"

模型与 Infra 的 co-design

  • 框架 = "硬件彩票"：摩尔定律黄金时代软硬件各自为战；如今算力增长都是专用算力，"如果你的算法没有利用到这些专用的算力，你就没有抽中硬件的那个彩票，就吃不到这个时代的红利"。反例 Hinton 的 Capsule Network（GPU 不友好），正例 Transformer。
  • 核心断言："模型的结构决定了推理效率的上界。如果上界太低了，系统工程师就无力回天了。"
  • 现实中硬件更强势（因为已经造出来了），算法迁就硬件为主；公司内部则常是算法话语权高于 infra。
  • 正例 RoPE：FlashAttention 成为训练必需品后，所有需要改 attention kernel 的位置编码都被淘汰（如 ALiBi）；RoPE 因可独立注入 query/key、独立于 attention kernel 之外而与之互补，成为"最佳搭档"。
  • 反例 expert choice：infra 同学为 MoE 负载均衡而选 expert choice，"在算法上其实是不能被接受的，但在 infra 上可以跑得很快"——co-design 过度倾斜到 infra 的失败案例。

推理引擎 = 电力系统（贯穿全场的比喻）

  • 硬件 = 自然资源（风/水/光）、模型 = 发电机、推理引擎 = 电力系统；推理引擎的职责是屏蔽模型与硬件的复杂性，用户只是在下拉菜单里换个模型，背后适配千差万别。
  • ⚠️ 但他给了这个比喻一条重要边界（仅存于片头预告）："token 是没有办法去做调制的——你没有办法把一个 DeepSeek 模型的 token 转化为一个 Kimi 的 token，这个 token 是带着模型的烙印的。" 这是对本库沿用的 Jensen Huang "token 工厂" 框架来自一线的限定：token 不是同质商品。

开源治理

  • 管理 2000+ 贡献者社区的第一挑战："梳理优先级——要做什么，更重要的是不做什么。" 实例：把 beam search 基本从引擎删除（维护它只会给模型/硬件适配带来不可维护的复杂性）；几百兆的小模型不列高优先级。
  • AI slop 打破了开源的基本假设：2026 年 5 月发现培训机构提交垃圾 PR 来给学员简历镀金——"它彻底打破了我们对于开源社区的用户都是善意的这一基本假设"。应对是引入认证机制、拉黑机器人账号。
  • 结构性预测："代码变得如此廉价，以至于维护者花时间去看别人的 PR，不如自己让 coding agent 再写一遍"→ 未来开源社区更多掌握在机构和重要贡献者手中，个人贡献者空间收窄，社区分化为维护者与用户两部分。他认为这是开源社区的整体方向，并援引 PyTorch 维护者 Edward Yang 的同类表述。
  • 但 AI 无法接管 vLLM 的维护：因为"我们做的很多事情不是解决现有的问题，而是解决接下来将要发生的问题"——维护代码时脑海里装着接下来三个月的新模型、半年到一年的新硬件。"AI 可以帮我们走完 90% 的路程，但还有 10% 画龙点睛的部分需要人来提前预判、顶层设计。"
  • 对 OpenClaw 的评价："已经变成了纯 AI 治理的方式——AI 提交 PR、AI 来审、AI 来合并，已经变成了一个 AI 自治的社区"，但方向好坏"不是很好说"。
  • 开源项目成败的规律：① 解决大家都关心的问题（根基）；② 必须有一家创业公司在背后运营；③ 创始团队持续推进——"换过领导之后，这个项目基本上就很难发展得很好了。"

基金会 + 公司的双层结构

  • 捐给 PyTorch 基金会 = "那一道保险杠，保证这个项目不会闭源"（商标归基金会，"你不能把 vLLM 闭源了之后再说我支持 vLLM 项目"）；但基金会不参与技术治理。
  • 公司 = 支柱。Ion Stoica 的历史类比：Linux 需要 Red Hat、Kubernetes 需要 Google、PyTorch 需要 Meta、Spark 需要 Databricks。
  • 必须是创业公司而非大厂：大厂会带来立场偏见，"可能有别的大厂不服它，所以所有人不会跟它一起走"（Meta 同时是 AMD 和 NVIDIA 的客户）。
  • 两者不矛盾："如果我们想做闭源的话，我们就可以自己去找家公司做了。"

为什么开源社区撑不住工程（三个具体约束）

  1. 人力不确定——人来人往，"没有办法支撑你长期做一个重要的 feature"。
  2. 法务：NDA 没有主体可签——做新模型/新硬件的发布前支持时，"开源社区它不是一个实体"，对方法务还要做背景调查。
  3. 算力：从"一台机器"到"一个集群"的断层——25 年很多优化必须是集群级的，"他给我一台机器已经是顶天了"，只能"各处乞讨"、且随时可能被收回。他对那年的自评是"我们 25 年说实话做得不是很好"。

创业观

  • 决策逻辑："即使创业失败，最坏也不过是少拿了几年工资；但如果不创业，vLLM 项目最终没有办法长期发展。"为此他接了博士后专门用来等团队，"我会为 vLLM 的创业公司再等两年"。
  • 说服 CTO Woosuk Kwon 的那一问（本期标题来源）："你如果不跟我们一起创业，你赚到了很多钱，但是 10 年之后 vLLM 项目失败了，你是开心还是不开心？" 四位创始人答案一致——"我们会后悔一辈子。"
  • 拒绝 2000 万美元/人的年薪：公司注册前夕某顶级大厂一号位直接来电挖角四位创始人，"我们就直接爽快地回绝了，没有一个人犹豫"。
  • 对开源人群的解释："有的人追求金钱，有的人追求权力……我追求的就是意义"，并补充唯物条件——技术人的基本生活需求极简，"有吃有住、有电脑能上网就可以了"。
  • 商业化不损害社区：因为社区判断项目好坏的标准是"新模型/新硬件是不是又能支持了"，而非谁写了多少代码。且当下"供少于求"——"我们能支撑的商业客户远远小于想跟我们合作的客户，所以可以非常爽快地拒绝我们不想做的事情"。
  • 商业模式：Endpoint Service / BYOC / 生态合作，统一按量收费——"我们不是技术外包，我们不是在售卖工程师的时间。"

对 DeepSeek 的一手观察

  • "DeepSeek 的 infra 团队可以说是全球顶级的团队"，机制是双向的：infra 强 → 可高效实现的模型结构更多 → 算法研究员探索空间更大；同时算法同学也懂 infra（DeepSeekMoE 早期的高效 MoE 实现出自算法同学之手，细粒度 MoE 也是他们在推理系统里第一个做出来的）。
  • 合作史比外界以为的早：DeepSeek 内部从 2023/24 年起就用 vLLM，"24 年的时候 DeepSeek 还属于社区里面的一员，只是一个泯然众人的模型厂商"；R1 之后关系反转，"他们在推理引擎方面虽然基于 vLLM 做，但比我们做得往前面走了很多，我们当时是在不断跟他们学习"。
  • 对 DSpark 的克制评价（⚠️ 名称为转录音）："在算法上并不能算很 novel"（腾讯混元、上海交大已有同思路工作），但"创新性是一回事，能不能扎实地做出来又是另一回事"——它体现的是 DeepSeek 一贯扎实的 infra 功底。
  • ⚠️ 他把 DeepSeek 的 infra 功底归因于幻方量化时期对性能的极致压榨，但该段仅存于片头预告，完整论证不在上传版正文中。

与他人观点的呼应/分歧

  • 与 志鹏（vLLM-Omni committer）⚠️ 张力：志鹏（2026-05）的现身说法是"个人从零基础到 committer"的上升通道；游凯超（2026-07）预测个人贡献者空间将收窄、社区分化为维护者与用户。两条判断相隔两个月、同出 vLLM 生态一线，本库两条并存不做裁决。
  • 与 朱邦华："infra 权重很大""推理是主战场"高度一致；游补上了朱未涉及的治理与法律结构维度。
  • 与 江鋆晨：江的"OpenAI API 兼容格式 = AI 时代的 IPv4"与游的"推理引擎屏蔽模型/硬件复杂性"是同一层抽象的两种表述；江预测 KV Cache 成为下一个数据层，游则给出了 KV Cache 管理机制（PagedAttention）的来龙去脉。
  • 与 Reiner Pope：Pope 从芯片设计侧讲"最大化计算相对通信"；游的"硬件彩票"是同一命题的软件侧后果——硬件既已铸成，算法只能去抽签。
  • 与 Jensen Huang：接受"token 即电力"的类比框架，但用 "token 带着模型的烙印、不可调制" 给它划了边界。
  • 与 姚顺宇：姚说"知识已无秘密、纸面趋同"，游从 infra 侧补上机制——"每一个模型的发布背后都跟着 vLLM 的支持"，公共推理底座是中国模型快速迭代的隐形条件。

已收录访谈

日期 视频 频道
2026-07-28 开源 Infra、模型与 Infra 的 Co-design、"如果 vLLM 失败，我们会后悔一辈子" 张小珺（#148）