跳转至

朱邦华：SGLang、RLHF vs RLVR、被英伟达收购后二次创业（月球大叔，2026-05-18）

中方技术向长访谈，罕见地由一线 AI Infra（推理引擎 + RL 训练框架）创业者给出内部视角。朱邦华是强化学习理论博士（Berkeley，导师 Michael Jordan），2023 年从零转做 LLM，创立 NexusFlow（企业 Agent 后训练）→ 被 NVIDIA 收购 → 2025 年底再出来与 SGLang 原班人马联合创业。本期是本库 AI 算力与基础设施、评估与 Benchmark（Chatbot Arena 一手史）、中美 AI 生态对照 的重要中方素材。

⚠️ 转录说明：whisper 对专有名词有误识，本页已归一化——SGLang（转录作"SG浪/Asceland"）、vLLM（"VRM"）、LMSYS（"Almsys"）、Chatbot Arena / LMArena（"Chairball Arena"，现为约 15 亿美元公司）、Vicuna、NexusFlow、Starling、John Schulman（"张舒曼"）。SGLang 背后的商业公司名称在转录中反复含糊（"Redisark/RealisArc/relius arc"等），本页统一记作"SGLang 母公司"，其具体英文名以官方为准。

说话人映射（据补做分离的 speakers.md；转录稿本身无标签，此处认人属 wiki 层编辑判断）： SPEAKER_00 = 朱邦华（嘉宾，73.0%）、SPEAKER_01 = 月球大叔（主持，27.0%）。 依据：SPEAKER_00 的高纯度块是一手技术细节（[00:32:37] critic 从 reward function 初始化后 loss 从个位数起步）； SPEAKER_01 全程为追问/复述方（[01:06:19]"所以说你的判断标准其实就是资源的丰富与否……对吗"）。未见错配。

概要

覆盖：SGLang 母公司在做什么（把 frontier lab 级 AI Infra 民主化）、RLHF vs RLVR 科普、Chatbot Arena / LMSYS / Vicuna 起源史、PPO 调参的工程暗坑、强化学习环境（RL environments）为何成为新瓶颈、中美 Infra 与开源/闭源模型差距、DeepSeek V4 的架构创新与 SGLang 优化、Thinking Machines 交互模型、被 NVIDIA 收购前后、"卡养人"、持续学习拐点、以及给年轻人的"勇于放弃"建议。

核心观点

公司愿景：把 frontier-level Infra 民主化

  • SGLang 母公司本质是一家 AI Infra 公司，围绕大模型的训练与推理系统："把 frontier AI lab 级别、甚至更好的 AI 基础设施 democratize 给所有开发者"（[00:02:00]–[00:03:00]）。刚拿 1 亿美金融资、估值 4 亿多；与 DeepSeek、Thinking Machines，以及 Google / Microsoft / Oracle / AMD、阿里 / 腾讯 / 字节均有深度合作。
  • 两条产品线：推理引擎 SGLang（开源，社区采用广）+ RL 强化学习训练框架 Miles（[00:03:00]）。
  • 需求排序：pre-training < RL < 推理。推理需求最大（所有用 AI 的地方都要 inference），故从推理切入，逐步做到 RL、乃至 pre-training 的 inference（[00:05:02]）。
  • 押注 post-training for agent 会从 frontier lab → neolab（如 Cursor 用 Kimi 做 post-training）→ 传统企业（Fortune 500）逐层扩散；做很多推理会自然产生大量私有数据，反哺 RL 提升私有模型——形成闭环（[00:05:02]–[00:07:03]）。

RLHF vs RLVR（科普）

  • RLHF（from Human Feedback）：训一个 reward model 学"什么 response 更讨人喜欢"，让模型说话更像人、更 align；GPT-3.5 之后"更有人味"即来自此（[00:36:42]–[00:38:44]）。
  • RLVR（with Verifiable Reward）：针对数学/代码/agentic 等可客观验证的领域，reward 更客观——这是模型"工具化"（CodingAgent/WebAgent）的关键范式（[00:37:43]–[00:38:44]）。
  • DeepSeek V3 是转折点：证明"直接从 pre-trained 点做 RLVR 就能大幅提升 intelligence"，让很多人（包括 NVIDIA）意识到 RL 的重要性——这也是 NVIDIA 收购 NexusFlow 的契机（[00:35:41]–[00:36:42]）。

PPO 的工程暗坑："infra 权重很大"

  • 2023 年 NexusFlow 用 Starling（7B） 在 Chatbot Arena 刷到很高分，"可能是当时唯一把 PPO 在开源侧调通的地方"；当时主流是更简化的 DPO（不需 value function）（[00:27:28]–[00:29:32]）。
  • 断言 PPO 上限远高于简化算法，关键在把 trick 做对。举例：critic（value function）若随机初始化直接上，loss 极高、会把 policy 更新到错误方向、把模型"破坏到救不回来"；正确做法是先用数据 warm up critic 到低 loss 再初始化 PPO（[00:31:37]–[00:33:38]）。
  • "调通靠的不是理论背景（我做理论出身），而是 intuition + 系统性排除 infra 暗坑"——高维搜索空间无法 grid search，只能靠直觉试错（[00:29:32]–[00:31:37]）。呼应 姚顺宇"撞墙多半是工作里有个没发现的 bug"。

强化学习环境（RL environments）是新瓶颈

  • Agent 环境越复杂，bottleneck 常在 function calling 的 latency / concurrency，这也是"为什么大家突然发现 CPU 很重要"（code execution / multi-docker 的 CPU 调度）（[00:24:25]–[00:25:26]）。
  • 设计 reward 是"艺术问题"；如何在多轮 environment（如 Claude Code）里 simulate 一个好 user，是非常 open 的问题（[00:25:26]）。
  • 硅谷已有很多 RL 环境公司（如 E2B）——有的做环境 infra，有的专门造 environment 数据（prompt+reward）卖给 frontier lab；国内这类创业者明显更少（[00:26:26]–[00:26:26]）。

中美 Infra 与模型差距

  • 模型差距（他作为一线支持方的判断）：中国开源 vs 美国闭源 ≈ 6 个月；美国开源 vs 美国闭源 ≈ 1 年（[00:23:24]–[00:23:24]）。
  • 差距来源分中美：国内 infra 其实很 solid，数据是受限处；且国内对"真正复杂的 RL environment 投入不如美国"，故在 agentic RL infra 上稍落后（[00:24:25]）。
  • 中美工程师风格：国内同学 infra 水平高、写 code 快且 reliable、"从做到 100 做到 perfect"能力极强；美国更擅长"从 0 到 1、天马行空的 crazy idea"（[00:21:21]–[00:22:22]）。（对照 姚顺宇 的中美生态判断。）

DeepSeek V4 的架构创新

  • DeepSeek V4 在 model architecture 上创新很多，逼着推理/训练 infra 做大量新优化：SGLang 提出 shadow radix（针对 prefix cache）、以及针对 sparse attention 的优化；"当时划走了公司一半人的精力"，但最终把 V4 的性能优化了很多倍（[00:19:16]–[00:21:21]）。SGLang"永远能在 day one 支持新模型"。

卡养人、YOLO run、持续学习

  • "人是被卡养出来的"：千卡/万卡级训练对 fault tolerance、MFU、accuracy 的 infra 要求与小规模完全不同；这正是 frontier lab 出来的人稀缺的原因；"甚至本科生摸了足够多的卡，会干得比 PhD 更好——因为 PhD 太严谨、不愿 YOLO"（[00:43:47]–[00:45:47]）。呼应 姚顺宇"把本科生放在大规模卡环境也能干"。
  • 持续学习（continuous learning） 是最近一两年最重要问题之一，但定义还不清晰；已有人用 Cloud Code + 最新模型 improve 自己的 infra/data 再训更强模型，"某种意义上已是 continuous learning"；若存在拐点让它 exponentially explode，会有一家公司突然出现 intelligence leap——但可能受能源/资源限制（[01:06:19]–[01:08:20]）。
  • 五年后：pure text LM 会 less relevant，走向 native multimodality / omni 与 robotics（[01:08:20]–[01:09:21]）。
  • 训练范式各阶段潜力：pre-training 洗数据仍未撞墙（更多高质量 coding data 仍能推能力边界）；SFT 更像对 pre-training 的小 fix；RL/post-training 是把能力推到 pre-training 定义的边界，以及 on-policy distillation 把多个 expert 合成 generalist（[01:09:21]–[01:11:25]）。

长期终局与"电厂"愿景

  • 中局可能出现一家平台型公司，enable 更多人用 frontier-level infra 做训练/推理；但更有意思的是之后——agent 之间、agent 与人之间如何交互，是否需要一家公司去 empower 所有 personal agent（[01:14:29]–[01:18:30]）。
  • 类比：未来"人与 agent 协作像现在用电一样自然"，SGLang 母公司想做那个电厂（[01:17:30]–[01:18:30]）。承认另一种可能结局是 Anthropic/OpenAI 一家独大结束游戏（"黑客帝国母体"），"但我们希望的是百花齐放"（[01:18:30]–[01:19:30]）。
  • 看好 neolabs（中美越来越多公司自训模型，不认 OpenAI/Anthropic 是中局），点名 David Silver"从零开始做 RL"是有趣尝试；"资本大举推动实验室成立"是研究员的黄金时代（[01:19:30]–[01:22:34]）。

就业：价值向"有 taste 的顶尖工程师"集中

  • Coding agent 造成两个影响：junior SWE / CS 应届更难找工作；资源更 concentrate 到"真正强、有 taste"的顶尖 system engineer / researcher，agent 无限放大他们的能力（[01:31:43]–[01:33:46]）。百人维护的复杂 software，未来可能是"十个最强、最有 taste 的人"的 effort。
  • 如何筛选人 = 看 taste 与 criticism：能不能对 code / research"看到就浑身难受、想重写"；以 Linus 对 Linux 的 code quality gatekeeping 为范例——"他是早期用人当 agent 的鼻祖"。只有你自己知道什么是好 code，才能 supervise agent 写出超过 agent 默认水平的 code（[01:39:56]–[01:41:57]）。
  • 反复强调 "政治善良 / 人格底色" 是找 co-founder 和招人最重要的标准（[01:42:57]–[01:44:57]）。

判断力与"勇于放弃"

  • 全程盛赞 CEO 盛影（Ying Sheng） 判断力极强：做 Arena 前就笃定重要、做 SGLang 时朱邦华判断相反（"没必要再做一个和 vLLM 一样的引擎"）而盛影从 first principle 押对、早期就拉人做 RL（[01:26:38]–[01:29:41]）。
  • 给三类人的建议核心是 "勇于放弃、多尝试"：时代变化快使试错成本反而变低；"能放得下的人最后拿得更多"；"为什么这个人能做、我就做不了？——试一下，可能你做得比他还好"（[01:44:57]–[01:45:58]）。自评当年"做理论也没做好"，转型 LLM 是"勇于放弃换来更多"。

相关主题