跳转至

vLLM Omni 团队

主库视角见 游凯超（vLLM 核心维护者 / Inferact 首席科学家，2026-07）——他讲的是 vLLM 主库的起源、治理（四位"仁慈的独裁者"）、基金会+公司双层结构，以及模型与 infra 的 co-design。本页的 Omni 是从主库拆出的分支。

vLLM Omni 是从 vLLM 主库拆出的独立开源项目，专做多模态/全模态（omni）模型的推理与 serving——不仅多模态输入（理解），更支持多模态输出（生成，含 TTS/文生图/文生视频）。由 Roger（发起人，自称"拉拉队/带货"）、林月谦（AR/TTS committer）、志鹏（DiT/diffusion 负责人）等在月球大叔频道分享。华为等国内同学参与，约 4000 stars。本库首个"多模态 serving 基建"的中方一线视角，与 SGLang、LMCache/KV Cache 同属月球大叔 infra 系列。

⚠️ 无字幕本地 whisper 转录，专有名词已归一化，个别（DiT block 级缓存名、版本号）待官方确认。见视频页顶部说明。

核心观点

来源：月球大叔 2026-05-11

  • 缘起：Qwen 团队给 vLLM 提的 Qwen-Omni N2N 支持 PR 加一万行减一千行、几乎重写主库、过度偏单模型——于是另立独立项目随模型演化（视频 00:01:01–00:06:06）。
  • 核心抽象 = 把 PD 分离推广成通用 stage：一个 stage 可以是多模态 encode/生成，stage 间传的不只 KV cache，还有 embedding/metadata，方向可双向、可跳 stage；两个 engine——AR（复用 vLLM）+ Diffusion/DiT（从头写）（00:03:02–00:04:04、00:14:10）。
  • 工程：omni connector 统一传输（单卡 shared memory、多卡走 Mooncake）、控制面/数据面解耦、chunkwise 异步流式把首包延迟从近 10 秒降到 <1 秒、RTF<1（"响应快的 AI 能给情绪价值"）（00:28:38–00:33:47）。
  • DiT 加速：TeaCache（layer 级跳步）+ block 级缓存；并行 USP+Ring Attention（正交）、HSDP、VAE patching、CFG parallel（最稳）；实测现代显卡算力过剩、diffusion 可 continuous batching；边缘设备做 module/layer-wise CPU offload（00:41:08–00:57:38）。
  • 国产硬件插件：CUDA/ROCm + 华为昇腾 MPU、百度昆仑，新硬件接入不改核心逻辑（00:24:27–00:25:30）。
  • 未来：streaming input 支持 world model / VLA、与 veRL 集成做多模态 RL、更多 multi-stage 模型（Bagel、Qwen-Omni、混元 80B）（01:03:51–01:08:55）。

视频