跳转至

孙宇涛

  • 背景: 清华大学计算机系博士候选人，上海创智学院璞锐学者。2023 年起读博，研究方向是大模型架构与预训练，核心关切是推理环节的低效性。⚠️ 他自陈架构研究在 ChatGPT 发布之前就已开始。目前正在转向世界模型（理由见页尾）。
  • 出现于: 张小珺·商业访谈录
  • 在本库中的位置: 本库第一份"论文领读"体裁的材料，也是迄今技术密度最高的一期。他的稀缺性在于双重身份——既是 K3 架构脉络的讲解者，又是这条脉络中的当事人：RetNet（chunk-wise recurrent）、YOCO（You Only Cache Once）、loop language model 三项工作出自他本人。⚠️ 本库把这既记为利益相关，也记为这份材料的价值来源。

他自陈的讲解方法论（视频页 [00:16:23]）："如果只看这篇论文，你会知道它是这样做的，但你可能不太清楚它为什么这样做，或者历史上大家是怎么做的、为什么最后达到这个解。" 所以他刻意不按论文顺序讲，而是把每项设计还原成一条历史脉络。

核心框架与判断

⚠️ 推理开销的三分法（他全部工作的坐标系）

"模型的推理开销主要就分为三个部分：prefill 的计算开销、decode 的开销、KV cache 的存储开销。这三个是最主要的……不可能有第四个。"（[00:11:18]）

他用这个框架给自己的工作定位（YOCO 解决了 prefill 与 KV cache，没解决 decode），也用它解释 K3 为什么不用 sparse attention。

⚠️ "忒修斯之船"与他自称的暴论

（[01:08:00]–[01:09:00]、[02:01:26]）

"大家现在都叫 Transformer，但什么是 Transformer，其实是没有办法清晰定义的。"

2017 年这条船开始行驶时是 attention + residual + stack layer（而这些在 Transformer 之前也并非全新概念）；行驶了八九年，某些部分换了、某些部分换了，到 2026 年"跟 Transformer 已经像素很低很低了"——"你是否还把这个东西叫做 Transformer？"

⚠️ "我的暴论就是：大模型可能没有太本质的创新了，后面都是一些改良性的渐进进步。"

配一条同向的表述（[01:55:24]）："科学研究是不存在跃迁性的提升的，只是说大家习惯把技术渐进提升的某些节点，称为一个 milestone。"

研究取向：从性能导向到效率导向

（[00:03:10]）他指出整个领域的转向——ImageNet 时代追求更精妙的架构以提升表现；大模型时代则发现参数量才是性能最主要的因素，架构改进带来的性能提升相对微小：

"但是不同的架构在模型的推理方面，性能差异是巨大的，而且这个主要决定了模型最后的部署价格。"

⚠️ 时代窗口的判断（[00:15:21]）："2023 年是这样的，2026 年的话，可能架构创新能做的其实是越来越少了。" 他还点出一个时代差异——在 ResNet 时代，注意力设计、MoE、优化器、连接方式，每一个单拿出来都算一个架构；在 Transformer 时代不是，必须综合起来跑出来才有意义。

他自己的三项工作

  • ① RetNet（[00:04:11]–[00:05:12]）：引入与位置相关的衰减项（让线性注意力从 position invariant 变为位置相关），并提出 chunk-wise recurrent（块递归）。
  • ⚠️ 动机：纯递归特别慢（训练中甚至比 parallel representation 还慢），但纯 parallel 完全享受不到线性复杂度的收益。块递归是两者之间的 trade-off。
  • ⚠️ "之后所有线性注意力的改进工作，都是基于这样 chunk-wise 的计算形式"——包括 Mamba2、Gated DeltaNet，直到 Kimi KDA。
  • ② YOCO（You Only Cache Once）（[00:08:16]–[00:10:17]）：
  • ⚠️ 动机是对 hybrid 的不满：混合注意力的加速比永远与混合比成正比——3:1 的话最多 4 倍，"只是一个常数级别的改进，所以当时觉得可能不是很有意思"。
  • 第一性原理：模型至少要能获取全文信息，所以沿 token 长度维度 KV cache 省不掉 → 换维度，沿层间省：所有层共用一份 KV cache。
  • 把计算与存储解耦：一份 KV cache，多层完整计算结构。⚠️ 额外收益：prefill 可直接跳过全注意力计算（prefill 的唯一目的就是拿到 KV cache）。
  • 他的定性："从 KV cache 的存储角度基本上已经达到极致了"——一份就是最少。
  • ③ Loop language model / YOCO universal（[00:11:18]–[00:14:21]）：固定参数量下用多次迭代提升 FLOPs。
  • ⚠️ 传统 loop LM 的两个问题：只省参数不省计算；KV cache 随推理深度增加。
  • 解法：YOCO 是两段式（前期全线性、后期全注意力），把 loop 单元放在线性注意力那一段——那里的 KV cache 微乎其微。效果是约两倍计算强度换约两倍性能提升，存储基本不变。

可以被独立引用的技术判断

⚠️ 纯线性注意力失败了，但 hybrid 不是 trade-off

  • "从现在这个视角，纯线性注意力无疑是一个比较失败的尝试"（[00:06:14]）——有限的 state 难以在长上下文里匹敌全注意力。
  • ⚠️ 但关键的反转在于（[00:07:16]）：混合注意力从架构上是 trade-off，从模型表现上却不是——保持一定全注意力比例可获得无损甚至更好的长上下文表现。

    正是这个实验结论，才让混合注意力被大规模采用。

  • hybrid 的真实 trade-off 只有一个：线性与全注意力的比例；3:1 是实验上比较 work 的方案（[01:06:58]）。

⚠️ 两个矩阵连乘的定律

（[00:49:49]）

"两个矩阵连乘，在模型表达能力上是 free 的（严格可以合并成一个），但优化性质上并不是——经常会出现训练不稳定。"

TL;DR：如果你不得不把两个矩阵连乘拆开，中间一定要加一个类似 normalization 的手段。

他指出 MLA（low projection 再打回）与 Latent MoE 是同一个模式。

⚠️ "RoPE 并不带来长文能力"

（[01:21:08]）

"RoPE 本质上带来的是 recency bias……它对 short context 的建模特别有效，但对长文没有帮助，甚至有负面影响。认为是 RoPE 引入了长文表现，这个是错误的——RoPE 并不带来任何长文能力，它甚至损害长文能力。"

所以在 hybrid 架构下（线性注意力已引入位置信息），全注意力那部分可以直接改成 NoPE，扩长文不需要调任何参数。⚠️ 他说自己审到这篇时直接给了 strong accept——"我这几年可能也没有给过几个 strong accept"，理由是"很有效，也是一个很优雅的解决方案"。

⚠️ 一条判断架构设计能否落地的产业判据

（[00:42:44]）这类设计能被接受，是因为"对于推理来说基本是免费的"：

"一切通过更慢的模型实现去提升模型效果的做法，都会被 fully question——我为什么不能去扩更大的 size？这样还简单一些。"

稳定性压倒微小的能力差异

（[00:34:39]）"模型的能力本质上最主要的因素是模型的参数大小，所以好一点差一点，它都不如稳定性要重要。"——因为 run 一旦崩掉，前面整个 checkpoint 都废了。

⚠️ 对 MLA 的祛魅

（[00:36:40]–[00:38:41]）

  • "从数学上来讲，MLA 本质上就是一个大号的 MQA。"
  • "MLA 本质上并没有带来新的东西"；"MLA 主要拿到的收益，其实可以被更好的 GQA 参数设计拿到绝大多数。"
  • 为什么 DeepSeek V4 弃用：他们主推 sparse，而 sparse 与 MLA 不是 100% 兼容（尤其 prefill）。
  • ⚠️ 他接受了罗福莉的判断并补了机制：MLA 在推理阶段计算大大浪费（"计算远大于它实际的建模能力"）；更关键的是——MLA 与 MTP 的收益不正交，甚至互相缓冲，因为 MTP 本质上是用更多 token 同时计算、把 memory bound 往 compute bound 推，所以两者叠加时加速比会大大减小。
  • ⚠️ 但他拒绝把它上升为定论："我觉得它从来也不是公式，它只是一个选择。"
  • K3 仍用 MLA 的理由是组织性的："从工程或者从组织管理上，能跑的东西就不要动。"

⚠️ 他最欣赏的不是 K3 的创新

（[00:45:46]）被问"哪个创新性最强"，他选的是 DenseNet 和 Hyper-Connections：

  • DenseNet（黄高）：⚠️ "attention residual 考虑的问题，DenseNet 当年其实都考虑到了，只不过当时没有 attention 而已。"
  • Hyper-Connections（字节 Seed）：一句话概括是"在 residual 分支上，用比模型 hidden state 更大的容量，来表示模型在推理深度上的状态"。
  • ⚠️ 他对它没出圈的诊断很直接："它一个最大的问题就是 paper 写得太抽象了，不太容易读。"
  • ⚠️ 一条关于注意力经济的观察："后来 MHC 比 HC 本身火很多，最重要的原因还是 MHC 是 DeepSeek 的。我觉得可能没有别的原因。"

对 K3、Kimi 与这个领域的判断

  • ⚠️ "有效的 scaling"这个区分（[00:19:24]）："无效的 scaling 我今天就可以给你——我晚上回去起一个 2.8T 的模型 init，跑个 100B 的 token，然后我就可以放出来。"
  • ⚠️ K3 最 impressive 之处是一个非技术答案（[01:54:24]）：不是任何架构创新，而是激活量做到约 100B——"比我预期的还要大一些"。

    "这个不依赖任何能力……我觉得这个决定是一个非技术性的决定。"

    "有价值的技术创新，他们都单写了一个 paper 了，所以 K3 刚出来的时候我主要就 surprise 这个 size，别的都符合我预期。"

  • K2 与 K3 的战略差异（[01:10:01]）：K2 主要 follow DeepSeek V3，重心是先把结果跑出来、把 base model pipeline 做稳；K3 才引入大量架构创新。⚠️ "我觉得是个战略的问题。" 架构团队内部一直在做，"只不过看你什么时候亮出来"。
  • ⚠️ 对 Kimi"研究方式科学"的解释（[01:56:25]）：Kimi 是"公开里大家认可的最强调模型内科的团队"——让不同行为的 trace 能被可靠获取，让模型的不稳定性或 collapse 能被明确归因。
  • ⚠️ 他对"不科学"的定义是尖锐的：科学的标准是明确的 ablation、足够的变量控制；"不科学就是基于某些利益需求，然后把科学的方式都干掉了"——并特意补一句"不特指任何技术"。
  • ⚠️ 组织观察（[02:00:26]）："Kimi 这个团队非常团结，能把劲往一处使。" 对"所有人好像都不怕杨植麟"的回应：

    "对啊，为什么要怕呢？谁有道理谁说了算。"——"还是一个非常集体的工作，不依赖于个人英雄主义。"

  • ⚠️ K3 与 DeepSeek V4 的分化（[01:58:25]）：DeepSeek 更强调性价比；Kimi 目前主要在提升开源模型能力的上限，性价比不是首要考虑——"K3 的 API 相当贵，比别的模型贵多了。" 而会不会持续分化，他的回答落在组织上：

    "技术上这个东西不存在太多 debate，好就是好、不好就是不好，有明确的客观标准。但是对于组织、对于人，这个是比较模糊的。"

  • 对未来（[02:01:26]–[02:03:27]）：
  • 模型 size 会继续扩大，但不可能无限大——⚠️ 理由在数据侧：人类互联网上能集结到的信息量是有限的。
  • ⚠️ 能力定义论："只要大家能清晰定义一个能力，就能去达到。" > "AGI 最大的问题就是它没有被 well-defined，所以只要能够定义，它就能达到，后面就是一系列的优化工作。" > > ⚠️ 边界：如果把 AGI 定义为具身、与真实物理世界交互，那 gap 就大得多。
  • ⚠️ 新团队还有没有机会："如果这个团队足够好、氛围足够好、单兵作战能力足够强，是有机会的。但这个条件我觉得大概率是不存在的。" > "因为好的人其实已经进去了。"——"好的人和好的组织文化想达成，是有历史的局限的。"
  • ⚠️ 他自己为什么转去做世界模型（[02:03:27]）："大模型不存在太大的改进空间；没有大的突破，就没有大的 credit。所以对个人职业来讲，不是一个能做出太大贡献的领域。" 他同时承认世界模型"问题更大"，但"至少是一个新的东西"。

已收录访谈

日期 视频 频道 主题
2026-08-26 领读 Kimi K3 技术报告（第 152 期，124 分钟） 张小珺 线性注意力演进史（RetNet→Mamba→DeltaNet→GDN→KDA）、推理开销三分法、YOCO、hybrid 不是 trade-off、两个矩阵连乘的定律、NoPE 与 RoPE 的误解、Latent MoE、Quantile Balancing、K3 与 DeepSeek 的 infra 路线分野、忒修斯之船