跳转至

Ramin Hasani（Liquid AI）：从 302 个神经元的线虫到硬件感知架构搜索，以及"下一波是 customization token"（Latent Space，2026-09-18）

说话人认定依据：自动字幕只有 >> 换行符，没有姓名标签。开场"And Raine, uh, CEO of Liquid"（[00:00:01]）定嘉宾（⚠️ 字幕把 Ramin 误识为 Raine）。主持有两人（swyx 与 Richard），本页一律写"主持人"，不逐句区分。

自动字幕专名对照表：Raine→Ramin、TUNI→TU Wien（维也纳工业大学）、C elegance→C. elegans（秀丽隐杆线虫）、electroonic→electrotonic、Daniela Roose→Daniela Rus、yashu binges lab→Yoshua Bengio's lab、David Duban→David Duvenaud、Jimmy Smith（Stanford，S5 作者）、the star→STAR（其架构搜索方法）、onslaught→Unsloth、exoltole→Axolotl、Llama CPP→llama.cpp、Tree Dow→Tri Dao、Cartisia→Cartesia、Christopher K→Christof Koch、wipe code→vibe code、word modeling→world modeling（⚠️ 全篇误识，按语境统一还原）、Jonathan Ross（Groq 创始人）、Gbionics/rooe tech（机器人公司名，⚠️ 拼写未核实，照录）。

概要

本库此前的"替代架构"材料零散分布在 孙宇涛（线性注意力演进史）、Dan Biderman（记忆/cartridges） 等处。⚠️ 本期是第一份完整的"非 transformer 路线的公司如何把它做成生意"的材料，而且它给出的答案很反直觉——不是押注单一架构，而是把架构选择本身自动化。

另外，本期是本库端侧 AI 素材里第一份来自模型方的：此前端侧视角来自阳萌（硬件/存算）和肖志斌（芯片），都是硬件侧。

本期最该被单独引用的七条

  1. ⚠️ 他们的立场是"不押架构"（[00:12:05]）：day one 的决定是把各路替代架构的发明人聚到一个地方（Bengio 实验室、Stanford、MIT 的 hyena hierarchy / SSM / liquid 作者），然后造一个在算子空间里搜索的元系统，"不要把自己框进'我们的架构是圣杯'这种偏见里"。
  2. ⚠️ STAR 的四个优化目标（[00:13:06]）：相对纯 transformer 不牺牲质量、最小化内存、最小化延迟、最大化计算速度——而且搜索是硬件感知的，给定部署环境（GPU 还是 NPU）搜出不同的混合架构。他自己把这个元算法称为"某种递归自我改进的系统"（[00:14:07]）。
  3. ⚠️ 架构搜索得到的经验法则，本页认为是全期最有迁移价值的一条（[00:47:26]–[00:48:27]）：模型越大，架构越要去偏置（unbias）；模型越小，越该加偏置。 他给的证据是 LFM2 的架构简单到近乎朴素——80% 是双门控 1D 卷积 + 20% GQA；而 8GB 内存那种小模型场景下，加多重反馈回路这类复杂结构反而换来更强的表达动力学。
  4. ⚠️ SSM/循环系统的模态偏好是硬事实（[00:48:27]）：在音频上非常有效，在文本上很差。 主持人给的直觉解释是"语音本来就是连续推理、状态很少"；Hasani 的说法是"时间序列数据就该用为时间序列设计的动力系统"。
  5. ⚠️ 端侧的第一动机是成本，不是隐私（[00:21:12]）：要给几亿台手机、几十亿客户免费提供智能，在云上服务的成本高到难以承受；端侧"就是在给自己创造毛利"。他同时给了一个关键现状数字——苹果/Galaxy 的端侧智能，90% 的调用仍然走云，因为端侧模型还不够强、不够可靠。
  6. ⚠️ "下一波是 customization token"（[00:34:20]–[00:36:21]）：现在90% 的市场围绕推理 token（前沿实验室和 Fireworks 这类推理商托管模型、按 token 收费）；他判断下一批 decacorn 会出在customization 这一格。⚠️ 他对 customization 的定义比"后训练"宽得多——预训练、mid-training、后训练、数据生成、RL 全都算，而且要让 agent 去做这些并把整个过程闭环。
  7. ⚠️ "90% 的 vibe coding token 是无用 token"（[00:41:23]）：他说成熟企业里开发者"人人都想 token max"，"这就像脑子里的病毒"；等企业真去做价值归因，会发现 90% 的 token 没产生价值——这正是自助定制平台的需求来源。

一、从线虫到 liquid neural networks

为什么是 C. elegans

  • 起点（[00:00:01]–[00:01:02]）：12 年前在维也纳工业大学，他和现在的 CTO 想把连续时间数学带进机器学习。先看人脑，但人脑神经元是 spiking 的、极难学，而且"我们对人脑的计算究竟怎么发生仍然几乎一无所知"。
  • ⚠️ 选线虫的三条理由（[00:02:02]–[00:03:02]）：
  • 只有 302 个神经细胞，2 毫米长，第一性原理层面可穷尽；
  • ⚠️ 它的神经元不 spike（神经科学里叫 electrotonic 行为）——这一点决定了一切：不 spike 就可以建成连续时间且可微的系统，能做反向传播；
  • 6 亿年前人与它在演化树上分家，与人类基因组有 78% 相似，而且这个模式生物已经为人类拿过四个诺奖。
  • ⚠️ 最打动他们的事实（[00:02:02]）：302 个神经元控制 95 块肌肉细胞，比 2016–2017 年地球上任何机器人系统都做得好。
  • 产物（[00:03:02]–[00:04:03]）：把"两个神经元如何交换信息"数学化，得到 liquid time-constant neural networks——"liquid"取自灵活性。它们是受微分方程支配的高度非线性系统，前向可算、反向可导，因为多重反馈结构而成为很好的表示学习器。
  • 规模（[00:04:03]）：几十到几百个神经元就能控制机器人——"机器人上没那么多算力"，所以把智能压进最小计算单元从此成为他们的研究主题。
  • 2017 年转折（[00:05:03]）：MIT 的 Daniela Rus（他称"arguably 机器人学之母"）联系了他在维也纳的导师，随后他与 Mathias 一起去 MIT，又遇到当时还是博士生的 Alexander Amini——四人自 2017 年起共同推进。

为什么最后还是要 transformer

这是本页认为最诚实的一段（[00:09:04]–[00:12:05]）：

  • ⚠️ RNN 的死穴是串行计算：非线性循环算子在 GPU 上极难并行。"这正是 transformer 架构的美妙之处——它是无偏的，本质上就是矩阵乘法，可以 scale。这就是 hardware lottery。"
  • ⚠️ 但循环的吸引力在于计算不爆炸：注意力是二次的，循环是次二次甚至接近线性的。"这些算法更高效，但那只是理论上的——如果你没法并行、没法 scale，这些系统就起不来。"
  • 线性化的代价（[00:10:04]–[00:11:05]）：把非线性动力系统线性化（SSM 就是 RNN 的线性版本）之后可以用线性代数技巧并行（parallel scan），但计算机科学里没有免费午餐——线性化就是在丢表达力。用 SSM 解语言问题时，长上下文依赖学不好：

    ⚠️ "它们能非常高效地计算，但不能高效地表达。"（[00:11:05]）

  • 他们的结论（[00:12:05]）：把 liquid neural networks、动力系统、SSM、卷积网络各自学到的东西合起来造一台通用计算机，而选择哪些算子交给搜索。

LFM 的世代

世代 特征
LFM1 架构搜索的第一个产物，卷积 + 注意力 + 原始 liquid 的大杂烩（[00:14:07]）
LFM2 专为 CPU 优化；架构"优雅而简单"——80% 双门控 1D 卷积 + 20% GQA（[00:15:09]）
LFM 2.5 当前发布世代（[00:16:10]）
LFM3 下一代，主要是质量、稳定性、延迟控制的改进（[00:16:10]）
  • 规模范围（[00:16:10]、[00:26:15]）：scaling law 从几千万到 700 亿参数都跑；已开源的在 1 亿到 240 亿之间，大的是 MoE。
  • ⚠️ 搜索是可增量的：架构空间里出现新发明，就加进这个元搜索——每一代 LFM 的算子来自当代可选算子，目标设备决定该是什么混合架构（[00:15:09]）。

二、生意：端侧、汽车、Shopify

端侧智能的真实门槛

  • 客户类型（[00:18:11]）：汽车厂、机器人厂、笔记本厂、手机厂——算力在数据中心之外的地方。
  • AMD / AI PC（[00:19:11]）：每年全球出 3–4 亿台 AI PC，其中约 1 亿台以 AMD 为核心。
  • 端侧的两类用途（[00:19:11]–[00:20:12]）：
  • ⚠️ 隐私过滤器——你要往 ChatGPT 或云端 agent 发一大坨敏感数据，先过一遍本地 LFM，智能地屏蔽掉敏感信息再发出去；
  • 本地主动 agent——能访问机器上全部信息、离线、气隙可用。
  • ⚠️ 他反复强调端侧生产级有多难（[00:22:13]）："不是从开源下载一个模型丢到设备上就算成功了，远不止如此"——要做热控制，而且模型在长上下文下的行为会漂移，可靠性要求极高。"过去两年半我们走过很多轮生产。生产级 AI 远不只是在设备上跑几个质量 benchmark。"

具体部署

  • Mercedes-Benz（[00:23:13]–[00:24:13]）：车内的多模态模型——连摄像头、做语音交互、文本侧做推理；模型约 600MB，因而可以给全球每一辆车做 OTA 更新。首批部署今年落地在北美第三代奔驰全系，⚠️ 跑在成本约 100 美元的芯片上。
  • Shopify（[00:24:13]–[00:25:13]）：不是端侧，而是延迟与质量。shop app 里输入搜索就会打到 LFM；当前已超过每月 10 亿次请求。
  • 开源采用（[00:25:13]–[00:26:15]）：累计 4000 万次下载，每周约 150 万次。
  • 机器人（[00:27:16]–[00:28:17]）：VLM 用在工业机器人（不是人形）和工厂监控摄像头上，做视觉-动作、指令跟随。⚠️ 他说机器人是 day one 就刻意暂停的方向——因为生产级机器人要走验证/确认和监管这个兔子洞，go-to-market 很慢。他们选择先做水平的智能层，从 OEM 切入；现在模型成熟了，才认为是重新认真做机器人垂直的好时机。

商业模式与平台

  • 模式（[00:32:18]–[00:33:19]）：早期是 design partner——派一个 applied ML 团队进去，按参与时长收费；方案建成后按年、按设备收 license。⚠️ 关键的规模化逻辑：每个垂直做完第一家之后，后续客户的服务量大幅下降，只剩方案部署。
  • LEAP（[00:36:21]–[00:38:22]）：面向开发者的库与 cookbook——可微调、可导出 GGUF 之类的推理就绪 bundle（llama.cpp 风格）直接上设备。他强调 LFM 也被 Unsloth、Hugging Face TRL 等生态支持，"我们和 Hugging Face、SGLang 的人合作非常紧密"。
  • 新平台（beta）（[00:33:19]–[00:34:20]、[00:41:23]–[00:42:25]）：把他们自己造模型的整套流程自动化并交给企业。⚠️ 设计上很有意思的一点：平台不是又一个 UI，而是坐进客户已有的 agentic harness 里的一组工具——"很像你和你的 cloud code 交互的方式"，让开发者在人在回路的交互中一步步建成并部署一个生产级 LFM。可以按一键全自动，但他明说全自动出来的模型质量不如交互式做出来的。

⚠️ 他与主持人在"eval 够了就不用管过程"上的分歧

这段值得完整记（[00:42:25]–[00:43:25]）：

  • 主持人：如果我有好的 eval，我凭什么在乎过程？它应该自己 auto research。
  • Hasani：第一次部署我完全同意你。 但模型上线后，新数据进来、社区想要的东西发生分布漂移——

    ⚠️ "你的 eval 会过期。静态 eval 会过期。所以你需要某种动态性，而这只有在系统能持续演化时才可能。"

⚠️ 这条与 评估与 Benchmark 页 里 Mark Cuban 的 "agent 漂移：eval 不是一次性的" 是同一论点的两个来源，而 Hasani 给的是供应商侧的产品化后果：因为 eval 会过期，所以定制必须是平台而非一次性服务。

企业侧的现实

  • 样本规模（[00:39:23]）：接触过约 200 家财富 500 强。
  • ⚠️ 他的诊断（[00:40:23]）：成熟企业已经被折腾累了——自建 applied ML 团队、从开源下模型、从头训自己的模型，"这些都没有变成真正的生产线，最后总是退回云方案"。他给的数字是 80% 的 PoC 到不了生产级。
  • 第二重压力（[00:40:23]–[00:41:23]）：开发者对最高级智能的需求是刚性的、且在 token maxing；而企业同时要控成本——于是对能快速拿到价值的自助平台产生了巨大需求。

三、研究观点（本页认为最值得别的页引用的部分）

规模与偏置的反比关系

⚠️ 这是他给的最凝练的一条经验法则（[00:47:26]–[00:48:27]）：

"在大规模上，架构需要的偏置少得多。你得把架构简化。反过来，在小模型区间，你给系统加的偏置越多，得到的表达动力学越丰富。"

  • 大模型侧的证据：LFM2 里没有 gated delta net 这类东西，就是 1D 卷积——"这是你能做的最简单的东西"，而注意力本身也是非常无结构的。架构不带偏置，才 scale 得动。
  • 小模型侧：内存上限 8GB 这类场景，可以加多重反馈回路，把系统做复杂。
  • ⚠️ layer looping 被他归为同一类（[00:50:28]）：循环层也是一种偏置——"你把它搞复杂了，而且你还得为它找到基础设施"。当前 GPU 基础设施是为并行矩阵乘法优化的，不适配这种负载。
  • 主持人提到有一篇帖子说的是同一件事：小规模加偏置，最终必须拿掉。

模态决定算子

⚠️（[00:48:27]–[00:49:27]、[00:55:29]）：SSM / 连续时间系统 / RNN 在音频上非常有效，在文本上很差。 他的边界给得很清楚：在 200 亿参数以下这个区间，循环可以非常有效，而这些属于"更有偏置的架构"。主持人补的直觉是——语音是连续的时间序列、状态很少、反正本来就在连续推理，所以特别适配。

衬底与下一代架构

  • ⚠️ 光子学（[00:50:28]–[00:51:28]）：他认为这是最值得期待的方向，理由很具体——非线性系统之所以并行不了，是因为必须串行算；如果串行计算能以光速进行，那个速度在人类尺度上不可感知，于是非线性算子的串行计算就不再是瓶颈，可以造出被当前衬底排除掉的下一代架构。
  • ⚠️ 他引的一句话（[00:52:28]）：他大约 14 年前听 Christof Koch 在一个会议上说 "intelligence is a property of carbon"——自然生命的智能长在碳上，我们现在在硅上造智能，衬底本身会在下一代架构里起作用。
  • 量子（[00:53:28]）：他认为量子唯一可能带来量级改变的是搜索——"我们现在向梯度下降低头，只是因为不知道更好的大规模搜索办法；那本质上就是在参数空间里搜索"。⚠️ 他随即自嘲：2017 年在 NeurIPS 问 IBM 的人"什么时候大家能用上"，答案是 2035。

下一代架构方向

  • ⚠️ 前向与反向同时发生（[00:56:29]）：他们一直没充分探索的是适应性（adaptability）——现在的前向就只是前向。in-context learning 某种意义上在做类似反向传播的事，但他想要的是把前向和反向结合起来的新一代架构。⚠️ 他补了一句传闻："我听说 SSI 也在做与 liquid neural networks 原始想法非常相似的架构。"⚠️ 本库不核实此条。 他同时提醒：所有前沿实验室都有团队在做替代架构。
  • cognitive architectures（[00:58:31]）：另一条是系统的系统——计算单元可以是神经元与突触，也可以是一个 LFM 或一个小模型，把它们捆成更大的系统。他把今天的 orchestrator + 多 agent 工作流看作这条路的雏形。
  • 研究议程（[00:59:31]–[01:01:32]）：大规模多模态（同时训练所有模态）、更长时程推理、一个专门的效率部门（kernel 设计到 RL 基础设施），以及非人类可读数据——他们在做 DNA 基础模型（⚠️ 他给的理由是结构匹配：词表只有四个字母但序列极长，正好是他们擅长的长序列动力系统）。
  • ⚠️ 对小模型多模态输出的限定（[01:02:33]）：7B 以下做不出高保真视频输出，"方向上"可以——用 world modeling 训练能让模型内部编码一些物理知识、改善内部表示，但它输不出高保真的东西。他强调这对工厂里机器人的落地场景比对娱乐更重要。

三类创新的分类法

⚠️ 被问到"机器人的 action model / world model 是不是只是营销"时，他给了一个很干净的框架（[00:29:18]–[00:31:18]）：

  1. 模型架构——效率与"成为通用计算机"的能力；
  2. 算法——自回归损失、扩散过程、world modeling 都属于这一层；
  3. 数据处理机制。

⚠️ 他的判断：world modeling 属于算法层，不是架构层。"你完全可以把 LFM 架构拿去放进 world modeling 的流水线里训练"；world modeling 与 next token prediction 从物理世界里抽出的原语是不同的。"机器人的 ChatGPT 时刻需要什么学习算法，这在算法侧仍然是个大问号；在架构侧，任何通用计算机都可以用。"

四、零散但值得记的

  • ⚠️ 对 Modular / Mojo 被 Qualcomm 收购的评价（[01:03:34]–[01:06:34]）：他说自己很敬佩 Chris Lattner，但给了一个很直接的观察——大量做端侧推理的公司试图替代或包装 llama.cpp，只要不锁定单一生态、想做通用语言，挖下去都比原版 llama.cpp 差。"成功的那些都是锁进一个生态的"，他认为 Mojo 进了 Qualcomm 生态之后会更成功。Liquid 自己的原则是不重复造轮子、贴着最原生的语言与平台走。他给的那句收尾很硬：

    ⚠️ "生态总是赢。这个答案很残酷，对新进入者不公平。"

  • 给创业者的话（[01:07:35]）："如果一个问题很难解，那反而让它更值得做、更有吸引力——因为容易的问题别人都会去解。"
  • ⚠️ "Attention is all you need 吗？"（[01:07:35]–[01:08:36]）：他的回答是注意力肯定是你需要的元素之一，而且"我们还会和基于注意力的系统一起生活很久"；但他补了两条同等重要的东西——具身性（embodiment） 和 适应性（adaptive intelligence，即持续学习）。⚠️ 他对具身的定义比通常更宽：在虚拟世界里的 agent 也需要对自己所处的虚拟物理环境有理解——"具身对虚拟 agent 同样成立"。
  • 主权 AI 的另一种讲法（[00:45:26]）：他把"企业拥有自己的模型开发与部署"称为 sovereign AI 的真正含义，再往前一步是"地球上每个人都能拥有自己的智能"。⚠️ 这与 Vals AI 那期 对主权 AI 的批评（"从上帝视角看极低效"）构成直接对照。
  • ⚠️ 硅片厂商是架构搜索的天然客户（[00:45:26]）：因为搜索是硬件感知的，芯片公司（他举了 Qualcomm 想为下一代 NPU 定制计算图的例子）会把自己的硬件、甚至下一代硬件放进搜索回路里，找出对自己最优的架构。

相关页面