Ramin Hasani¶

来源：Latent Space 2026-09-18

背景: Liquid AI 联合创始人兼 CEO。约 12 年前在维也纳工业大学（TU Wien）读博时与现任 CTO Mathias 开始把连续时间数学带进机器学习；2017 年起在 MIT 与 Daniela Rus、Alexander Amini 等人共同推进。
代表工作: liquid time-constant neural networks（受线虫神经系统启发的连续时间网络）、STAR（硬件感知的架构搜索）、LFM（Liquid Foundation Model） 系列、LEAP 开发者平台。
本库收录起点: 2026-09-18 Latent Space 访谈（70 分钟，英文自动字幕）

他在本库中的位置¶

⚠️ 两个"第一份"：

第一份完整的"非 transformer 路线的公司如何把它做成生意"的材料——而答案很反直觉：不押注单一架构，而是把架构选择本身自动化。
端侧 AI 素材里第一份来自模型方的（此前的端侧视角来自阳萌与肖志斌，都是硬件侧）。

立场与核心观点¶

起点：302 个神经元的线虫¶

为什么是 C. elegans（[00:02:02]–[00:03:02]）：只有 302 个神经细胞，可穷尽；⚠️ 最关键的是它的神经元不 spike（神经科学里叫 electrotonic）——不 spike 就能建成连续时间且可微的系统，可以反向传播；而且6 亿年前才与人类分家、与人类基因组 78% 相似、已为人类拿过四个诺奖。
⚠️ 最打动他们的事实：302 个神经元控制 95 块肌肉细胞，比 2016–2017 年地球上任何机器人系统都做得好。
产物：liquid time-constant neural networks——受微分方程支配的高度非线性系统，前向可算、反向可导，因多重反馈结构而是很好的表示学习器。几十到几百个神经元就能控制机器人（[00:04:03]）。

⚠️ 他对 transformer 的评价是本页最诚实的一段¶

（[00:09:04]–[00:11:05]）

RNN 的死穴是串行计算：非线性循环算子在 GPU 上极难并行。

"这正是 transformer 架构的美妙之处——它是无偏的，本质上就是矩阵乘法，可以 scale。这就是 hardware lottery。"
循环的吸引力在于计算不爆炸（次二次甚至接近线性），但那只是理论上的——并行不了就 scale 不动。
线性化的代价：SSM 是 RNN 的线性版本，可以用 parallel scan 并行，但计算机科学里没有免费午餐——线性化就是在丢表达力。

⚠️ "它们能非常高效地计算，但不能高效地表达。"

Liquid 的策略：不押架构，搜架构¶

day one 的决定（[00:12:05]）：把各路替代架构的发明人聚到一个地方（Bengio 实验室、Stanford、MIT 的 hyena hierarchy / SSM / liquid 作者），造一个在算子空间里搜索的元系统。
STAR 的四个优化目标（[00:13:06]）：相对纯 transformer 不牺牲质量、最小化内存、最小化延迟、最大化计算速度——⚠️ 而且搜索是硬件感知的（GPU 还是 NPU，搜出不同的混合架构）。他自己把这个元算法称为"某种递归自我改进的系统"（[00:14:07]）。
世代：LFM1（卷积+注意力+原始 liquid 的大杂烩）→ LFM2（专为 CPU 优化，80% 双门控 1D 卷积 + 20% GQA） → LFM 2.5 → LFM3。参数从几千万到 700 亿跑 scaling law；已开源的在 1 亿到 240 亿之间，大的是 MoE（[00:14:07]–[00:16:10]、[00:26:15]）。
⚠️ 搜索是可增量的：架构空间出现新发明就加进元搜索，目标设备决定该是什么混合架构。

⚠️ 规模与偏置的反比关系（本页最有迁移价值的一条）¶

（[00:47:26]–[00:48:27]）

"在大规模上，架构需要的偏置少得多。你得把架构简化。反过来，在小模型区间，你给系统加的偏置越多，得到的表达动力学越丰富。"

大模型侧的证据：LFM2 里没有 gated delta net 这类东西，就是 1D 卷积——"这是你能做的最简单的东西"；注意力本身也非常无结构。架构不带偏置，才 scale 得动。
小模型侧：8GB 内存这类场景可以加多重反馈回路，把系统做复杂。
⚠️ layer looping 被归为同一类（[00:50:28]）：循环层也是一种偏置，"而且你还得为它找到基础设施——当前 GPU 基础设施是为并行矩阵乘法优化的，不适配这种负载"。

⚠️ 模态决定算子¶

（[00:48:27]、[00:55:29]）SSM / 连续时间系统 / RNN 在音频上非常有效，在文本上很差。 边界很清楚：200 亿参数以下这个区间，循环可以非常有效。主持人给的直觉解释是语音本来就是连续的时间序列、状态很少。

端侧：第一动机是成本¶

⚠️（[00:21:12]）要给几亿台手机、几十亿客户免费提供智能，云端服务成本高到难以承受；端侧"就是在给自己创造毛利"。
⚠️ 一个关键现状数字：苹果/Galaxy 的端侧智能，90% 的调用仍然走云——因为端侧模型不够强、不够可靠。
端侧的两类用途（[00:19:11]–[00:20:12]）：隐私过滤器（敏感数据先过一遍本地 LFM 再发云端）和离线/气隙的本地主动 agent。
⚠️ 他反复强调端侧生产级有多难（[00:22:13]）："不是从开源下载一个模型丢到设备上就算成功了"——要做热控制，而且模型在长上下文下的行为会漂移。
具体部署：Mercedes-Benz 车内约 600MB 的多模态模型（可 OTA 更新全球每辆车），首批今年落地北美第三代奔驰全系，跑在成本约 100 美元的芯片上（[00:23:13]–[00:24:13]）；Shopify shop app 每月超 10 亿次请求（[00:25:13]）；开源累计 4000 万次下载、每周约 150 万（[00:26:15]）。

⚠️ "下一波是 customization token"¶

（[00:34:20]–[00:36:21]）现在90% 的市场围绕推理 token；他判断下一批 decacorn 出在 customization。

⚠️ 他对 customization 的定义比"后训练"宽得多：预训练、mid-training、后训练、数据生成、RL 全都算，而且要让 agent 去做这些并把整个过程闭环，"让客户拥有自己的智能"。

配套的市场证据（[00:39:23]–[00:41:23]）： - 接触过约 200 家财富 500 强；成熟企业已经被折腾累了——自建团队、下开源模型、从头训，"最后总是退回云方案"；80% 的 PoC 到不了生产级。 - ⚠️ "90% 的 vibe coding token 是无用 token"——开发者"人人都想 token max"，"这就像脑子里的病毒"；等企业真去做价值归因就会发现这一点。

⚠️ 他与主持人在"eval 够了就不用管过程"上的分歧¶

（[00:42:25]–[00:43:25]）主持人：有好 eval 就该 auto research，凭什么在乎过程？他的回答：

第一次部署我完全同意你。 但模型上线后新数据进来、分布漂移——"你的 eval 会过期。静态 eval 会过期。所以你需要某种动态性，而这只有在系统能持续演化时才可能。"

⚠️ 这给了"定制必须是平台而非一次性服务"一个技术理由。

下一代架构的方向¶

⚠️ 前向与反向同时发生（[00:56:29]）：他们一直没充分探索适应性（adaptability）；in-context learning 某种意义上在做类似反向传播的事，但他想要把前向和反向结合起来的新一代架构。⚠️ 他补了一句传闻："我听说 SSI 也在做与 liquid neural networks 原始想法非常相似的架构。"本库不核实此条。
衬底（[00:50:28]–[00:52:28]）：光子学最值得期待——非线性系统之所以并行不了，是因为必须串行算；若串行计算能以光速进行，那个瓶颈就消失了。他引 Christof Koch 那句 "intelligence is a property of carbon"，认为衬底本身会在下一代架构里起作用。量子他认为唯一可能带来量级改变的是搜索——"我们现在向梯度下降低头，只是因为不知道更好的大规模搜索办法"（[00:53:28]）。
cognitive architectures（[00:58:31]）：系统的系统——计算单元可以是神经元与突触，也可以是一个 LFM。他把今天的 orchestrator + 多 agent 工作流看作这条路的雏形。
研究议程（[00:59:31]–[01:01:32]）：大规模多模态、更长时程推理、一个专门的效率部门，以及 DNA 基础模型（⚠️ 理由是结构匹配：词表只有四个字母但序列极长）。

⚠️ 三类创新的分类法¶

（[00:29:18]–[00:31:18]）被问到"机器人的 action model / world model 是不是只是营销"时给的框架：

模型架构；2. 算法（自回归损失、扩散、world modeling 都在这层）；3. 数据处理机制。

⚠️ 他的判断：world modeling 属于算法层，不是架构层——"你完全可以把 LFM 架构拿去放进 world modeling 的流水线里训练"；而 world modeling 与 next token prediction 从物理世界里抽出的原语是不同的。"机器人的 ChatGPT 时刻需要什么学习算法，在算法侧仍是个大问号；架构侧，任何通用计算机都可以用。"

几条金句¶

⚠️ "生态总是赢。这个答案很残酷，对新进入者不公平。"（[01:05:34]，谈 llama.cpp 与 Mojo）
"如果一个问题很难解，那反而让它更值得做、更有吸引力——因为容易的问题别人都会去解。"（[01:07:35]）
⚠️ "Attention is all you need 吗？"（[01:07:35]–[01:08:36]）：注意力肯定是必要元素之一，"我们还会和基于注意力的系统一起生活很久"；但同等重要的还有 具身性（embodiment） 和 适应性（持续学习）。⚠️ 他对具身的定义很宽：虚拟世界里的 agent 也需要对自己所处的虚拟物理环境有理解——"具身对虚拟 agent 同样成立"。

与他人观点的呼应/分歧¶

与孙宇涛：⚠️ 两人是本库关于线性/循环架构的两份主要材料。孙宇涛给的是演进史与两个矩阵连乘的定律；Hasani 给的是为什么最终还是要混合、以及该混多少。两者不矛盾，是同一问题的理论侧与工程侧。
与 Eiso Kant / Poolside：都在做"模型工厂"式的自动化，⚠️ 但 Liquid 自动化的是架构搜索（含硬件目标），Poolside 自动化的是训练流水线。
与阳萌 / 肖志斌：端侧的硬件侧 vs 模型侧。⚠️ 他给的"苹果/Galaxy 90% 调用仍走云"是本库第一个端侧渗透率的量化数字。
与 Vals AI：⚠️ 两人对"主权 AI"的判断正相反——Hasani 把"企业/个人拥有自己的模型"称作 sovereign AI 的真正含义并视为方向（[00:45:26]）；Vals AI 认为从上帝视角看主权 AI 极其低效。本库并列不裁决。
与 Mark Cuban：⚠️ "静态 eval 会过期"与 Cuban 的"agent 漂移：eval 不是一次性的"是同一论点的两个独立来源。

已收录访谈¶

日期	视频	频道
2026-09-18	从 302 个神经元的线虫到硬件感知架构搜索，以及"下一波是 customization token"	Latent Space