哪些 GPU 云真的能用：ClusterMAX 3.0，以及"大多数 NeoCloud 的安全烂得惊人"（Latent Space / SemiAnalysis，2026-10-02）¶

嘉宾: Jordan（SemiAnalysis 技术员，ClusterMAX 负责人；2025-06 加入，此前在 HPE 做了十年硬件系统设计）、Dylan Patel（SemiAnalysis 创始人，开场约六分钟后中途加入）
主持: swyx（Lightning 短期系列）
来源: YouTube · 58 分钟
转录稿: sources/latent-space/20261002-MWX36ZYnsm0

⚠️ 人名待核：转录稿里嘉宾全程只被叫 "Jordan"，他自己也没报全名。本库据"HPE 十年 + 2025 年 6 月加入 SemiAnalysis 技术员 + ClusterMAX 负责人"推测是 Jordan Nanos，但转录稿里没有这个姓，故本库只写 Jordan，姓标为待核、不写进正文断言。

⚠️ 术语还原（自动字幕）：Hewlett Packard → "Hilopackard"、ChatGPT → "Chief D"/"JGBT"/"chatbt"、Slurm → "slurum"、Baseten → "base 10"/"vase 10"、Groq → "croc"、SambaNova → "Samov"、Cerebras → "cerebrus"、Nebius → "Nebus"、CoreWeave → "Cororeavee"/"Core Weaver"、Thomas Kurian → "Thomas Curran"、Koray → "Cororey"、Nemotron → "Neotron"、Laguna → "Lagona"、Mistral → "Mistrol"、Iluvatar → "Ilvatar"、Enflame → "Inflame"、Cambricon → "Cameracon"、Trainium → "tranium"（有一处被写成 "training"，见下文标注）、SGLang → "slaying"、Inferact → "inact"、Iren/IREN → "Iris Energy"/"Irons"。 ⚠️ 本库无法确定还原的两处：① 领导 Poolside 的人名在字幕里是 "Robert Bonar"，照录存疑；② [00:54:36] 那句"BU 正在把芯片业务拆成一家完全独立的公司"——字幕只有两个字母，最可能是百度（昆仑芯）但本库不猜，照录并标为存疑。

⚠️ 本页的利益相关声明：这是一家卖方研究机构为自己的旗舰榜单做的宣传期，而嘉宾本人在期内主动披露了两笔利益相关（见下文第五节）。本页收录它的理由不是榜单结论，而是三段本库此前完全没有的东西：① GPU 云安全的实测状况（含一条很极端的越界观察）；② "算力市场为什么比任何时候都更难租"的机制；③ 一组关于 Google 算力与 DeepMind 的断言，本库记为最该被跟踪的争议。

概要¶

⚠️ 本期最该被记住的一条实测（[00:07:09]）：在某一家 NeoCloud 上，他们"literally 能看到某个国家的国家情报类数据"——"那上面跑着多个国家安全机构和军事级的情报类东西，而我们只是来测集群的，就能看见这些。想想如果我们是恶意的。"Dylan 的落点是："本来不该由我们来发现某家公司安全好不好，但这个行业确实需要这项服务。"
⚠️ 而安全问题的技术门槛低到让人难受（[00:08:10]）：ClusterMAX 的安全检查"相对非常简单"——软件版本是不是最新、驱动是不是最新、配置对不对。"但当人们在跑两三年前的软件版本、而那些 CVE 网上都有完整文档时——你根本不需要一个前沿模型来给它写 PoC exploit，你只需要知道该往哪儿看。" 他们顺手放出了一个免费 CLI（cmax）给人自查版本。
⚠️ 时间线上的一个巧合，本页认为值得记（[00:06:07]–[00:07:09]）：他们发了一篇题为「大多数 NeoCloud 的安全很烂」的 newsletter，"然后几个小时之后，Ilya 发推说大多数 NeoCloud 的安全很烂。"
⚠️ "现在是有史以来最难租到算力的时候"，而他给的机制是本库此前没有的（[00:12:13]–[00:13:13]）：不是因为实验室买得更多，而是因为推理供应商开始赚钱了——Baseten 半年到九个月前还在 10% 毛利上跑推理，现在 Baseten、Fireworks、Together，甚至 Morph 这种小公司，用 vLLM 或 SGLang 加一点优化，在开源模型上跑到 60% 毛利。"于是任何能拿到 GPU 的人都能立刻赚钱。" 落点："以前我（neolab）主要是在和亏钱的 OpenAI、亏钱的 Anthropic、亏钱的实验室竞争。现在所有人都能从 GPU 上赚钱。"
⚠️ 与之配套的另一条挤压（[00:13:13]）：实验室过去"只从一家供应商租 8k GPU 起"，现在"我们甚至看到实验室租 1,000 块 GPU"——"而 1,000 块 GPU 更接近一个 neolab 想要的量。所以市场被挤得很厉害。"swyx 补了一句更惨的："现在连单节点都没法 spot 租了，整条栈都熟了。"
⚠️ 本页认为全期最该被长期跟踪的一条断言（[00:17:14]–[00:18:14]）："Google 到这个时候明显在落后。OpenAI 和 Anthropic 的算力一样多、甚至略多一点。到今年底，它们两家各自投给 R&D 的算力都会超过 DeepMind。" 他明确区分了总量和可用量：Google 总算力目前仍多于 OpenAI，"但很大一部分卖给了别处、分配给了别的业务"；结论是"'Google 算力最多所以 Google 会赢'这套说法现在其实已经不太成立了"——⚠️ 但 TPU 带来的成本优势他承认仍在。
⚠️ ClusterMAX 测的到底是什么，这一点本页必须前置，因为它是全期最大的误读源（[00:15:13]–[00:17:14]、[00:35:27]–[00:36:27]）：它只测"托管集群"（managed Slurm / managed Kubernetes），不测裸金属、不测数据中心建设、不测推理 endpoint。 所以 Crusoe 被降级是降在托管集群上，而 Dylan 同时说它"是世界上最好的数据中心建造者之一，甚至就是最好的"。
⚠️ 本期的榜单门槛被明确说成是"逐代抬高"的（[00:09:11]–[00:11:12]）：第一代的门槛"超低"，此后每代更难，"因此趋势一直是降级"；Google 是逐代稳定升级的那一家（bronze → silver → gold）。本代的新门槛是 2026 年有没有在部署 GB300 NVL72。
⚠️ NVIDIA 对 Poolside 和 Hugging Face 的两笔收购，两位都定性为"防守"（[00:26:19]–[00:32:25]）："如果它们被别人收了，它们就会在主动对抗 NVIDIA 的利益。" 而 Jordan 把钱算成一笔小账：NVIDIA 一个季度产生近 500 亿美元自由现金流（一年 2000 亿），用 10% 的自由现金流买下 Hugging Face 和 Poolside，"对我来说是个 no-brainer"。
⚠️ Dylan 对 Demis 退出领导位的反应是全期情绪最强的一处（[00:24:18]–[00:25:18]）："对我来说 Demis 基本上退出领导席位就是个彻底的黑天鹅，我从没觉得这可能发生"；他称 Demis 是"DeepMind 的精神领袖"，并说"这大概是第一次完整的前沿实验室领导层交接"。
⚠️ 一条给本库"算力只去训练还是推理"那条争论的新事实（[00:50:33]–[00:52:34]）："推理和训练现在不是一个硬切分了——RL 里有大量 forward pass。" Dylan 更进一步："事实上大部分负载就是 forward pass，你可以按古典说法叫它推理，哪怕它是为强化学习做的 forward pass。" 而 "RL 现在和预训练负载一样大、有时更大。"
⚠️ 中国芯片：他把"能用"和"够用"分开了（[00:53:34]–[00:55:40]）。"能用"侧：华为 910B/C 之后 940、950、960 快速连发，GLM 明说有 5 万块非 NVIDIA 的国产加速器在给最新模型做推理。"够用"侧：按 H100 或 GB200 等效算，NVIDIA / Google / Amazon 都在"几百万几百万片"，AMD 在"几百万片"，而中国公司里"真正只有华为连毛片都过了一百万片"，其余都还在十万量级，"而且华为的片子是落后的，所以你还得为此打折"。他的预测："中国会在明年和后年快速扩产，到 2028 年能做到几千万片。但这需要时间。"

核心观点¶

一、⚠️ NeoCloud 安全：本库第一份来自实测方的材料¶

（[00:05:05]–[00:09:11]）本页认为这是全期价值最高的一节，因为它不是推演，是三代实测的连续记录。

主持人引的那句话是开场（[00:05:05]）：Ilya Sutskever 说所有 NeoCloud 的网络安全都很糟。 问题被直接抛给刚进来的 Dylan。
Dylan 的三代记录（[00:06:07]）：
第一代 ClusterMAX："有相当严重的安全问题——有人没有正确实现网络安全控制，所以我们能看到别人的任务、别人的数据、别人的存储等等。" 处理方式是上报给该公司以及 NVIDIA，并把它评为 underperform，强烈建议别用。
第二代："我们看到类似的东西。我觉得很多人变好了，因为我们点了出来。"
第三代：仍然发现相当重大的安全问题，于是发了那篇 newsletter。
⚠️ 那条越界观察，本页逐字记下来（[00:07:09]）："有一个案例里，我们 literally 能看到某个国家的国家情报类的东西。他们在那家 NeoCloud 上跑着多个国家安全机构和军事级的情报类东西，而我们只是来测这个集群的，就能看见这些。老天，想想如果我们是恶意的。我确信那个集群上也有恶意的人、或者本来可以是恶意的人。所以谢天谢地我觉得他们修了。"
⚠️ 而 Jordan 从技术侧给出的那一面，本页认为比上一条更有行动价值（[00:08:10]）：安全检查本身"相对非常简单"——版本、驱动、配置三件事。"你不需要一个前沿模型来给它写 PoC exploit，你只需要知道该往哪儿看。" 所以他们随文放出免费 CLI（装好后跑 cmax），终端输出里直接给升级链接。
第二类检查是网络密钥（[00:09:11]）：InfiniBand 侧的 M key、P key 这些是不是正确配置和部署了；Ethernet 侧类似。Dylan 的总结："大多数 NeoCloud 有多烂，是很震惊人的。真的非常烂。"
⚠️ 本库交叉标注：这是本库 LLM 与基础设施安全页上第一份"租来的算力本身就是攻击面"的一手实测。此前该页的材料集中在模型侧（Gray Swan）、供应链与凭证（Truffle / Socket）、agent 看管 agent（Onyx）、公网协议层（Barrett Lyon）。⚠️ 而这一条指出的问题层级更低、更土：版本没升、密钥没配。 本页认为它与 a16z"创新中心已经移动了"那期的判断是互补的——最该被修的洞不在前沿，在运维。

二、ClusterMAX 测的到底是什么，以及门槛怎么被抬高的¶

来源：Latent Space / SemiAnalysis

规模的变化（[00:01:02]–[00:02:04]）：第一代只覆盖 24 家供应商，而当时市面上"大约 120 家，中间有 111 家 emerging NeoCloud"；3.0 追踪 323 家。⚠️ 3.0 没有公开完整市场视图，因为那部分被放到了付费的 NeoCloud 财务模型后面——"很多家是上市公司、很多家快 IPO 了，所以我们现在给这个行业做了整套财务模型。"
⚠️ 测试方法本身的变化是本页认为最有时代味道的一处（[00:02:04]–[00:03:05]）：第一代"所有测试都是手动的——那是 Claude Code 之前、Codex 变认真之前"，靠人工跑 benchmark 脚本；现在是一个积累了一年半的 repo（行业标准 benchmark + 自研 benchmark + 可靠性与 burn-in），"非常自动化，我们可以用 coding agent 把这些东西拉起来跑，让它们自主修掉一堆问题，不需要我们介入"。
NeoCloud 的定义（[00:03:05]–[00:04:05]）：任何出租/出售算力访问权的人都算 cloud；NeoCloud 特指 ChatGPT 之后出现的、专门面向 AI 的那一批（部署 GPU 及其他加速器跑训练、推理、以及越来越多的 RL）。Jordan 的一句话："我们说所有人都在变成 NeoCloud。"
十条标准的落点（[00:04:05]）：性能、安全、可靠性、易用性、定价、可用性；方法论上"做综合评估，而不是单项 benchmark"。
⚠️ 榜单的缘起很能说明它的读者是谁（[00:04:05]–[00:05:05]）：ChatGPT 刚出来时一堆人找 Dylan 问同一个问题——"我刚融了 2000 万美元，马上要把其中一大笔交给一家供应商，这是我整个种子轮，对我来说是极其关键的决定"（⚠️ 字幕在这里给出的第二个数字是"1.05 亿"，与"刚融 2000 万"自相矛盾，本库判为字幕串数，不引用具体金额）。于是 Jordan 的提议是："不如我们写一篇文章，给出粗粒度的第一判断——这是我们的 tier list、我们的领奖台；然后你可以针对你的具体需求来找我们做更细的东西。"
⚠️ 门槛是故意逐代抬高的，这一点决定了榜单该怎么读（[00:09:11]–[00:10:11]）："第一代的 bar 超低，之后每一代我们都把它弄得更难更难。因此趋势一直是降级。" 当然也有升级的——"Google 在跨代里一直做得很好"，从 bronze 到 silver 再到 gold。
⚠️ 本代新门槛的具体内容，本页认为这是最可操作的一段（[00:10:11]–[00:11:12]）：2026 年有没有在部署 GB300 NVL72。 典型客户的原话是"我融了一亿，我要花在算力上"，而他们想要的就是一个 GB300 NVL72 集群。⚠️ 而有些原本在 gold 的供应商根本不提供它。 为什么做不到——他把难点全列出来了：
新的网络；NVL72 意味着 scaleup domain 在机架内；要上 ARM CPU；是 Blackwell GPU；800G 网络；强制直接液冷。
⚠️ 结论："所以从物理数据中心、到你怎么部署操作系统、到你怎么管理网络里的驱动——几乎每一件事都变了。"
⚠️ 他对"我们只是做了个战略取舍不做 GB300"这种说法的回应，本页认为是全期最锋利的一问（[00:11:12]）："那等明年 Vera Rubin 来了怎么办？你要信谁？"
什么让人升级（[00:11:12]）：部署了一万块 GB300、测下来是能跑的、给支持团队反馈的问题"一小时内修好而不是两周"。 什么让人下降：不部署最新代、或者部署了但完全跑不起来、修得很慢、被发现安全问题、或者从客户那里听到严重可靠性问题——⚠️ 而可靠性"大概是这些头部客户最在意的第一条标准"。
⚠️ "为什么只测托管集群"，这一节是全期最重要的免责说明（[00:15:13]–[00:17:14]）：
分层很清楚："如果你超级小，你不在乎你的节点是不是裸金属；如果你超级超级大，你想要裸金属，因为你要上自己那套 Slurm/Kubernetes 的 fork。" 而中型和偏小的客户想要托管 Slurm、托管 Kubernetes，以及节点坏了云帮他热替换。
所以 Crusoe 这种"有海量裸金属大合同、数据中心做得极好、推理 API 也开始做得不错"的公司，在托管服务这一项上"做得不好"——⚠️ 而 Dylan 在讲"批评"那一节里主动重申了一次：这不是对它数据中心建设能力的批评。
第一代有一大块的标题就叫「怎么租一块 GPU」——"我们也只是在教人租 GPU 该做什么。"

三、⚠️ 为什么现在是最难租到算力的时候：推理供应商开始赚钱了¶

来源：Latent Space / SemiAnalysis（[00:12:13]–[00:15:13]）

主持人的问法很具体："假设你是一个 neolab，刚融了几千万美元，想开始租。这个市场跟一两三年前比怎么样？" Dylan 的第一句回答是 "祝你好运。"

⚠️ 他明确说"比以前差得多"、"是有史以来最难的时候"，而理由不是实验室在抢——"显然 Anthropic 和 OpenAI 一直在买越来越小的集群尺寸。"
⚠️ 真正的机制是推理毛利翻了一个台阶，本页认为这是本期最该被本库长期引用的一条产业事实：
"当 Baseten 在 10% 毛利上跑推理时是一回事——我想那大概是六个月前、或者九个月前。"
⚠️ "但当 Baseten、Fireworks、Together，以及许多别的公司，甚至 Morph 这种小公司，用 vLLM 或 SGLang、再加一点点超出这些的优化，就能在开源模型上跑到 60% 毛利时，那是另一回事。" 他还点了 Inferact、SGLang/Arc 那一侧（字幕混乱，本库只记"以及另外几家推理侧公司"）。
⚠️ 落点："所以最终任何能拿到一块 GPU 的人都能立刻赚钱。那好了，我是一个想训个有意思的新模型的 neolab——可我同时在和能赚钱的人竞争。而以前我主要是在和亏钱的 OpenAI、亏钱的 Anthropic、亏钱的实验室竞争。以前几乎没人靠 GPU 赚钱。现在所有人都能靠 GPU 赚钱。所以就非常非常难拿到任何算力。"
⚠️ 第二条挤压来自实验室把订单尺寸往下压（[00:13:13]）："它们过去只从一家供应商那儿起租 8k GPU。这个数一直在稳步下降。我们现在甚至看到实验室租 1,000 块 GPU。而 1,000 块更接近一个 neolab 想要的量。所以市场被挤得很厉害。"
⚠️ 第三条来自推理供应商愿意吃小单（[00:14:13]）："Baseten、Fireworks、Together 这些推理供应商，它们四个节点也接受——Modal 就是这样。" 而Modal 自己讲过它在大约 20 个云之间做编排。Dylan 的落点："如果 Modal 能靠一家公司的四个节点就赚得盆满钵满，那任何人要拿到任何算力都是有挑战的。"
swyx 给了这一节一句最短的总结（[00:14:13]）："现在连单节点都没法 spot 租了。整条栈都熟了。"
⚠️ 本库交叉标注：这条正面补上了本库此前缺的一环。Dylan 自己在 Dwarkesh 那期的核心判断是"实验室的出价能力会把增量供给整个买走"，而他在那期也给了一条自我限定——"$10–15M/MW 的算力谁都能赚钱"。⚠️ 本期是那条限定在 13 个月后的兑现版本：不是实验室买空了市场，是"谁都能赚钱"这件事自己把市场买空了。 详见 AI 基础设施与 AI 的商业模式与价值捕获。

四、⚠️ Google 这条线：本页认为是全期最该被跟踪、也最该被打折的一组断言¶

来源：Latent Space / SemiAnalysis（[00:17:14]–[00:25:18]）

第一组是算力口径（[00:17:14]–[00:18:14]）：
事实侧：Google 自己也在从别人那里租算力——和 CoreWeave 签了、和 SpaceX 签了，Dylan 的数字是"我想是超过一千亿美元的算力"（⚠️ 自报，未核实）。
⚠️ 判断侧："Google 到这个时候明显在落后。OpenAI 和 Anthropic 的算力一样多、甚至略多一点。到今年底，它们两家各自投给 R&D 的算力都会超过 DeepMind。"
⚠️ 他自己做了一次必要的区分，本页认为这一句必须和上一句一起记："所以是的，Google 总体上目前仍然比 OpenAI 有更多算力。但其中很大一部分卖给了别处、分配给了别的业务。" 对照的是 DeepMind 的 R&D 算力 vs OpenAI/Anthropic 的 R&D 算力。
结论："所以'Google 算力最多、所以它会赢'这套说法现在其实已经不太成立了。它们仍然有成本优势，因为它们自己造 TPU、成本低得多；但最终 DeepMind 的算力比 OpenAI 和 Anthropic 少。"
⚠️ 本页标注这组断言的限定："R&D 算力"这个口径没有被定义，三家都没有公开数字，这是一个卖方分析师的估算。 但它可检验性不错：它预测的是一个会随 2027 年各家披露逐步可核的量。本库记为待检验，不裁决。
swyx 给了一条一手佐证，本页记为轶事而非数据（[00:18:14]）："对我来说 AIE 上最大的洞见之一就是碰到几个 DeepMind 的研究员，他们很沮丧，因为他们说'我们的领导层一直在把我们想要的算力卖给别人'。"
⚠️ 第二组是"实验室在机会主义地变成 NeoCloud"，本页认为这是全期结构价值最高的一段（[00:19:14]–[00:20:15]）：
名单：Meta 在考虑同样的事；Mistral 和 Poolside 也在榜上。
⚠️ 他给的动机结构很干净：这些公司已经具备建数据中心和运营它们的技能，所以一旦有机会把算力变现（租给别人或者拿去服务推理）就会去做，但只做到某个程度，而且永远想保留把算力收回来自用的选择权。"它们想用掉它们现在负担得起的最大量算力去做研究，而多出来的就机会主义地去赚钱，用来给所有那些研究出资。"
⚠️ 而合同条款把这个结构写得明明白白，本页认为这是最硬的一条一手细节："SpaceX 和 Google 的合同有双向 90 天取消权。SpaceX 的研究一旦开始奏效，它们就能把算力拉回来。Google 一旦在某个推理 endpoint 上不赚钱了，它们也把算力拉回来。"
⚠️ 他对这个条款的解读是全期最好的一个比喻："这是一个很有意思的结构，两边都处在一种小小的对峙里——谁会先眨眼，谁更信 AGI。"
他还给了 xAI 侧的一条情绪注脚（[00:20:15]）：如果你是被 SpaceX 收进去的 xAI 员工，SpaceX 把算力卖掉你至少不会沮丧，因为"Elon 在建多得多的东西，我会有机会用上，而他这么做是为了让我们财务上更稳、为了 IPO"；而在 Google 你会问"我他妈为什么在卖算力？我已经是一家非常赚钱的公司了，为什么不能就用这些算力造模型、以高得多的毛利去卖模型，而要给 Anthropic、OpenAI 或别的公司？" ⚠️ 他顺带提到 SSI 也是 Google 的客户。
⚠️ 第三组是"Google 投资离职者再回来买 GCP"这个循环（[00:21:17]）。主持人的问法是：Dave Silver、Jeff Dean 这些人 spin out，拿 Google Ventures 的钱，然后去 GCP 消费——这个动态怎么看？
⚠️ Dylan 的回答把两层会计分开，本页认为这是他最该被引用的一条："如果你只看 GCP 作为一家独立公司，这是个绝佳操作——Thomas Kurian 能继续把他的收入、营业利润率、营业利润往上推。但对整个 Google 来说这真的很蠢。你不该激励你最好的研究员离开；你也不该激励以 2000–3000 万美元/兆瓦卖出去，而你本来可以用它跑模型、做到 5000 万美元/兆瓦。"（⚠️ 这组 $/MW 数字是他的口径，本库未核实；字幕在此处也有断句损坏。 本库交叉标注到 $/watt 那一节。）
⚠️ 他拿 Anthropic 作先例，这是全期最有说服力的一段归纳（[00:22:17]–[00:23:17]）："Google 的确投了 Anthropic。但如果 Google 没投 Anthropic，Anthropic 今天还在吗？因为 Google 是一个非常早的信者。Opus 3、Sonnet 3 和 3.5，我觉得那些肯定是在 Google 的 infra 上训的。" 而后来引入 Amazon——"Amazon 至少没有训模型卖模型这门生意，而 Google 有。所以 Google 是不是亲手扶起了它最大的竞争者？"
⚠️ 他随后给出那条递进，本页认为是全期最该被记住的一个"客户退化"链条：Anthropic 现在不只从 Amazon 和 Google 租，还从十多家云租；自己建数据中心、租数据中心并开始填满；和 FluidStack 合作在自己的数据中心里部署 TPU。"所以当然 Google 还在拿收入，但这是：我以前从你那儿租；现在我从你那儿买 TPU，这对你是更低的毛利；而将来我要自己造芯片，我会在没有你的情况下做完所有事。"
⚠️ 他由此推到 Jeff Dean："如果他在 Discovery Loop 里做出了惊人的东西，他们为什么要继续、为什么要被绑在 Google 上？他们可以用任何云。" 而换云的成本比前 AI 时代低："数据引力这些人们在前 AI 时代谈的东西，在 AI 时代相关性小得多，因为 AI 能帮你把一切迁完。GPU 不只是 GPU，但如果你够强，GPU 在很大程度上是跨云可用的、近似可替代的资产。" ⚠️ 本库标注：这是本页第一次看到"AI 自己削弱了云的锁定效应"这条论证。
Jordan 给了一条反向的平衡（[00:23:17]–[00:24:18]）：Google 是"一堆不同东西的集合体"，而"数据优势是大多数人反复回到的那一点"；他点的问题是组织挑战和新领导层——"祝福 Koray，他有世界上最难的工作"，并补了一句"他是个非常非常能干的人"、"他们知道需要一次重置，这不是秘密"。
⚠️ 而那条最情绪化的判断本页单独记下（[00:24:18]–[00:25:18]）："对我来说 Demis 基本上退出领导席位就是个彻底的黑天鹅，我从来没觉得这有可能。" 他给的理由是 Demis 是创办人、是"DeepMind 的某种精神领袖"；他的定性是："所以这大概是第一次完整的前沿实验室领导层交接。" 主持人提了 Sam 离开的那两天作为对照，Dylan 的回答是 "他在任何人心里都没离开过。"
⚠️ 本页标注：这是本库 AI 实验室文化页上第一条关于"前沿实验室的创始人更替"的材料，而它全部是第三方的情绪与推断，不含任何一手信息。本库只记这条反应本身，不把"黑天鹅"当作对事件性质的判断。

五、⚠️ NVIDIA 的两笔防守性收购，以及"NVIDIA 会给你加冕"¶

来源：Latent Space / SemiAnalysis（[00:25:18]–[00:35:27]）

事实侧（两人口径不一，本页照录分歧）（[00:25:18]–[00:27:21]）：swyx 说 Poolside 的员工被 NVIDIA 以 120 亿美元买走；Dylan 说"我以为是 70 亿不是 120 亿……我以为是 70 亿加 10 亿投资、总共 12 亿"（⚠️ 字幕此处数字混乱，Dylan 的原话还有一句"永远取大的那个数"）。本页不采用任何具体金额，只记这是一笔以人才与许可为主体的交易，双方对规模的认知相差近一倍。
⚠️ 而动机的定性两人一致：防守。
Dylan 的版本（[00:26:19]）："不，这是防守。" Poolside 从一开始就因为"所有云 NeoCloud 都挺烂"而自己建 infra，越建越好，"也许是第一家在 OpenAI 和 Anthropic 试图自建 infra 之前就自己跑 infra 的 AI 实验室"。swyx 的插话很到位："而这是作为副业做的——别人得全职干这事。"
⚠️ Dylan 对 NVIDIA 买人的动机给了一条很硬的判断："NVIDIA 显然想让 Nemotron 好很多。我觉得它对很多开源那边的人已经有点失去希望了——当然 Reflection 还在试，Thinking Machines 开源了一些东西，但最终我觉得 NVIDIA 正在对美国开源失去希望。所以它们觉得只能自己来。"
Jordan 的版本（[00:29:23]–[00:30:24]）：Poolside 和 Hugging Face 两笔都是防守性收购，"NVIDIA 不想让它的竞争对手把一个真的有点东西、有势头的实验室抢走"。
⚠️ 而他给的理由本页认为是全期对"基础设施公司该是什么样"最好的一句定义："对建一家基础设施公司来说，你真正理解负载怎么运作、并且有被'训过模型、跑过集群'所塑造的观点，这件事太重要了。" 对照面他说得很不客气："而不是那些加密矿工——'嘿我找到一块地、我有点电、我有点钱'——他们没有执行能力，比不上那些已经证明自己能训出世界第二好的美国开源模型的人，而 Poolside 确实做到了。"
⚠️ Dylan 对 NVIDIA 这笔账的算法，本页认为是全期最该被引用的一段资本结构推演（[00:27:21]–[00:28:22]）：
第一层："NVIDIA 可以说，其实我们只付了四分之一的价，因为这些钱都会回流来买 GPU。"
⚠️ 第二层（他自己说这甚至是正收益）："事实上它们这么做会激励别人往它里面投一大笔钱。所以这大概是件正面的事——它们其实没花钱，因为它们现在造出了一个新客户、一个将要建巨型集群的新云。"
⚠️ 第三层是具体的杠杆算式："想想，它们现在有 70 亿现金，再融几十亿，就说资产负债表上有 100 亿现金。然后它们能拿到 75% 的 loan-to-value——25% 自付、75% 贷款。于是它们有了 400 亿。它们能建一吉瓦。太好了。这又是一个吉瓦级的 NeoCloud。所以它们刚刚造出了一个真正的新竞争者。"
⚠️ 结论被他推成一条产业建议（[00:28:22]）："如果这就是剧本，那应该有多得多的人这么干——跟 NVIDIA 做这种交易，因为 NVIDIA 会给你加冕，只因为它们想要更多的云。" Jordan 的冷水也一起记："不是每个人都能发布第二好的美国开源模型。" 他还点了领导这件事的人名（⚠️ 字幕作 "Robert Bonar"，本库无法确定还原）。
⚠️ Hugging Face 侧的三条细节：
Dylan 的 galaxy brain 版本（[00:30:24]）："现在 Hugging Face 可以因为 OpenAI 黑了它而起诉它，而 NVIDIA 现在握着这个锤子。" ⚠️ 但主持人追问时他自己否了——"不，我不这么认为"；本页记为玩笑，不记为判断。
他说 Hugging Face 作为开源模型仓库"遥遥领先一切"，同时提到他团队里有人在给 ModelScope 提 PR 做跨生态适配（[00:30:24]）。
⚠️ 他提的那个真问题，本页认为比上面两条都重要："你现在可以一键把 Hugging Face 的模型部署到 Amazon Trainium 上。这件事会消失吗？从此只有 GPU 吗？会不会发生某种收口？我们看着吧。"
Jordan 的钱账（[00:31:24]–[00:32:25]）：NVIDIA 一个季度产生"将近 500 亿美元自由现金流，所以一年 2000 亿"；公司战略团队拿到其中一部分去部署；"用 10% 的自由现金流买下 Hugging Face 和 Poolside，对我来说是个 no-brainer——这些都是放在你队里、至少不给你的竞争对手干活的好资产。"
⚠️ 而他把"为什么是防守"讲得最清楚的一句："假设 Hugging Face 保持独立、严格守着法律和收购协议的字面，继续支持所有这些别的芯片。可如果它被别人收了，它就会在主动对抗 NVIDIA 的利益。而我觉得那不是它们想要的。所以我认为你会看到更多这种事。" 他的预测形状是：公司长到 100–200 个极强的人时，就会被收进生态以免去跟别人竞争。
swyx 补的一条时间线（[00:33:25]）："NVIDIA 年初就试过要买 Hugging Face。" Dylan 补："NVIDIA 现在有点在收购狂潮上，还有过 Thinking Machines 等一堆传闻。"
⚠️ Jordan 对 Poolside 创始人的处境做了一个很冷静的推演（[00:33:25]–[00:34:25]）："我建出了把 Laguna 发出来所需要的那个一万块 GPU 集群。但如果我想竞争，我需要一个 10 万、40 万 GPU 的研究集群。我怎么跟上明年的开源前沿？我觉得这挺难持续。然后钱来了，他们就说'行吧，套现，跟别人一起去建'。"
⚠️ 而这一节收在一个很硬的能力判断上，本页认为是全期最该被 AI 基础设施页引用的一条（[00:34:25]–[00:35:27]）：
Poolside 的 infra 论文"在基础设施这块写得真的很好"；要训前沿模型"你的集群必须有健康检查、必须有高可靠性，你不能让这个模型在训练时不前进、不断失败"。
⚠️ 而能力的分布极窄："甚至当我们进到 silver 和 bronze 这一档——大多数 silver 和全部 bronze，没有人在上面训前沿模型。很多推理、一点 RL、很多研究，但老实说那些人里我一个都不会信任去建一个 10 万 GPU 的集群，除了 Azure。" 主持人问"谁已经证明过能做到？"——"五家公司。"
⚠️ Dylan 由此提了一条下一代的标准建议（[00:32:25]）："所有 NeoCloud 该怎么证明自己——比如标准四——就是：请你自己去训一个前沿模型。" Jordan 当场不完全同意（"我不确定每个人都该有训前沿模型的技能"），Dylan 的回应是"但有很多开源 recipe 啊"。本页记为一处未收口的分歧。

六、⚠️ 批评与利益相关：本页认为这是全期最值得单独记的一节¶

来源：Latent Space / SemiAnalysis（[00:35:27]–[00:45:30]）

主持人直接把时间交给"回应批评"，而本页认为这一节恰恰是本库评估这家机构可信度时最该引用的材料。

第一类批评：误读测试范围。 见上文第二节——Crusoe、Together 的例子，Dylan 的话是 "我觉得围绕这测的是什么有很多困惑。这是给托管集群的，不是给数据中心建设、裸金属集群或推理 endpoint 的——而后面这条界线越来越模糊，因为所有人都在做所有事。"
⚠️ 第二类批评："你们是不是收钱排名？"——他的回答与主动披露，本页逐条记（[00:36:27]–[00:38:27]）：
"不，我们不为任何排名收钱，那会是违法的。"
⚠️ 他主动披露了两笔个人投资："我本人在 Crusoe 有个人投资，在 FluidStack 有个人投资，两家我都做了 SPV。而这两家公司都不在前五的云里——因为我不是来当偏见的。" 他另外在讲非 NVIDIA 那一节时又披露了一笔（[00:47:30]）："TensorWave 是 AMD 云——顺便说，这家我也明确有投资，而我们还是把它们排得很差。" 还有一家（字幕作 "time intellect"，本库无法确定还原）"第一代 ClusterMAX 我有投资，我们把它放成了 underperform"。⚠️ 他给的原则是："是的我可能做了投资，我会跟它们聊、试着帮它们，但到最后，排名就是排名。"
组织上的隔离："Jordan 想做什么就做什么，技术上他甚至不知道我们跟哪些公司有合同。"
⚠️ 他给的激励论证本页认为比上面所有披露都更有力："如果我看世界前 20 大公司，有五家不是我们的客户。而像 Eli Lilly、沙特阿美这些，是比 CoreWeave 或 Nebius 永远可能成为的都大得多的客户……AWS 就是比 CoreWeave 或 Nebius 更大的客户。整条 infra 供应链都买我们的东西，但这跟排名没有关系。"
⚠️ 收口的那句："首先，如果我们收钱排名又不披露，那是违法的。其次，这根本说不通——我们对这个行业的价值就在于我们说真话、说我们相信的东西。如果我们不这么做，就没人在乎我们说什么，我们就是在对着虚空喊。所以我们的声誉是最重要的，比一笔快钱重要。"
swyx 给了一个更结构化的改写，本页认为它比原话更清楚（[00:38:27]–[00:39:27]）："你们是一个买方服务，而人们在指控你们从卖方拿钱；他们不理解买方在收入上大概是卖方的一千倍。"
⚠️ 第三类批评：篇幅。这一条很有意思，因为它是对立的两面（[00:39:27]）：Jordan 说他真正会听的两条批评来自他尊重的人，而它们正好相反——"你们写得不够，应该放更多数据、应该写更多" vs "这有三万字，我根本读不完"。"所以我们真的很难在这两者之间平衡。" 他给前一类的答案是一个叫 cloud TCO model 的年费研究产品（每周写行业趋势笔记、一个能拿到全部性能数据的 dashboard）。
⚠️ 第四类批评：拿它当股票建议。本页认为这是全期最该被引用的一组区分（[00:40:27]–[00:44:29]）：
"我们对一家公司在股市上表现好坏的看法，跟 Jordan 和他的团队没有任何关系。"
⚠️ 他给的那个具体例子非常清楚："比如我们曾认为 Nebius 比 CoreWeave 好。而我们这么认为的理由，尽管我们觉得 CoreWeave 仍然是比 Nebius 更好的云，是因为 Nebius 的合同期限更短，所以在 GPU 价格飙升时 Nebius 能更好地吃到上行。"
⚠️ 第二个例子更极端，本页认为它最能说明两套研究的分离："或者，IREN 有个巨大的数据中心要上线，我们认为它会被租掉，我们会就此发一份报告——而同时我们在说，你永远不该用 IREN 的托管服务。" 后续事实是那个数据中心是作为裸金属卖给 Microsoft 的。
⚠️ 而那个反例被他讲得最尖锐（[00:43:29]）："literally 可能有人运营云运营得极差，但他们在建一个吉瓦的数据中心，而且那是真可信的一个吉瓦。那么他们可以是 ClusterMAX 排名最差的，同时还能赚得盆满钵满。"
Jordan 的一句话版本："这百分之百是给买家的。这是帮人买算力的，不是给人挑股票 yolo 全部储蓄的。" ⚠️ 他也承认"在某种极限上它会相关"。
读者侧的一手佐证（[00:42:29]）：Periodic Labs、Applied Compute 公开说过喜欢 ClusterMAX；OpenAI 也说过，"我们在那上面有一句它们的引语"。
Dylan 自己提的下一版改进（[00:44:29]）："也许下一版我需要再加一句免责：这不是对它们当前股价的背书。" swyx 的建议是做一张二维图：ClusterMAX 排名 × 股票排名，差异本身就是有意思的研究。
⚠️ 路线图：榜单正在分裂成一族（[00:44:29]–[00:46:30]）：
已有的 InferenceMAX——⚠️ Jordan 特意纠正了一处常见误读："名字是因为它关于推理性能，但它其实是关于芯片的，是在比较芯片和系统。"
要出的 EndpointX——测serverless 推理 endpoint，方法论相似但"超出纯性能：我们看成本、看可靠性、看安全、看监控基础设施"。⚠️ 他给的理由很具体："仅仅因为某家在 batch=1 的人造测试上打到更高的数，并不意味着它就是你扩大推理规模时的正确伙伴。" Dylan 补的实况："有些供应商原始性能确实更好、优化工程师更强，但它们的 API 更不稳定、更容易抽风。"
还会覆盖：裸金属、RL 基础设施、sandbox。⚠️ 而需求侧的信号是："非常多人来找我们，想知道该选哪个 endpoint 供应商、哪个托管 RL 训练供应商、哪个 sandbox 供应商——而这跟该选哪个托管集群是不同的问题。"
⚠️ 本库标注：评估层自己正在产业化并细分，这与本库评估与基准页上 Vals AI 那期的"第三方评估公司的生意"是同一现象在基础设施侧的版本——⚠️ 但这里的被测对象不是模型而是供应商，所以利益冲突的形状不同：被测方同时是潜在客户。 而这恰恰是本节第二类批评的根源。

七、⚠️ 多芯片（multisilicon）：明年会被迫面对的那件事¶

来源：Latent Space / SemiAnalysis（[00:47:30]–[00:52:34]）

⚠️ 两条"测不到"的现实，本页认为是榜单最大的结构性盲区（[00:47:30]–[00:48:32]）：
"FluidStack 不会把 TPU 租给我们，因为它们把一切都租给 Anthropic 了。"
"SpaceX 不会租给我们。它们也不会租给你。它们不会租给随便哪家公司。它们要租给巨量买家。" swyx 当场开玩笑说 Dylan 该练练自信，但 Dylan 坚持"对我们不可用，我们就租不到、测不了"。
⚠️ 但 Jordan 给了一条反向的观察，本页认为它说明了这个榜单真正的杠杆（[00:48:32]）："即便是 FluidStack 和我们认识的那些现在在 SpaceX AI 的人，也看到读这篇文章的价值、看到拿一个外部意见的价值——即使它们并不打算公开提供它们给我们的那种服务。它们确实喜欢一个来自公司外部、诚实、会给真实反馈的技术意见。"
⚠️ "明年会很大"的那张清单，本页逐条记，因为它是本库目前最完整的一份非 NVIDIA 部署清单（[00:49:32]）：
NVIDIA 自己就会带来多芯片："随着 Vera Rubin 世代，NVIDIA 会把 Groq 的 LPU、那些 LPX 系统带进来。所以即使我们只测 NVIDIA，我们也会有多芯片要测。"（⚠️ 字幕把 Groq 写成 "croc"；这条声明本库未核实。）
AMD：有自己的一套。TensorWave 是 AMD 云（Dylan 披露有投资，排名仍差）。
⚠️ Cerebras："正在为 OpenAI 变成一家 NeoCloud，在建自己的数据中心——从只做推理 endpoint，走到真正为其他所有人管理它自己芯片的集群。"
SambaNova 要进市场；Positron、Etched、MatX 等一堆芯片创业公司在发东西。
TPU："FluidStack 拿到了 GCP 之外的 TPU，那边还有更多东西要来。"
Trainium："AWS 能产出很多芯片，也许将来不会全部自建。它们有和 Cerebras 做异构 Trainium 之类的公告。"
⚠️ 结论："所以我觉得明年这方面会多得多，而我们将不得不把多芯片当作领先 NeoCloud 综合能力的一部分来对待。它们将来需要能支持异构算力。"
⚠️ "多芯片是不是只用于推理"——这一问的答案是本期最重要的一条技术事实（[00:50:33]–[00:52:34]）：
先是一个反例："比如 Anthropic 大部分是用 TPU 做训练的。所以在那个情形下其实是反过来的——它们大部分推理在 Trainium 和 GPU 上，大部分训练其实在 TPU 上。比如 fable 5 的预训练就是在 TPU 上训的，然后后训练和推理主要在 Trainium 和 GPU 上。"（⚠️ 字幕把第二处 Trainium 写成了 "training"，本库据上下文还原，并标注这是还原而非原文。）
归纳："所以多数情况下其他硅是用于推理的，但也有一些人在用它做训练。"
⚠️ 而真正的关键是切分本身失效了（[00:50:33]）："但我觉得关键一点是，推理 vs 训练现在不是一个硬切分了——当你在做研究、在真正后训练模型时，RL 里有大量 forward pass。" Dylan 推到更远："事实上大部分负载就是 forward pass，你可以按古典说法叫它推理，哪怕它是为强化学习做的 forward pass。" Jordan 收口："推理是这个循环的一部分。"
⚠️ 于是硬件选择出现了一个很具体的机会与一个很具体的麻烦（[00:51:34]）：
- 机会："用更便宜、能跑高吞吐的芯片去做 RL 里的 forward pass，有一堆好处。"
- ⚠️ 麻烦是数值正确性："但如果你用两种不同的芯片，就有一堆数值正确性的挑战——哪怕只是 NVIDIA GPU 的两个不同世代，B200 对 B300，你的内存量不同、batch size 不同，有各种这类效应。"
- 他的预期："我绝对预期异构硅会被跨训练和推理使用。预训练大概还是同构集群——人们大概不会在 40 万 GPU 的规模上冒这个风险。"
⚠️ 而这推出一条基础设施形状上的新主张，本页认为它是全期对 AI 基础设施最有增量的一条（[00:51:34]–[00:52:34]）：
- Dylan："RL 现在和预训练负载一样大、有时更大。所以这实际上意味着你需要某种新形式的解耦——在同一个数据中心里放不同种类的算力，在它们之间来回倒。"
- ⚠️ Jordan 当场把它推得更远："甚至不必是同一个数据中心。人们在很多很多站点上做 RL：这个数据中心在做 token 生成，那个数据中心在做 token 生成。而在那里用不同类型的芯片其实是可以的。只是这是个非常复杂的 infra 问题，因为你要用不同方式切分模型，权重更新发生在不同时间，还有一堆这类事。"
- 主持人的反应被本页记下来，因为它就是读者的反应："跨数据中心、多芯片、边跑边更新 RL 的权重——天啊求别这样。" 以及 "你在和光速作战——你要怎么把这些数据传过去？"
他们提到的一份公开参考（[00:52:34]）："MiMo 2.6 刚出来，是一篇关于怎么把 RL 侧超级放大的好的公开论文。"（⚠️ 字幕作 "MIMO 2.6"，本库未核实该论文。）
⚠️ 本库交叉标注：这条与 Eiso Kant 把 PD 解耦引入训练是同一条线上的第二次独立表述，而方向更激进——Kant 说的是在训练内部做解耦，这里说的是跨站点、跨芯片类型做解耦。本页认为这是本库目前见过的对"数据中心形状"最激进的一条主张，而它来自一个没有资产押在上面的第三方。

八、中国芯片：他把"能用"和"够用"分开了¶

来源：Latent Space / SemiAnalysis（[00:52:34]–[00:56:40]）

"能用"侧的事实（[00:53:34]–[00:54:36]）：
⚠️ 华为的节奏："华为的芯片变好的速度确实快得多。有一阵子，基本上在被美国政府禁了之后，它们花了几年时间重置——Ascend 910B 和 C。但现在它们相当快地连发了 940、950 和 960。"
SemiAnalysis 自己的动作：试图租到它们来测性能、看规格与制造产能，以及"把它们拿到我们俄勒冈的逆向工程实验室做逆向工程分析"。
⚠️ 一条可核的一手数字："GLM 明确说过，它们有 5 万块非 NVIDIA 的芯片——中国制造的 AI 加速器——用于它们最新模型的推理。"
名单：Cambricon、Iluvatar、Enflame 和其他好几家，"它们都在往上爬。显然它们比 NVIDIA 落后。华为肯定是它们里面最好的。"⚠️ 以及那条本库无法确定还原的："'BU' 正在把它的芯片业务拆成一家完全独立的公司。"
⚠️ 他给的一条机制很值得记："随着前沿模型、甚至现在的开源模型越来越会写 kernel，移植东西变得越来越容易，所以最终你会有更多的多样性与异构性——而这正是 NVIDIA 转向每年发新芯片、新系统这种超快节奏的原因，因为它们知道必须以光速跑，否则会被追上。因为 CUDA 的护城河正在被快速侵蚀。"
⚠️ "够用"侧——Jordan 先把问题拨回产能（[00:55:40]）："但这只是产量问题，Dylan。这些芯片今天确实能用，但它们产不出足够的量来真正服务全部的国内需求。"
⚠️ Dylan 给的那组量级对照，本页认为是全期最该被中美 AI 对照页引用的一条：
按 H100 等效或 GB200 等效算："NVIDIA 在做几百万几百万片，Google 在做几百万几百万片，Amazon 在做几百万几百万片，AMD 在做几百万片。"
⚠️ "但你看中国公司，真正只有华为连毛片都过了一百万片。而华为的芯片是落后的，所以你还得为此打折。其余所有人还都在十万量级，而扩产非常困难，尤其考虑到出口管制。"
⚠️ 他的预测："我认为中国会在明年和后年快速扩产。它们到 2028 年会做到甚至几千万片。但这确实需要时间。"
swyx 给的那条注脚本页照录为立场（[00:55:40]–[00:56:40]）："别忘了它们是第一个在这件事上有国家级规划的。它们一旦跑起来，就会以我们人类历史上从没见过的真实规模跑起来。"
⚠️ 本库交叉标注：这组数字与 Dylan 在 Dwarkesh 那期给的"中国领先实验室总共最多 100–200 兆瓦" 是同一判断的芯片产能版本，⚠️ 而两处都出自同一人、同一机构，所以不构成独立验证。 本页同时标注他在那期给过的反向限定："在这个悬殊比例下中国模型至少在公众可感知层面并没有落后多少"，以及"中国半导体的补贴比世界其他所有国家加起来还多"。

⚠️ 本页的四条限定¶

这是一家卖方研究机构为自己旗舰榜单做的宣传期。 本页收录它的理由是实测记录与机制解释，不是榜单结论——而排名本身（谁 gold、谁被降级）本库一条都没核实，且本页刻意不转述具体名次。
⚠️ 嘉宾主动披露的利益相关至少三笔：Crusoe、FluidStack（均为 SPV）、TensorWave，另有一家字幕无法还原的早期投资。本页认为主动披露提高了可信度，但不消除利益相关——尤其他对"整条 infra 供应链都是我们客户"这条激励论证，恰恰也说明被测方与付费方高度重叠。
⚠️ 本期的所有数字都是自报或估算，本库一条未核实：323 家供应商、60% 推理毛利、Google 签出超千亿美元算力、$20–30M vs $50M/MW、NVIDIA 季度 500 亿自由现金流、中国芯片的产能量级与 2028 预测、"到年底 OpenAI 和 Anthropic 各自的 R&D 算力超过 DeepMind"。其中最后一条本库认为最该被单独跟踪，因为它可被 2027 年的披露部分检验。
⚠️ 三处本库无法确定还原的字幕：领导 Poolside 的人名（"Robert Bonar"）、[00:54:36] 那家拆分芯片业务的"BU"、Dylan 早期投资的那家（"time intellect"）。⚠️ 另有一处数字矛盾（"刚融 2000 万 / 要给供应商 1.05 亿"）和一处金额分歧（Poolside 交易规模 70 亿 vs 120 亿），本页均不引用具体数值。