跳转至

Sal Candido（Biohub）

  • 背景: ⚠️ 期内未播报职务，本库只记机构。 他自述 "很久以前在我的职业生涯里、其实是在 Google 的时候" 学到过方法论上的一课；自述做蛋白质语言模型的训练与可解释性工作。自评 "我很懒，所以我会用手上有的东西"、"（找到 scaling law 之后）它变成一个工程问题，而这是我喜欢的东西"。
  • 本库收录来源: Latent Space（2026-10-10，⚠️ 会议现场圆桌，非播客访谈）

⚠️ 他在期内多次提到"我们今天宣布的这个 effort"与一个字幕作 "the BBI" 的组织（视频页 [00:04:04]）。⚠️ 本库无法确定还原那是什么会议或什么组织，照录不解释。 ✅ 相关表态按既有口径记为面向会议议程的立场。

立场与关注点

来源：Latent Space / Pushmeet Kohli × Sal Candido（2026-10-10）

⚠️⚠️ "scaling law 不是到处都有——大部分工作是去找到那条 scaling law"

  • ⚠️⚠️ 那条误解诊断（[00:01:02]）："我认为关于 scaling law 的一个误解是，scaling law 到处都有、而且它们总是存在。我认为很多工作其实是去找到那条 scaling law。"
  • ⚠️ "找到之后"的描述是工程师式的（[00:02:03]）："我们真正在做的很多事，是去弄清楚：在什么情况下，如果你往里投更多算力、投更多数据，你真的会得到一个更好的结果。而那之所以是个很好的情形，是因为一旦那样了，你基本上就可以转曲柄了——它变成一个工程问题。"
  • ⚠️ 数据那一侧的约束："如果你没有带着正确的信息统计（information statistics）的数据来解你想解的那个问题，你就不会得到一个有你想要的能力和理解的模型。你只能真正从你拥有的数据里把信息拉出来，然后用它去泛化到更远。"
  • ✅ 本库认为这条改变的是"要不要 scale"这个问题的提法：⚠️ 在有 scaling law 的区域里 scale 是工程；而在没有找到 scaling law 的区域里投算力不产生可预期的回报——而生物学的大部分恰好在后者。 见 AI for Science 与 LLM 训练流程。

⚠️⚠️ 低质量数据的反直觉价值，以及它会把人带去的那个坏地方

  • ⚠️ 他对"建模者是不是只做有数据的问题"的回答是直接承认（[00:03:04]）："哦，当然会。我不替所有建模者说话，但我很懒，所以我会用手上有的东西。"
  • ⚠️ 正面那一半的工作方式他说得很具体："当你做常规机器学习时，你真的在找你能找到的最纯净、最高质量的数据样本。但如果你像我一样，你其实是那种会跑到后屋去、在别人的垃圾里翻找的人。"
  • ⚠️⚠️ 案例是本库认为本期最该被引用的一条经验（[00:03:04]–[00:04:04]）："当我们训练一个蛋白质语言模型，我们训练在 metagenomic 序列上——那不是最高质量的数据。事实上我可以向你保证，那里面很多数据甚至不是一个真正完整的蛋白质。然而它让模型在设计真实、能工作的蛋白质上的表现变好了，在理解那些我们知道是真实存在的蛋白质上也变好了。"
  • ⚠️⚠️ 而反面那一半他点得同样明确："但那也能把你带到一个负面的地方，就是你说：那我们就把那些容易生成的数据规模化吧。而我认为那不一定是该做的方式。"
  • ⚠️⚠️ 而他给的社区层面机制本库认为是本期最有结构价值的一条，因为它把数据偏置解释成分工的后果而不是个人懒惰（[00:05:04]）："如果你只有建模的人，我们会倾向于已经存在的数据。如果你只有生成数据的人，他们会倾向于那些容易被生成的东西。但如果你能作为一个社区在每一步上一起、以开放的方式工作，那你才真的能弄清楚我们需要的是什么数据——然后你才能找到那条 scaling law。"
  • ✅ 本库标注：这条把"开放协作"从一个价值主张变成了一个纠偏机制，论证形式是指出两个单边激励各自的偏向。 ⚠️ 他自述 Biohub 的做法是"在开放中工作、与社区一起工作、推动整个社区前进"，本库记为自述。

⚠️⚠️ 归纳偏置的转折点，以及"规模化本身也有手艺"

  • ⚠️⚠️ 那条曲线与失效条件（[00:13:10]）："如果你有比较少量的数据，那在模型里有更多归纳偏置肯定会帮到你——而你其实需要它才能在更小的数据规模上拿到结果。随着你得到越来越多数据，你会看到模型有时能找到你并不一定知道的东西，而那个归纳偏置如果不完全正确的话，反而会拖住你。所以随着东西变好，确实存在那个转折点（tipping point）。" ✅ 本库标注：条件是"如果不完全正确"——他没有说归纳偏置总会变成负担，而是说它的正确性在高数据区会被检验出来。
  • ⚠️⚠️ 而他明确反驳了主持人问题的框架："但我也有点反对你的问题，因为我认为规模化这件事本身其实也有很多手艺。" ⚠️ 依据是算法工作、基础设施与推理速度两层。
  • ⚠️⚠️ 而他那条架构观察需要被精确引用，因为它常被读反（[00:14:11]）："我们其实看到事情正在越过 transformer、走向更定制（bespoke）的架构——而我完全不认为我们处在一个后 transformer 的世界里，但我们在修改那些架构，让它们更适配目的、即使在互联网规模的数据上也能工作得更好。" ✅ 即：他说的是 transformer 正在被按用途改造，而不是被替代。
  • ⚠️⚠️ 他对"数据"这个词的替换本库认为是本期最值得记的一处用词修正："它更多是信息（information）而不是数据。你怎么拿到模型需要的下一批信息？" ✅ 这与他自己的 metagenomic 案例自洽——那批数据质量很差（作为数据），但带来了新的信息（作为信息）。
  • ⚠️ 落点是一条持续的双重工作："在每一步、每一个规模上，什么才是能从那批数据里榨出最多的正确架构？"

⚠️⚠️ "自行车的辐条"：现有模型建在了错误的层级上

  • ⚠️⚠️ 那个类比（[00:19:14]–[00:20:14]）："我把我们现在建的这些模型想成——你有个人在试图理解一辆自行车是怎么工作的，而你在建模它上面的一根辐条（spoke）。那些模型可以随时间变得越来越好，但你真正需要做的很多事，是从辐条的模型走到轮子、也许再走到整辆自行车，因为那才是人们真正想理解的东西。"
  • ⚠️⚠️ 而那半句误用的描述比前半句更锋利："而且把这个类比继续下去——看起来人们想用这辆自行车的模型去设计一辆皮卡车的某个零件。"
  • ⚠️ 他对现有模型的定性是两面的："它们相当有用，但它们并不正好是大多数人想解的那个问题——它们服务一个非常特定的目的，然后你也可以用它们去做别的，比如设计新蛋白质，而那不是你一开始会从那里出发的东西。"
  • ⚠️ 但他明确表示不该放弃折叠模型："我同意你——我认为我们应该继续努力做折叠模型，因为我认为它们会继续变得越来越好。"
  • ⚠️ 他对方向的判断是放进语境："随着我们把这些模型更多地放进它们所处的那个特定语境里，我们才真的能在更广的意义上学到这些相互作用。"

⚠️ 可解释性：一条一手结果，以及"怎么把知识从机器里拉出来"

  • ⚠️ 他先给了一条历史降温（[00:21:14]）："我们在 AI 出现之前很久就在用魔法黑箱设计东西了。"
  • ⚠️ 但他把理解讲成了一个具体的工程问题（[00:22:14]）："随着智能变得越来越便宜、越来越可得，你可以把它部署去学关于世界的越来越多的东西——但然后你怎么把那些知识从机器里拉出来（pull that knowledge out of the machine）？"
  • ⚠️⚠️ 而他给的那条一手结果是本库此前没有的（[00:23:15]）："我们在我们的模型上做了很多可解释性的工作，而你在里面找到很多信息。我认为人们知道蛋白质语言模型在它们的表示里学到了某种结构的概念——而我们还发现了关于某些功能的信息，也发现了关于运动（motions）的信息。" ⚠️ 他的推论是 "即使从我们现在已有的模型里，也还有很多东西要被解锁"。
  • ⚠️⚠️ 本库标注：他没有给出任何量化结果或论文引用。 ✅ 但"运动"这一条值得记，因为它落在同期 Pushmeet 说"我们没有理解蛋白质动力学"的那个缺口上。 ⚠️ 而"如果表示里已编码动力学信息，缺口可能部分在读取而不在数据"是本库的推论，不是他的说法。
  • ⚠️ 他给的框架是把压缩与世界模型连起来（[00:23:15]）："归根结底，你会预期一个 world model 会从'试图把所有这些信息压缩进模型'这件事里涌现出来……它怎么设计一个蛋白质？嗯，它把演化的所有信息都压缩进了这个模型。所以除了它能吐出对我们有用的东西之外，光是看它内部有什么，就一定有东西可学。"

⚠️⚠️ "10x 而不是 10%"：理由不是野心，而是搜索范围

  • ⚠️ 那条方法论（[00:31:21]）："很久以前在我的职业生涯里、其实是在 Google 的时候，我学到的一件事是——有时候通过看'要做到 10 倍的改进需要什么'来接近一个问题，比看'10% 的改进'更容易。"
  • ⚠️⚠️ 而理由是本库认为这条最该被保存的部分："而那并不是因为那一定是一条更容易的路。是因为它让你能采取一个更宽的视角、看到一些你此前没有在接近的解法……你会回去、从第一性原理看：我们要怎么做这件事？"
  • ⚠️ 他明确拒绝把它做成二选一："所以我认为 10% 和 10x 这两种方法都有价值，我们应该两个都做。"
  • ⚠️ 他把它接回了机构使命："我只是很高兴在 Biohub 我们有一个我认为非常美、非常高远的使命陈述——治愈所有疾病。而如果你想做到那个，你真的需要去弄清楚什么是那个 10x 的路径。" ✅ 本库标注：这正是本期在发现环节时原标题（"Can AI Cure All Disease?"）的来处。

⚠️ 临床时间表：同样拒绝给数

  • ⚠️ 他的回答是（[00:30:20]）："所以什么时候会出现一个完全由 AI 做出来的药？我不知道。很难知道。" ⚠️ 只给了方向："但我确实认为我们会在这里非常非常快地看到快速进展，因为所有这些工具都在被使用。"

呼应与分歧

  • "大部分工作是去找到那条 scaling law" 是本库第一条把 scaling law 当作要去寻找的对象而不是前提的表述；⚠️ 它与 Periodic Labs 的"智能是必要的，但不充分" 是同一结论的两种说法——⚠️ 一条从数据端说（没有正确信息统计就没有能力），一条从实验端说（需要真实世界的闭环）。
  • 低质量 metagenomic 数据反而提升下游表现 与本库既有的 数据 vs 架构那条被跟踪了一个月的实验 相关但不同向：⚠️ 那条讨论的是配比，这条说的是"质量"这个维度本身可能被误定义（他的替换是"信息"而不是"数据"）。
  • "transformer 正在被按用途改造、而不是被替代" 应与本库既有的几条替代提案分开读（扩散路线、递归语言模型）——⚠️ 那些是替代方案，这条是对现状的描述。
  • "自行车的辐条" 与 Pushmeet 的"AlphaFold 解的是复现 PDB 这个任务" 是同一诊断的两种形状：⚠️ 一条说目标函数不是科学问题，一条说建模层级不是人们想理解的层级。
  • "开放协作是一种纠偏机制" 与 Misha Laskin 的"足够多的眼睛" 形式相似但用途不同——⚠️ 一条用来纠数据选题偏置，一条用来找安全漏洞。
  • "10x 而不是 10%" 与 Pat Gelsinger 的"把 AI 做好 10000 倍" 是同一类目标设定法，⚠️ 而 Sal 给的理由（扩大解法搜索范围）比后者给的理由（触发 Jevons 效应）更方法论、更可迁移。

已收录访谈

日期 视频 主题
2026-10-10 AlphaFold 到底解了什么、"先去找那条 scaling law"、"可解释，对谁可解释？" 找到 scaling law 才是工作、低质量数据的反直觉价值、社区分工的数据偏置、归纳偏置的转折点、"自行车的辐条"、可解释性一手结果、10x vs 10%