Eric Nguyen(Radical Numerics):生物安全是一场军备竞赛,而防守方"远远落后"(Latent Space,2026-09-23)¶
- 嘉宾: Eric Nguyen(Radical Numerics 联合创始人兼 CEO;斯坦福博士,导师 Chris Ré;Evo 一作)
- 主持: Latent Space 的 "AI for science" 子系列(Brandon,Atomic AI 做 RNA 疗法;RJ Honakee,Miraomics CTO 兼联创)
- 来源: YouTube · 92 分钟
- 转录稿: sources/latent-space/20260923-B7DdNj_VjcU
本库收录它的两个理由:
- ⚠️ 这是本库第一份一手的生物安全/生物防御材料。LLM 安全 页里"生物武器"此前只作为清单项出现(SRO 的高风险领域清单、Noam Brown 的评估缺口、Elad Gil 的"能造病毒也能治癌症"类比),从来没有人讲过防守侧实际长什么样。这一期给了四根支柱、现有系统的具体失效模式、以及一条本库此前没有的攻击类别。
- 它是本库 generative genomics 这条线的源头访谈:HyenaDNA → Evo → Evo2 → Omni 由同一个人讲完,并且顺手给了本库此前引用过的那条"AI 从零生成了一个基因组"新闻一个重要的降温(见下文"6,000 个碱基对")。
⚠️ 利益相关:他既造设计能力也卖防御能力(他自己把这称作 dual mandate),而"防守方远远落后"这个判断同时是他公司的市场论证。本页逐条标注。
说话人认定:人工字幕(en-US),无姓名标签但轮次清晰。归属依据:所有第一人称的 Radical Numerics / Stanford / Evo 内部事实为 Eric Nguyen;两位主持的技术追问按内容区分——RJ 问的是 RNA 共进化压力、数据泄漏、ROC 曲线与"不能给人打补丁"(他做空间转录组),Brandon 问的是叙事与 steelman("你同时在推进攻击与防守的前沿")。⚠️ 本库此前已记录这个子系列的两位主持本身是 AI-bio 创业者,所以本页里"主持人的技术判断是同行意见,不是提问框架"——这一期尤其明显:本页最硬的三条反驳全部来自主持方。
转写专名对照见页末("Eric Gwynn" → Eric Nguyen、"Meck and Turt" → mech interp、"Borso" → Borzoi 等)。
概要¶
- 公司定位:Radical Numerics 做 genome language model(GLM)——在 DNA 上训练的大模型,"不只是读,还要写"。最新模型是 Omni。
- ⚠️ Omni 的核心技术主张是一次"从 NLP 搬方法":Evo / Evo2 只有预训练、没有对齐("基本上是未对齐的 base model");Omni 加上了 mid-training / post-training,于是在变异效应预测上从"competitive"变成 SOTA,⚠️ 尤其在此前所有模型都弱的非编码调控区与长程区间——而编码区只占基因组约 1.5–2%,"多数疾病在非编码区"。
- ⚠️ DNA 里的 chain of thought:给模型看一串打分递增的 RNA aptamer 序列,让它"接着这个趋势往下写",它复现出了被留出的更高分序列。⚠️ 湿实验室验证仍在进行中,本期只有 in silico 结果。
- ⚠️ dual mandate:同一个团队既做设计也做防御,理由是它们是同一批模型——"一个擅长生成的模型,恰好也非常擅长判别一个序列是不是致病的"。
- ⚠️ 防守侧的诊断:现有生物防御主要靠序列比对已知病原库,两个失效模式——没见过的新东西,以及⚠️ 刻意混淆:同功能、不同拼写。
- ⚠️ 他对自己的要求不是"挡住一切":"它必须完美才有用吗?我不这么认为。基准是有没有把指针往前推。"
- ⚠️ 本期最锋利的一条反驳来自主持人 RJ:网络安全可以打补丁,而——"我们的基因组是固定的。你没法给一个人打补丁。"
核心观点¶
技术线:从 HyenaDNA 到 Omni¶
- GLM 是什么([00:02:01]):在 DNA 序列上训练的大语言模型——"不是训练在词或自然语言上,而是训练在生命的原始织物上"。他们团队"以创造了第一批生成式基因组学模型而知名":⚠️ 不只是读,还要写。
- HyenaDNA(第一代)([00:03:01]–[00:05:09]):⚠️ 用卷积替代注意力,为的是处理 DNA 的长度;做到当时语言模型最长的上下文——一百万。用途是读:给一段 DNA,预测其调控功能。
- 动机说得很具体([00:04:04]):⚠️ 我们其实对自己的基因组知道得不多——"它显然编码了让我们成为我们的信息,但那些字母组合如何编码功能与性状的语法规则并没有被完全理解"。
- 他借 chatbot 的词解释为什么要长上下文:⚠️ context rot——输入越长,模型越退化;而 DNA 需要的恰恰是跨长序列的长程 motif 与语法。
- Evo(起点)([00:05:09]–[00:08:14]):⚠️ 第一次做"生成 DNA"。他给的理由是当时能看到的模型"都很小、上下文很短,而且没有一个生成 DNA,全都只读"。
- ⚠️ 第一个让人侧目的结果是 CRISPR-Cas([00:06:12]–[00:07:12]):CRISPR-Cas 是由 RNA 和蛋白一起构成的分子,而当时没有模型能跨模态生成(有蛋白语言模型、有 RNA 模型,但没有一个系统能协同设计)。他们证明单个 DNA 模型可以同时做二者的底座,并发现了一个新的 CRISPR-Cas 系统——上了 Science 封面,后来还讲了 TED。
- ⚠️ Evo2 与"第一个 AI 从零生成的基因组"([00:08:14]–[00:09:14]):生成出的是一个bacteriophage(噬菌体,也就是病毒)。他说人类此前做的是"复制粘贴别的基因组的片段"——从头造在基因组层面没人做过。
- ⚠️ 他明确把这件事当成公司的起点、而且是双向的:"我们觉得这是如此有指示性的一次显形——造出一个自然界不存在的完整生物体,同时也意味着潜在的危害。如果你能控制、能操纵生命的织物本身、控制它的功能,那意味着什么?你在向世界里放进什么?"
- 他说收到的反馈是两极的:既兴奋也担忧——"这是早期阶段,是人们可以开始推演和想象这会通向哪里的第一件事。"
- Omni(本期主题)([00:11:20]–[00:14:24]):⚠️ Evo 的问题不是不聪明,是没对齐。他的原话框架是:
⚠️ "在生物和基因组学里,我们基本只见过 base model 被训出来。它们做了预训练,但基本上是未对齐的。"而在自然语言那边,要让模型真的有用、以用户觉得有信息量的形态回答问题,需要大量的对齐、post-training 和 mid-training。
- 社区此前的质疑他照录了([00:12:20]):"我干嘛要用一个巨大的 LLM,我可以用这些更小、更专门的模型。"
- ⚠️ 他说结果让他们自己也意外([00:14:24]):"一旦你做了这件事,哪怕只做了一点点,我们很惊讶它就开始成为 state of the art——不只是像 Evo 那样'在多个任务上都还行',而是真的在推进各个领域的前沿。"
- 他承认这是抢着发的:"我们还在训练、还在加别的模态,但我们基本是太兴奋了,想更快把它交到人手上。"
Omni 的 SOTA 落在哪里:非编码区,以及为什么那重要¶
- 任务形态([00:19:42]–[00:21:47]):变异效应预测——基因组里改一个位置的字母,有时致病、而很多时候什么也不发生。因为 30 亿个字母的组合太多,"临床医生和科学家实际只知道极小一部分变异是不是致病的"。
- ⚠️ 机制说得很干净:DNA 模型是概率性的,改一个字母会改变它预测下一个字母的置信度。模型见过大量人类 DNA,知道什么是常见的、在人群间保守的——而保守通常意味着更健康;不常见则可被预测为可能致病。他给这个比值起的名字是"surprise factor"([00:26:54])——野生型概率 vs 突变概率之比。
- ⚠️ 突破点在非编码区,这是本节最该被引用的一条([00:22:47]–[00:23:51]):
- 基因组分编码区(蛋白结构)与非编码区(主要是调控——控制某个基因用多少、什么时候打开)。
- ⚠️ 非编码区的变异要难预测得多,而"这正是 Omni 特别发光的地方",尤其是长程区间。
- ⚠️ 为什么这件事重要——他给的两个数字:"传统生物信息学工具和统计方法主要聚焦编码区,而编码区只占基因组约 1.5%、2%";而"事实上许多、如果不是大多数疾病都在这些非编码区"。
- 他说的真实需求方([00:15:27]):⚠️ 大量医院系统和拥有海量遗传数据的非营利机构——他们知道病人有某种症状,但找不出 DNA 的哪一部分造成了它,也就是 VUS(意义未明变异)。"这是一个真实应用的例子。"
- 他列的对照基线([00:24:53]–[00:30:00]):
- Evo2:零样本(纯似然比,未做微调)。
- Borzoi:⚠️ 也是 DNA 模型但是另一类——监督模型,从 DNA 直接预测功能基因组轨道(染色质可及性、基因表达),不是语言模型、不做 next token prediction。⚠️ 要带标注的输出,而基因组数据"几乎全都没有标注"——这正是他主张无监督预训练的理由。
- CADD:⚠️ 长期的 SOTA,而且"它是 SOTA 有它的道理"——它按设计就是把最好的方法做集成,"连别人家最好的模型也会被它混进去,再加个 SVM,厨房水槽都扔进去"。⚠️ 他说这恰恰是他们定的标准:"既然他们厨房水槽都扔,我们就不能挑一个模型说我们比它强,我们得对标现在人类所能做到的全部。"
- ⚠️ 本库标注:这条自我设定的对标标准是本页里最值得肯定的一处方法论表态——它恰好对上本库 Vals AI 关于"自报成绩"的那条。但本页仍是自家 blog 的自报结果,未经第三方复核。
- 他们相对微调法的增量([00:30:00]):Q&A 式的格式本身被 mid-training 喂进了模型,所以"那最后一步训练 embedding 不必做了,开箱即用——你只要按某种格式 prompt 它"。他类比:⚠️ "你能想象 ChatGPT 每次你问个问题都得先为某个领域微调一遍吗?"
- ⚠️ 数据泄漏:RJ 问得很直接,而且问法里带了怀疑([00:31:05])——"我不会惊讶如果很多这些序列也出现在你们的训练数据里,哪怕是以无监督的方式"。Eric 的回答是他们有生物信息学人员梳理、去重并做序列比对,"和 benchmark 里相似的东西如果在,就移除"。⚠️ 本库记为自述,未核实。
⚠️ DNA 里的 chain of thought:本页最具体的一条新方法¶
([00:33:11]–[00:37:14])这是主持人说"把我的脑子搞坏了一下"的那一段。
- 问题:chain of thought 在自然语言里是"把过程写出来"(他把首个范例归给 OpenAI 的 Jason Wei),⚠️ 但 DNA 里没有描述思考的词,那在基因组学里这是什么意思?
- ⚠️ 他们的做法是把"思考"换成"打分递增的序列轨迹":
- 取一个RNA aptamer 数据集(序列 + fitness score,分越高越好);
- 留出一部分表现最好的,只给模型看较低分的,但按分数排序;
- 然后"让模型就这么接着这个 pattern 往下写"。
- ⚠️ 结果:它复现出了一部分它没被看过的更高分序列。
- ⚠️ 验证状态他主动交代了,本库完整保留:"我们现在正在湿实验室验证的过程中,所以这里没能展示。"——本期只有 in silico 结果。
- ⚠️ 他认为这个范式可以推广到几乎所有生物序列,理由是"那通常就是你手上有的东西:序列 + 某种 fitness score"。他给的三个落点:
- AMR / 噬菌体设计:⚠️ 抗微生物耐药性——"世界上每年仍约有 200 万人死于细菌感染";用设计过的病毒去靶向特定细菌(他说这在东欧已经做了很久),可能做出一类不是抗生素但很像抗生素的新抗微生物药。有效性天然是 0 到 1 的分数,正好套进这个范式。
- ⚠️ 稀土矿物提取蛋白——与一家国家实验室合作([00:46:28]–[00:47:32]):要的不只是能结合,而是选择性结合(对一种稀土亲和力高、对其它低)。⚠️ 合作方的动机是"为美国战略性地保障稀土供应链"。本库标注:这是本库第一次看到生物序列模型被用在供应链/产业政策目标上。
- 转录因子设计(见下文 mech interp 一节)。
- ⚠️ RJ 在这里给了本页最有价值的一次方法澄清([00:44:21]–[00:46:28]):他替听众解释这个数据集原本是怎么来的——这其实是 SELEX 式的实验:随机造大量序列、用高通量测序(NGS)读出哪些结合得多、挑出来再突变、再迭代。
⚠️ "关键是做筛选的其实是实验的生物学本身。"
- 本库标注:这句话给"chain of thought"这个比喻装了一个重要的限定——⚠️ 模型学的是一条由湿实验室产生的定向进化轨迹,而不是模型自己在推理。两位都同意这一点;本库认为引用这条结果时必须带上它。
⚠️ 一条他自己也解释不了的迁移¶
([00:37:14]–[00:39:17])RJ 的质疑基于领域知识:RNA "以缺少好的共进化数据而出名"——病毒基因组上 RNA 结构常有强进化压力,但哺乳动物的 RNA 通常没有。所以他问:这个能力是从哪儿冒出来的?
- ⚠️ Eric 的回答是"我不知道":"说实话我不确定。我们也很意外。"原因是⚠️ 模型是在 DNA 上预训练的,RNA 只在 mid-training 里出现,而且只用了那一个数据集的 RNA、外面的都没有([00:42:21])。
- 他顺着 RJ 的直觉给了一个猜测:DNA 里带着大量进化信息,所以这支持了他们的路线——⚠️ 先在 DNA / 基因组上预训练,再往上叠模态,因为你能得到大量迁移。
- 他的目标词是 general biological intelligence([00:38:17]):把生物学那些不同的"语言"/模态统一起来,"说到底它们都源于 DNA,而人们还没有足够利用这个事实"。
- ⚠️ 他顺手给了本库此前收录的"虚拟细胞"一条正面批评([00:39:17])——本库认为这是本页最该被交叉引用的一处:
"人们谈虚拟细胞时,往往只聚焦 RNA 和转录本,然后就想泛化到描述一整个细胞。但一个细胞显然远不止那些。如果你想学一个系统,你要从那个系统所有的信号或传感器去学——DNA、代谢组、表观基因组、蛋白组,那时候你才靠近所谓的虚拟细胞。"
- 他接着说自己连细胞都不想停,而是要"融合全部生物学的这些传感器"。被问会不会通向超智能时,他的回答很克制:⚠️ "谁知道呢。但我有信心这类范式会把我们带得比现在远得多。那就是我的标准:你能不能做出比现在有用得多的东西。"
- ⚠️ 与 Xaira 的 X-Cell 的关系:Xaira 的核心论点是"描述性数据学不出因果,因为有 N 种因果结构能拟合同一份相关性数据",所以他们要因果数据(扰动实验)。⚠️ Eric 的批评方向不同:他说问题是模态太少,不是数据类型不对。本库并列不裁决,但指出两条都在批评同一批工作(scGPT / Geneformer 这一类),而给出的处方是正交的——加模态 vs 加扰动。
长上下文:以及"6,000 个碱基对"这条降温¶
- 现状([00:52:36]–[00:54:45]):当前上下文 200 万。⚠️ RJ 立刻指出人类基因组大约是它的 1000 倍,而且"很多细菌基因组如果你想改造它们,也比这长不少"。
- ⚠️ 本库认为本页最有价值的一条事实澄清在这里([00:53:41]):被问"那 Evo2 的噬菌体基因组设计是怎么做的,那肯定远超 200 万"时,Eric 的回答是——
⚠️ "那是另一个组做的……那个上下文其实相当短。实际上他们之所以从噬菌体开始,就是因为它属于最短的基因组之一。我记得大概是 6,000 个碱基对左右。"
- 主持人的反应是"哦,那真的很短",Eric 确认"极短"。
- ⚠️ 本库标注:本库此前在多处引用过"AI 从零生成了第一个基因组"这条新闻作为生成式生物学的能力标尺。这条澄清把它放回了正确的量级——它是一个约 6 kb 的病毒基因组,而不是一个一般意义上的基因组;人类基因组是 30 亿碱基对。本库此后引用该成果时应带上这个数量级。
- 他把长上下文当公司的身份([00:54:45]):⚠️ "这大概就是我们名字的由来,因为我们在长上下文成为一件事之前就在做长上下文。"并说这是他们必须是AI 研究实验室 first 的理由——"这不是一个我们可以抓开源模型、指望我们在意的那些任务就自动被解决的空间。"
起源故事:"几乎我在斯坦福谈过的每一个科学家都觉得这是个蠢主意"¶
([00:55:48]–[01:01:57])本页最值得完整保留的一段叙事,因为它是一份关于"领域专家的否决意见错在哪里"的一手记录。
- 路径是反的:⚠️ 他们不是先想做 DNA。长上下文是他在斯坦福的博士课题(Chris Ré 组),和同实验室的 Michael Poli 做了 Hyena 的第一版设计;然后"我们问:世界上最长的序列是什么?"——"不出意外地落在了 DNA 上。"
- ⚠️ 他们看到的现状:那时 DNA 上下文"超短,一次一两千个碱基对或 token",而"大多数人类转录本大概 3K",所以"那连表示一个蛋白都不够"。"显然那里有需求,而且被忽视了。"
- ⚠️ 关于 Evo 的否决意见,他照录了全部四条([00:57:48]–[00:58:50]):他花了六个月到处问"如果我能生成 DNA,你会觉得有用吗?你会拿它干什么?"——
⚠️ "离奇的是,几乎我在斯坦福谈过的每一个科学家都觉得这是个蠢主意。"
- 他被告知的理由是:"那不可能";⚠️ "我们人类自己都不懂规则,你怎么能指望 AI 学会它?";⚠️ "你连对错都没法判断,没法告诉 AI 这是对的还是错的,它怎么学?";以及"重复字符太多"、"DNA 的分布太噪、没有真正的规则、里面一堆垃圾"。
- 他的回答是:"我听到了所有这些理由,而我就是特别犟。生成 DNA 一定有用例,我就是觉得它对。我不知道那是什么,所以它真的是一个'看看会发生什么'的实验。"
- ⚠️ 他对当时的做法也没有美化:"我记得我们训第一个 Evo 的时候完全不知道它会不会 work,不知道会涌现出什么。我们就想:训个大的吧。这挺荒唐的。但不知怎么的有人说:行吧,为什么不呢,付点 GPU 的钱,让这帮疯孩子训个模型。"
- ⚠️ 第一个"起鸡皮疙瘩"的结果([00:59:53]):有人拿第一个 Evo checkpoint 扔到 ProteinGym(蛋白 benchmark)上,⚠️ 结果与蛋白专用模型打成竞争——"那挺令人意外的,因为我们从没告诉模型什么是蛋白、什么不是。"然后结果就一个接一个来:RNA 上 SOTA、DNA 上 SOTA。
- ⚠️ 一条值得单记的外部介入([01:00:54]):NVIDIA 那边说"让我们支持 Evo2,做得更大";而 OpenAI 的 Greg Brockman "说他从 OpenAI 休息一下,拿四个月出来帮这帮疯孩子"——"然后我们凌晨三点在 Slack 上找 Greg Brockman 调 bug,这挺野的。"
- 本库标注:本库已有 Greg Brockman 本人的一期,⚠️ 那期里他没有提到这件事。本页照录 Eric 的说法,未核实。
- ⚠️ 他对"为什么要开公司"的回答里有一条本库此前没有的反省([01:01:57]):被追问"Evo2 的噬菌体难道不足以成为那个灯泡时刻吗",他承认有公允的批评:⚠️ "你甚至可以唱反调说,它生成的东西相当接近自然,你只是在复刻一些小的变异。"他的落点是:
"所以在这个点上,我们认为更重要的不是继续推科学、说'这能做到'然后就把它留在那儿当个思想实验,而是:我们到底怎么用它去改善人类对疾病的理解、改善治疗、做出更好的稀土矿物提取器。"
mech interp for bio:mapping the manifold of disease¶
([01:03:59]–[01:09:07])⚠️ 他主动交代了成熟度:"我们承认处在很早的阶段,团队还在搭。"
- 做法:分析 embedding 与 activation,借自然语言社区的框架——"模型在做的是把它见过的大量信息压缩,蒸馏成帮它理解数据的关键 pattern",所以去探测模型把什么蒸馏进了权重和激活里。
- 他们看到的层级(由简到繁):GC 含量(G 和 C 两种碱基的比例)→ 重复序列 → ⚠️ 转录因子(TF)motif → 疾病。
- ⚠️ 转录因子是他们的实际目标,理由是组合空间([01:06:03]–[01:07:04]):转录因子是结合到 DNA 上、改变基因表达模式的分子——"它有调控效应,不改变 DNA 本身,但能改变 DNA 的产物与效果",而"很多衰老相关研究就是围绕转录因子设计"。⚠️ 为什么必须靠数据驱动:"学这些转录因子——什么结合、在哪结合、造成什么效果——的组合空间大到根本没法用人工方式做。"
- 主持人补了复杂度的来源:⚠️ 转录因子自己也是编码基因,所以它们可以互相调控——组合效应从这里来。
- ⚠️ 他们的旗帜性提法是 "mapping the manifold of disease"([01:07:04]–[01:08:06]):疾病在模型眼里的表征空间长什么样。他说"我们只是在刮表面",而且⚠️ DNA 在他心里"只是你最终想融合进生物学建模的其中一个传感器"——所以在所有模态上做同样的事"是一片全绿的空地":*"我没见过任何人把这个层级的机器学习/深度学习技术用到我认为将是最重要、最有影响力的领域上。"
- 自然语言还不是模态之一([01:09:07]):"还不是。但会是。"⚠️ 他认为融合语言相对直接(有图像/视频的先例,他们也做了早期实验),"而大家还在摸索的那部分,其实是怎么在生物模态之间做融合"。主持人指出接上语言就是做 chain of thought 的自然方式,他同意。
⚠️ dual mandate 与生物防御:本页的核心¶
- 为什么是同一个团队([01:11:09]–[01:12:12]):
⚠️ "我们觉得作为一个实验室,一个既在造设计能力的团队,其实也最适合造防御能力,因为它们基本是同一批模型。一个擅长生成的模型,恰好也非常擅长判别、或者预测一个序列是不是致病的。"
- 所以他说这不只是原则问题,战略上也成立。
- ⚠️ 他为什么觉得这事没人做——一段现场观察,本库认为是本页最有分量的一条外部判断([01:11:09]):他说前一晚参加了一个关于 AI 科学家 / 能做科学发现的 agent 的 panel,最后一个问题是"AI 学会做科学最大的风险或末日场景是什么"——
⚠️ "他们每一个人都讲了生物武器。而同时我很好奇,我想:好,那这些人在为此做什么?基本上我什么都没听到。我去看那些公司,他们在那些方向上没有大的投入。"
- ⚠️ 本库标注:这条与本库 LLM 安全 页的材料结构高度一致——那一页里"生物武器"也几乎只作为清单项出现(SRO 的高风险领域清单、Noam Brown 的 test-time compute 评估缺口、Elad Gil 的"能造病毒也能治癌症")。本库此前确实没有一条关于防守侧实际做什么的材料。他的观察在本库的材料分布上是成立的。
- ⚠️ 生物防御的四根支柱([01:13:13]–[01:14:14])——本库此前没有的一张地图,他们做前三根:
- 检测与监测(detection & surveillance):从环境里判断一个序列是否带病原——"比如机场的采样、鼻腔拭子、或者下水道系统的样本"。
- 归因(attribution):检测到危险后,它从哪来——⚠️ "是天然的?是从国外某个敌对国家来的?还是某个国家某个特定实验室里被人工改造的?"——"这帮你决定该怎么应对。"
- 对策(countermeasures):做出反制剂、抗病毒或抗微生物药。
- 威慑(deterrence):⚠️ "那更像是政府层面的事情。"
- ⚠️ 他们对现有社区做法的诊断——本页最该被搬进安全页的一条([01:14:14]–[01:15:15]):
"生物防御社区大体上聚焦在序列比对上。他们拿一个序列,对齐到一个已知数据库,看:我见过这个吗?它匹配这份已知病原清单吗?"
- 两个失效模式:① ⚠️ 新东西——如果它不在你的清单上;② ⚠️ 被刻意混淆以躲过检测的东西——"不只是字母层面不匹配,还有功能层面。"
- 他们想补的不只是"检测":⚠️ "而是把它彻底刻画一遍——序列的哪些部分是危险的、是哪些基因;归因时不只是拿序列去库里匹配,而是能归因它的签名。"
- ⚠️ "同功能、不同拼写":本库此前没有的一个攻击类别([01:15:15]–[01:17:21])。这是本页技术上最硬的一条:
- 因为新一代模型是功能感知/结构感知的,所以⚠️ 你可以有一个序列,功能和病原一样,但字母看起来完全不同。
- 这在自然界本来就会发生,⚠️ 但 AI 模型让你可以刻意地做这件事:"同样的功能或功能能力,但字母多样、拼写多样,而描述的是同一个东西。"
- ⚠️ 他点名引用了微软的 "paraphrase" 工作:用蛋白语言模型保持结构(结构意味着相似功能)、但换掉拼写;而且他们专门测试了把这种序列送过现有检测系统会不会把系统打穿。
- ⚠️ DNA 合成公司这一环他讲得很具体([01:16:20]–[01:18:22]):你把序列设计发过去,他们把物理 DNA 分子寄回来,"像个亚马逊包裹"。"这跑着整个科学社区……所以它很普遍,而且是公开的。"
- 他对现状的判断:⚠️ "平心而论,很多 DNA 合成公司是有检测工具的,但我会很强烈地假设它们不是基于 AI 的,而且大概不够鲁棒。"主持人接了一句"它们基本全是模式匹配"。
- ⚠️ 他们最初的动机场景([01:17:21]): > "在一个 agent 在网上遍地存在、大概有数十亿、数万亿个 agent 在互联网上构建和采取各种行动的世界里,很离谱的是它们根本没有任何工具来判断自己是不是在造危险的东西。"
- ⚠️ 两层防护的分工([00:10:16]):他承认自然语言层的护栏是需要的——"像 Claude,如果你聊病毒,它直接就把你关掉,这挺好"——但:
⚠️ "你显然还需要生物序列层面的护栏。你需要的模型不只是理解语言、理解你聊天的走向,而是理解底层的那个基质本身——那才是终极的防御能力层次。"
- 然后把它接到监测系统与国家安全上:监测环境中新出现的序列。
⚠️ 三条来自主持方的反驳,以及他的回应¶
本库认为这一节是本期最有价值的部分:三条反驳都没有被化解,而他的回应每次都是把自己的目标往下调,而不是声称能解决。
反驳一(RJ):误杀会压死正常科研¶
([01:18:22]–[01:20:26])RJ 的提法很具体:⚠️ "所有做生物的人都试过用 Fable,而它几乎对你输入的每一样东西都会拒绝"——他举了自己的网站做例子。然后给出量级论证:
⚠️ "就算 F1 到 0.9——你现在远远没到——如果每天、或者至少每年有数十亿条序列被生成,那也会有大量误判。这看起来是一个非常难的平衡。"
- ⚠️ Eric 的回答是换掉问题:
"如果我们想的是'怎么 100% 阻止危险设计',那是个更难的问题。我们问的问题是:在能力/设计这一侧,有大量人在推前沿;而当我们看防守侧,我们看到前沿技术被用在那里了吗?答案是没有。"
- 所以"从那个视角,这对我们是个容易的选择:把它带到能和设计侧正面对打的水平"。
- ⚠️ 他明确不承诺解决:"能解决一切吗?我们会以此为志,但现实地说,总会有绕过去的情况。"
- ⚠️ 他把目标重新定在"已经漏出去之后":既然有东西会越过 chatbot 那层护栏跑出去,"那些情况怎么办?它已经过了 chatbot,已经帮了某人造出危险序列,所以它已经在外面了。"——他们的工具是给"关心已经在外面、已经在环境里的东西"的那些人用的:监测、归因、对策。
- ⚠️ 主持人替他把这条论证补完了([01:21:26]):威胁模型甚至还不清楚,但能力现在完全不存在;你提供了一个东西,于是它可以在更大的监管/政府/非营利框架里被接着做——"哪怕不完美,它提供了一个起点。而如果你没有工具,你什么也做不了。"Eric 的落点是:
⚠️ "基准是改进。基准是:你现在在哪?我们能不能把指针往前推?能不能超越基于序列的比对匹配?"
- 以及:⚠️ "它必须完美才有用吗?我不这么认为。"
反驳二(Brandon 的 steelman):你同时在推进攻击与防守的前沿¶
([01:22:28]–[01:24:33])Brandon 自称是在替反方说话:⚠️ "如果你在前沿——看起来你是,而且你显然立志在那——那你是在同时推进攻击和防守的前沿。所以现在你做的事显然有帮助。但也许如果你在前沿,那长期来看它其实没什么意义。"
- ⚠️ Eric 的回答是明确接受"军备竞赛"这个框架,而不是否认它:
"这基本就是一场军备竞赛。类似网络安全社区——你会造出更好的技术,尤其像 Fable 这种有潜在攻击能力的,那就意味着会有来回拉锯。设计侧会变得更有能力,防守侧必须努力跑到前面;而那又会激励别人在设计侧继续往前。"
- ⚠️ 他的立论完全建立在"当前不对称"上,而不是终局: > "所以这里内在有一种军备竞赛式的动态,而在我们看来,防守侧一直远远、远远落后。所以我们想做的是把防守侧带到大致持平。"
- 本库标注:⚠️ 这是一条关于"当下状态"的论证,不是关于"均衡"的论证。Brandon 的质疑——在前沿上同时推两侧是否净为零——在本期里没有被回答。本库记为一个保留的开放问题。
⚠️ 反驳三(RJ):网络安全可以打补丁,人不能¶
([01:24:33]–[01:25:34])本库认为这是本期最锋利的一段,而且它是对"类比网络安全"这个本库反复出现的框架的一次实质性拆解:
- RJ 的拆解有两半:
- 防守侧更难:在网络安全里,⚠️ 一个足够强的模型或许真能关掉所有非社会学的漏洞——"原则上你可以抓住每一个 exploit,然后你可以打补丁;只要大家保持更新,你就是安全的。"而——
> ⚠️ "我们的基因组是固定的,对吧?所以你没法给一个人打补丁。"
- 所以"在某种意义上攻击面、或者说你要防守的那一套,要高得多、难得多"。
- ⚠️ 但反过来也有一半对防守有利:看起来某人有动机去同等程度地发动攻击的可能性要小得多;而且门槛——"即使你能打印出任意的 DNA,从那一步走到做出一个成功的病毒、尤其是一个不会把设计者自己杀死的病毒,其实相当大。"
- 本库标注:⚠️ 这两半合起来是本页最可引用的一组判据,而且它们指向相反方向(防守更难 vs 攻击动机与门槛更高)。⚠️ Eric 没有逐条回应这个拆解,而是转去回答"你最担心什么"(下一节)。本库把 RJ 这段记为本页最重要的未被回应的内容。
⚠️ 他真正的威胁模型:不是坏人,是门槛与体量¶
([01:25:34]–[01:27:42])被问"什么是你心里唯一最大的威胁?什么会让你睡不着"时,他先拒绝了"建模坏人"这条路:⚠️ "很难进入一个想设计生物武器的人的心态,所以我们并不试图去想遍所有潜在的人或场景。"然后给了他实际担心的东西:
- ⚠️ 机制是门槛下降 × 速度上升 → 体量爆炸:
"我广义上担心的是:我们在降低所需专业知识的门槛、以及人们能多快把这类东西做出来。而那意味着体量在某个点上会指数级增长。"
- 本库标注:⚠️ 这是本页最可迁移的一条,因为它不依赖任何关于能力上限的假设——它只需要"更容易 + 更快"。它与本库 Ali Ghodsi 关于 CVE 从公布到被武器化从"年"缩到"小时" 是同一种论证形式在另一个领域的复现:不论能力天花板在哪,节奏本身就是威胁。
- 两类来源,而他给的概率排序是反直觉的:
- 有意的:⚠️ 确实存在有过生物项目的国家行为体,"非常非常非常大的那种"。⚠️ 他给的证据是人而不是文献:"我们公司的一位顾问亲身见过这些设施,并参与了它们的退役。所以我们听过很多关于国家确实有动机造这类武器的故事。"他的限定条件是:⚠️ "和平时期没那么可怕,战争时期尤其可怕。"
- ⚠️ 无意的——他认为近期更可能: > "在我看来无意的那类潜在地在近期更可能发生:有人确实去生成东西、控制功能,而无意间……他们本来想做某个东西去理解、去研究,结果它跑了出去。因为这些东西可能很难被封住,就是会有泄漏。我觉得那些场景看起来最可能。"
- ⚠️ 本库标注:把"无意泄漏"排在"国家武器化"之前,是本库此前任何生物/核类比材料里都没有出现过的排序。本库此前收录的类比(Elad Gil 的"能造病毒也能治癌症"、SRO 提案的高风险清单)默认的都是恶意使用模型。
- ⚠️ 他对自己是否焦虑的回答很直白:
"它让我睡不着吗?不一定。整体上我更是个乐观主义者。我认为造这类技术终究是一个你要权衡利弊、成本与收益的游戏,而我认为收益远大于潜在的危害。所以我们才做它。"
- 他对社区的判断是"有足够韧性、有动员起来跑到前面的能力"。
- 本库标注:⚠️ 这句"收益远大于潜在危害"是一条未经论证的权衡断言,而他在同一段里刚说过体量会指数增长、无意泄漏近期最可能。本库并列记下这个张力,不裁决。
两个固定问题¶
- ⚠️ "用行政命令去掉一个瓶颈"([01:28:47]–[01:29:50]):第一个答案是 GPU,他自己说"这是个敷衍的答案,因为每个 AI 实验室都这么说"(主持人说"这答案我们听过几次了")。第二个答案本库认为值得单记:
⚠️ "你在某件事上专业知识越多,你对那个空间就越悲观。在生物里你特别能看到这一点——你对某个疾病领域或模态熟到不行,然后有人引入点新东西,你就会说:哦,但这个呢、那个呢。他们非常悲观,而且大概也情有可原。"
- 他的招人标准由此而来:⚠️ "确实懂那个领域、但仍然是 dreamer 的领域专家"——仍有想象力和改变做事方式的愿望。
- ⚠️ 本库标注:这条与本页开头那段"几乎每一个斯坦福科学家都觉得 Evo 是个蠢主意"是同一枚硬币,而且是他从自己的经历里反推出来的招聘判据。本库认为它和 John Platt 的"领域专长通向 taste" 构成一组方向相反、但都来自一线的判断,值得一起读:Platt 要保住领域专长,Eric 要保住对领域共识的免疫力。
- 一句话 takeaway([01:29:50]–[01:30:51]):他说 AI 研究社区里的人常觉得必须在"做前沿 AI 技术(消费或企业应用、chatbot)"与"做自己真正在意的事"之间选一个——
⚠️ "我想让人们带走的是:你不必选。"
与本库其它观点的关系¶
- ⚠️ 本库第一份一手生物安全材料,填的是 LLM 安全 页一个被他本人当场点出的空白。他在 panel 上观察到"每个人都说生物武器,而我没听到任何人在做什么"——这与本库该页的材料分布完全吻合:此前"生物武器"只作为清单项出现,从未有人描述防守侧。他给了四根支柱、现有系统的失效模式(序列比对)、以及一个新攻击类别(同功能不同拼写)。
- ⚠️ "同功能、不同拼写"在结构上与本库已有的攻击类别同形,这是本页最可迁移的一条。它和 Black Hat 那期的"payload 即 prompt"、以及 Chess.com 的"机器产出冒充人类产出" 是同一个形状:检测器盯的是表层特征,而攻击方改掉表层、保住语义。⚠️ 生物这一侧特别的地方在于"语义"是物理功能,所以保真度有物理保证(结构→功能),而不像 prompt 注入那样依赖模型的解读。
- ⚠️ RJ 的"你没法给一个人打补丁"是对本库反复出现的"类比网络安全"框架的第一次实质性拆解。本库此前在 Dylan Patel 那条"网络安全与生物/核的门槛结构完全不同" 里记过一次门槛差异;RJ 加的是补丁周期这一维——网络安全的防守有效是因为可修复,而基因组不可修复。本库认为这两条应当一起用。
- ⚠️ 他的威胁模型(门槛下降 × 速度上升 → 体量指数增长)与 Ali Ghodsi 的 CVE 从年到小时 是同一论证形式的跨领域复现:不依赖能力上限的假设,只依赖节奏。本库把这条记为一个可跨领域复用的论证模板。
- ⚠️ "无意泄漏比国家武器化更可能"是本库这条线上的新排序。此前所有生物/核类比(Elad Gil、SRO 提案、Chamath 的时间上界)默认的威胁都是有人恶意使用模型。
- ⚠️ 对"虚拟细胞"的批评与 Xaira 的 X-Cell 正交,而不是重复。两家都在批评 scGPT / Geneformer 这一类,但处方不同:Xaira 说"描述性数据学不出因果,要扰动数据";Eric 说"模态太少,要融合所有传感器"。本库并列不裁决,但认为这是 AI for science 页目前最清晰的一处路线分歧。
- ⚠️ "6,000 个碱基对"这条降温应当回填到本库所有引用"AI 生成了第一个基因组"的地方。那是一个约 6 kb 的噬菌体基因组,之所以选噬菌体正是因为它属于最短的基因组;人类基因组是 30 亿碱基对,而他们当前上下文是 200 万。
- 与 John Platt 的 ERA(同一子系列、相隔一天)构成一组好对照:⚠️ 两边都把科学问题化成"序列/代码 + 一个分数,然后迭代改进"——Platt 的 scorable task + UCB 树搜索,Eric 的"打分递增的序列轨迹"。⚠️ 但两边的 verifier 完全不同:Platt 的分数由代码当场算出,Eric 的分数由湿实验室产生(RJ 点明"做筛选的是实验的生物学本身"),所以Eric 这条的迭代速度受物理世界限制。这正好接上 Lila Sciences 的"实验室即 verifier"。
- 与 [Platt 关于领域专长的立场方向相反:Platt 说"领域专长不会消失,因为它通向 taste";Eric 要的是"仍然是 dreamer 的领域专家",理由是"专业知识越多越悲观",而他自己的 Evo 被几乎所有斯坦福科学家否决过。本库并列不裁决。
⚠️ 本页未核实、只照录的内容¶
- Omni 的全部 benchmark 结果(变异效应预测 SOTA、非编码区与长程区间领先 Evo2 / Borzoi / CADD / 微调法):均来自该公司自家 blog 的自报结果,本库未见第三方复核。他们声称做了去重与比对以防数据泄漏,这也是自述。
- RNA aptamer 的 chain-of-thought 结果:⚠️ 他本人明确说湿实验室验证仍在进行中,本期只有 in silico 结果。
- "编码区只占基因组约 1.5–2%"、"多数疾病在非编码区"、"每年约 200 万人死于细菌感染"、"人类基因组约是 200 万上下文的 1000 倍"、"大多数人类转录本约 3K"、"Evo2 的噬菌体基因组约 6,000 碱基对" 等全部数字。
- 微软的 "paraphrase" 工作(蛋白语言模型保结构换拼写、并测试打穿现有检测系统):经他转述。
- "DNA 合成公司的检测工具大概不是 AI 的、不够鲁棒":他自己标为"我会很强烈地假设",即明示为猜测。
- Greg Brockman 从 OpenAI 休息四个月帮 Evo2、凌晨三点 Slack 调 bug:⚠️ 经 Eric 转述;本库已收录的 Greg Brockman 本人那期 未提及此事。
- "一位公司顾问亲身见过并参与退役国家级生物武器设施":转述,无细节、无姓名。
- "几乎我在斯坦福谈过的每一个科学家都觉得这是个蠢主意"、Evo 上 Science 封面与 TED、NVIDIA 支持 Evo2、第一个 checkpoint 在 ProteinGym 上竞争力:全部为他的个人回忆。
- "Fable 对生物相关输入几乎一律拒绝":RJ 的使用体验,本库照录,不对模型行为作验证。
专名对照(字幕转写 → 正确拼写)¶
| 字幕 | 正确 |
|---|---|
| Eric Gwynn | Eric Nguyen |
| Lane Space | Latent Space |
| Chris Ray | Chris Ré(斯坦福) |
| Michael Pali | Michael Poli |
| AppHaina / Haina / Hyena DNA | Hyena / HyenaDNA |
| Borsoli / Borso | Borzoi(监督式 DNA 模型) |
| CAD | CADD(集成式变异打分,长期 SOTA) |
| Meck and Turt / Meckinterp / meconterbine / Meck and Turf | mech interp(机制可解释性) |
| Jason Way | Jason Wei(OpenAI) |
| clod / cloud science | Claude / Claude 做科学 |
| SOLEX | SELEX(RNA aptamer 的定向进化筛选法) |
| protein gym | ProteinGym |
| TraChim / Cray-GEM / RNA-GEM | ⚠️ 推测为 TraitGym / RNA-Gym 等变异效应 benchmark,本库不确定,按音记录 |
| the attack(在"epigenomics, the attack, chromatin accessibility"中) | ATAC(-seq) |
| Big Generation Sequencing | Next Generation Sequencing(NGS) |
| wet lap | wet lab |
| rental country | ⚠️ 推测为 rival country |
| trillions of patients | trillions of agents |
| Radical Miracles | Radical Numerics |
| RJ Honake / RJ Honakee | ⚠️ 本库此前已记录该名在不同期字幕里拼法不一(RJ Honiki / Honakee),两处拼写都保留,不做统一认定 |
| Miraomics / Mirror Omix | ⚠️ 同上,不做统一认定 |