跳转至

a16z：为什么下一批突破可能来自实验室之外——把 x-risk 换成具体安全问题，以及"创新中心已经移动了"（2026-09-26）

  • 嘉宾: Aaron Levie（Box 联合创始人兼 CEO）、Martin Casado（a16z 普通合伙人，Nicira 联创，Stanford CS 博士，曾在 Lawrence Livermore 国家实验室核武项目工作）、Steven Sinofsky（a16z board partner，前微软 Windows 总裁）
  • 主持: Erik Torenberg（a16z）
  • 来源: YouTube · 55 分钟（英文自动字幕）
  • 转录稿: sources/a16z/20260926-TLJNJDf2XGo

说话人认定依据：自动字幕只有 >>，没有姓名标签。四人名单来自视频简介。本页的逐段回填依据是自述的不可替代细节： - Martin Casado = "I used to work for Lawrence Livermore National Labs on a weapons program"（[00:06:04]）、"at Stanford during our PhD… the oscilloscope was kind of janky"（[00:44:23]）。 - Steven Sinofsky = "with Windows XP… we added this thing that prompted you… user account control"（[00:43:23]）、"Microsoft came along like we were just like what?"（[00:18:10]）、"I worked at a missile factory in college"（[00:09:04]）。 - Aaron Levie = 开场被主持点名（[00:00:00]），以及"we've kind of done a lot of work in this space… do you want to give an agent your entire file system"（[00:40:21]，Box 的文件权限视角）。

⚠️ 三人中两位都有军工/核设施背景，第三段的"covert channel"往返里谁说哪一条时有交错，本页在不确定处写"其中一位"。

概要

这一期与同周的 All-In 第 290 期 讨论的是同一批事件（Dario 的 "pacing the frontier" 一文、"10% 灭绝概率"的公开表态、Bernie Sanders 的禁令），但方法论完全相反：All-In 谈的是政治与估值，这一期谈的是"要监管什么，得先有具体的失败模式"。

⚠️ 本页认为本期最该被单独引用的，是它给出了一个可复用的论证模板（[00:36:20]，Casado 自己点破）："我们识别出了一个新风险——网络安全，我们有实证据点，现在我们在谈解决方案。整个 AI 讨论都可以是这个形式，而最大的错误就是它一直不是。"

后半段则是本库第一份"创新中心从模型层移到模型外"的完整论证（[00:52:27]–[00:54:28]）。

本期最该被单独引用的五条

  1. ⚠️ "pacing 是个错词"（Casado，[00:04:02]–[00:08:04]）：三条反驳——(a) pacing 与安全正交："你可以很慢地造一颗核弹，这不会让任何人更安心"；(b) 没有发布过时间表，就无从谈"变慢"——"要说某件事变慢了，你得先知道它原本的速率"；(c) 它试图同时安抚 pause 派和监管派，结果两边都不满意。
  2. ⚠️ "非零就得国有化"这个二分法（Casado，[00:06:04]、[00:16:09]）：如果实验室里最有知识的一群人真的相信这东西有生存性风险，"答案就是把它国有化，上我们已知有效的管控"。他的观察是：私下交流里最清醒的人并不这么认为，这是个 HR 问题——而"HR 问题是公司问题"，不该用来触发国家级封锁。
  3. ⚠️ 词汇权之争（[00:12:06]）："整场辩论是 pause、是 swarms、是 rogue。每一个词都是由不想做 AI 的人选定的。"由此推出：亲 AI 一方得先发明新词、再说明对方的词错了，而这需要太多字数，所以在政治上天然处于守势。他们预测 2028 年大选会是"AI 大选"（[00:12:06]）。
  4. ⚠️ agent swarm 的安全模型是"内部人变成软件"（[00:34:19]–[00:36:20]）：此前信息安全靠的是"95%–99% 的人在大多数时候会做对的事"，恶意员工大概万分之一；agent swarm 把这个前提翻过来了——它们是"漫游的无人机，乘以一万，而且会轻易把一个好任务误认成坏任务"。具体后果：没人以为公司内部的 GitHub、Slack、报销工具会被 DoS，但 swarm 看起来就很像 DoS，于是需要一整层新的内部审计（谁在做什么认证、调了哪些 API）。
  5. ⚠️ "创新中心已经移动了"（[00:52:27]–[00:54:28]）：由 Jeb/Jev 这类"决策引擎"模型触发的论证——LLM 生文本很贵也过于复杂；如果你给它一组选项让它选最优，就能训得又快又准。Casado 说这是"自 ChatGPT 以来最快的 AI 模型采用"。Sinofsky 把它接到计算机科学史上：这等于把 1960–70 年代的概率式编程（probabilistic programming）重新激活——"if 语句不再是 if always，而是 if x%"。

一、对 "pacing the frontier" 的三段式拆解

来源：a16z 2026-09-26

Levie：内容没问题，气氛全错

  • 他先划出共识（[00:01:00]–[00:02:00]）：任何前沿实验室都应该以最安全的方式建设，"没有极高质量、能被企业信任、不会到处黑系统的产品，就不会有 AI 扩散"。他读 Dario 那篇文章"几乎没有不同意的地方"，因为内容全是沙箱、更好的测试、安全性。
  • ⚠️ 他真正的担心在"会被用来做什么"（[00:02:00]–[00:03:01]）：这篇文章本身合理，但可能被拿去换成大幅拖慢 AI 的监管控制，或者被政客接过去走向更坏的结果，比如更快地禁数据中心。
  • ⚠️ 他给的重新命名（[00:03:01]）：与其叫 pacing，"也许这根本不是 pacing，只是良好的卫生习惯和工程"——而好工程带来的那点减速，恰恰换来扩散的加速，因为没人信任就没人用。
  • ⚠️ 他也是唯一替"又害怕又在推进"的研究员说话的人（[00:05:02]–[00:06:04]）：那种"我们必须在 AI 最前沿，我也非常害怕它，所以我才在做这个"的人是真实存在的。

Casado：气氛不是小问题，它让两件事无法调和

  • 他的核心矛盾（[00:03:01]–[00:04:02]）：同一天里，一名员工在电视上说"有 10% 的物种灭绝概率"，而 Dario 说"我同意他的多于不同意的"——在这个背景下，那篇文章看起来就像完全不足以应对任务的温吞妥协。
  • ⚠️ 他要求的是一个明确立场（[00:13:06]–[00:15:08]）："我不理解为什么实验室不对 x-risk 表态。缺了这一步，我不觉得这件事会走向除了重手监管以外的任何方向。"他提出一个可说的版本——"我们不认为物种灭绝的边际风险与既有技术不同"——但随即被追问"如果他们真的认为更高呢"，他的回答回到那个二分法。
  • ⚠️ 他对 Dario 拒绝给概率的评价（[00:13:06]）：同意有 x% 灭绝概率的人，却特意说自己不给百分比，"这是最奇怪的事"。（另一人打趣"那我们二分查找吧，是更多还是更少"。）
  • 他承认的另一面（[00:17:09]–[00:18:10]）："我其实认为实验室在往正确方向走，那份声明本身很好。"他把问题归到成长速度——"长得太快，还在搞明白这套机器怎么运转。"

Sinofsky：技术行业一百年没学会怎么和政府打交道

  • ⚠️ 他的核心机制论（[00:10:04]–[00:11:04]）：你以为在跟政府谈你想要的方案，但政府在听所有人说话，而在我们的制度里任何事都是妥协——"100% 的时间里，产出要么不够远，要么走得太远。"结论："如果他们要的是 pacing，他们会拿到错误的速度。"
  • 历史清单（[00:18:10]–[00:19:11]）：AT&T 和 IBM 生来就近似政府垄断、1960 年代养着数百名律师，照样双双被反垄断诉讼，并被结构性改变；微软"完全不知道发生了什么"。
  • ⚠️ 他给出的正面先例是好莱坞（[00:19:11]）：在红色恐慌与审查威胁下，片厂们自己成立了美国电影协会、搞出分级制、自我监管。这引出本期一个没有结论的争论——FINRA 式自律是不是 AI 的最好结局（[00:19:11]–[00:21:11]）。Casado 反对，理由是 FINRA 会变成立法，随之而来的是直接监督，本质上是把风险国有化；但他也承认"FINRA 大概就是最好情况了"。
  • ⚠️ 他真正最怕的那条（本页认为是全期最具体的预测）（[00:41:22]–[00:43:23]）："欧洲决定 GDPR 是有史以来最好的东西，然后对 AI 来一遍 GDPR。"具体形态是：任何 agent 触碰第三方产品的动作都要弹一次同意框，像安全带提示一样。他给的机制解释是"监管者喜欢提示框，因为它是责任分配，有法律先例"，而他的历史证据是 Windows XP 的 UAC 与 Word 宏警告——所有人最后都只是一路点确认，于是变得麻木，于是"那就得弹得更大"。他补了一条结构性理由：美国大约 15 年前不再在科技反垄断上领跑，所以欧洲会领跑，因为欧洲没什么可失去的。

二、"先有事故，再有政策"：本期最实证的一段

来源：a16z 2026-09-26

  • ⚠️ 他们共同的论点是我们正在做一件反常的事——预测什么会变坏（[00:23:11]）："照互联网这个阶段，我们早就造成了几百亿美元的经济损失，蠕虫干掉过 10% 的基础设施，医院宕过机。"Sinofsky 补的细节是 2001 年之前，你没法把一台 PC 接上网而不被感染。
  • ⚠️ 由此 Levie 反推出一句让对方承认的话（[00:24:12]）："如果 1994 年是这种 zeitgeist，我们大概不会有互联网。"
  • 他们给的"政策应当来自具体事实模式"的样本（[00:25:12]–[00:26:12]）：1986 年的《计算机欺诈与滥用法》来自 1983 年两拨黑客侵入 GTE Telenet 这一具体场景，花了两年半才立法——而正因为具体，法律才管用（它就是那条"不得未授权访问计算机系统"）。后来又因为白帽屡屡误伤，加了修正与司法部备忘录，明确不因违反使用条款起诉。
  • ⚠️ 他们对现状的判断（[00:26:12]）："我们大概 90% 的法律在应用层已经有了。"
  • ⚠️ 本期对实验室最直接的一条批评（[00:27:12]–[00:28:13]，Sinofsky）：实验室与安全社区之间有一道裂缝，安全社区看完这些事后复盘反复得出两个结论——"草率"，以及"你没有把发生了什么讲全"。他的具体要求是：CVE 这套结构化报告流程 1980 年代就从 CMU 出来了，有明确义务和格式，不知道为什么这里完全不用。他的措辞很硬——"在他们做到那个之前，他们真的该少说话"，因为现在的复盘"看起来像实习生写的，那不是复盘，那是选择性记忆"。

从 Noam Brown 的"热信道"说起：本库一次跨播客的直接接续

⚠️ 本节是对 Dwarkesh × Noam Brown 那期 的直接回应（[00:28:13]–[00:31:17]）：

  • 被讨论的原话大意：超级智能可能用 CPU 的热来把自己渗出（exfiltrate）到另一台机器上。这条在 X 上被安全圈嘲讽了一轮。
  • ⚠️ Casado 的表态是替 Brown 辩护的："我其实认为渗出风险是真的。我在高度涉密的计算环境里工作过，covert channel 令人难以置信。""也许热不是做这件事的方式，但那个层级的精巧程度是真实的。"
  • 他们随后堆出的真实 covert channel 清单（[00:31:17]–[00:33:19]）：Tempest 攻击（用电磁辐射泄漏信息，所以有人来办公室量显示器间距）、BIOS 的扩频、音箱作为高带宽信道（所以把音箱拆掉）、国防部对显卡的要求是断电瞬间屏显内存必须清零，延迟 3 秒就能被读走；以及本期被称作"最疯的一个"——CRT 屏上最亮的是光栅束当前所在的那个像素，所以按同样的赫兹采样窗户的颜色就能重建屏幕内容，进一步还能篡改三个像素当作单向发信通道。
  • ⚠️ Casado 认为这场争论的价值不在结论："这是我第一次看到硬核系统的人在做建设性讨论"——两个社区（x-risk 与安全）第一次被桥接起来，他希望看到更多。

三、agent 时代的访问控制：本期的建设性部分

来源：a16z 2026-09-26

  • ⚠️ 问题陈述（[00:34:19]，Sinofsky）：真正没被想清楚的是——AI 可以在极短时间内把所有这些手段都试一遍，它不累、不无聊。
  • Levie 的产品侧版本（[00:40:21]）：现在的 agent 权限只有两档——每次都问你，或者它可以直接删光你的电脑。"我们的操作系统大概不是为'该给 agent 哪个粒度的工具集'设计的。"他举的具体形态是按目录给读/写不同权限，难点在于怎么让它对用户直觉。
  • ⚠️ Casado 的回应是本期最反常识的一句（[00:36:20]–[00:37:20]）：这里没有技术限制——多层安全（MLS）、操作系统研究早就考虑过这些威胁模型，"它没被采用，一直只是个可用性问题：太难维护，而且你不必维护。"

    ⚠️ "所以你可以论证 AI 解决了可用性问题，因为是 AI 在用它。" 由此他推出：可能会迎来操作系统、网络、编程语言的一次文艺复兴，回头把老研究翻出来，重建 secure-by-design 的系统——而且 AI 很聪明，可以帮我们建。

  • Sinofsky 给的可迁移历史（[00:38:20]–[00:39:20]）：一堆当年完全良性的功能后来被关掉——Word 宏、插入 CD 自动运行程序；而 iPhone 开箱现在会先强制更新系统、在更新完成前什么都做不了。他的类比是：双因素五年前还不是标配；2015 年前后每家做企业版的公司第一件事都变成了接 Okta 或 Google 登录，因为它们没法自己管目录。"所以在你甚至算得上软件之前，有一大堆事必须先发生。"

四、"创新中心已经移动了"

来源：a16z 2026-09-26

这一节是本期后半最该被主题页接走的部分（[00:47:24]–[00:54:28]）。

  • 触发点（[00:47:24]）：Levie 引 Nick Bostrom 近期一期播客的观点——过早监管 AI 其实什么也解决不了，你还是有同样的风险，但你不理解这个系统；换句话说"你把这东西意愿成了存在，却没搞清怎么控制它"。
  • ⚠️ Casado 对"决策引擎"模型的解释（[00:48:24]–[00:49:25]）：
  • 历史包袱：LLM 生来是 text-in/text-out，来自聊天，是为了和人沟通；而我们花了好几年试图把这个吐文本的东西塞进传统程序——"传统程序并不讲文本"，于是变成在 prompt 里塞 schema、模型还经常忽略它，"一直特别糙"。
  • 新做法：读文本、保留全部理解能力，但不生成文本；给它一组选项，它选最好的那个。"我们可以做得极快、极便宜，而且因为可以专门为此训练，准确率也高得多。"
  • 结果：对所有不是在跟聊天机器人说话、而是要塞进传统软件的用例，这是绝配——"这大概是自 ChatGPT 以来最快的 AI 模型采用，因为我们都为它准备好了。"
  • ⚠️ Sinofsky 加的两层，本页认为比上面更值得引用（[00:49:25]–[00:51:27]）：
  • 交互效率："从来没有任何用户研究表明，用完整自然语言和计算机交互是高效的。"他给的检验很朴素——会议里能问出好问题的人不到一半；而且"你还得付钱看着七段文字一段段吐出来，最后它再道歉。"
  • ⚠️ 概率式编程的复活：这种模型的输出天生是为概率式编程设计的——不是"这是不是客服问题"，而是"这有 80% 是客服问题"。他指出计算机科学有大约 50 年关于"概率式 if 语句"的研究：1970 年代之前的编程大多是模拟（"发射导弹打中目标，但有风，而风不是常量"），这门学问在 1980 年代被会计式编程取代而死掉了。"所以计算机科学里最酷的位置，将会是概率式编程。"
  • ⚠️ Casado 对"为什么不是实验室做出这个"的解释（全期最锋利的一句）（[00:52:27]）：

    "这不算指控，而是对他们思维方式的一种映照：他们在试图创造存在物（beings），而存在物会说话。如果你想创造神，神是用自然语言说话的。而这件事其实是关于给传统软件用的东西，那不是他们一直在走的方向。"

  • ⚠️ Sinofsky 的收束，以及平台层的一般规律（[00:53:27]–[00:54:28]）：最酷的是这件事发生在模型之外。他给的机制是平台的普遍命运——一旦你成为平台，无论加多少人都会被"让它跑着 + 兼容性"淹没，于是外部开始出创新（Apple 社区管这叫 sherlocking）。

    "所以我认为这是一个信号：人们已经搞明白了，有创新可做——是对着模型做，但在模型之外。"

相关页面