今年 90 多个零日、20 条 kill chain 没有一个模型走过 8 条,以及"人留在检测与响应环里就一定太慢"(a16z / Kevin Mandia,2026-10-06)¶
- 嘉宾: Kevin Mandia(Armadin 创始人兼 CEO;Mandiant 创始人,2004 年创办、后被 Google 收购;自述在安全行业 30 年)
- 主持: David George(a16z 成长期投资负责人)
- 来源: YouTube · 48 分钟
- 转录稿: sources/a16z/20261006-cJsHel27Z6M
说话人认定:自动字幕,只有
>>换轮标记、无姓名标签。身份取自视频简介。分工极清晰——所有第一人称的 Mandiant / Armadin 事实与攻防一线经验为 Mandia;所有提问、类别演化框架(AV → EDR)与"我们很高兴成为你们的合作伙伴"为 George。⚠️ 有两处反向佐证:Mandia 全程直接称呼主持人 "David"(如 [00:11:07]、[00:32:22]),且 [00:36:24] 他举例时用的就是 "David George has to find the malware and submit it to us"。⚠️ 公司名与人名还原(自动字幕):Armadin(字幕作 "Armadin" / "Armaden" / "Arman's" / "Armenan" / "Armed in" / "Armad" 等六种以上写法,以视频简介的 Armadin 为准)、Mandiant("Mandette" / "Mandian" / "Mandy" / "Mandant")、George Kurtz("George Curts",CrowdStrike 创始人)、Foundstone("Found 2000",他与 Kurtz 共事过的公司)、Palo Alto Networks("Pan")、Fortinet("Fordinets")、Tenable / Rapid7 / Qualys("the tenable the rapid 7 the qualice")、Wiz("Whiz")、METR("the meter publication")、Anthropic("entropic" / "Enthropic")、CISO("siso" / "sysos" / "sister's")、SOC("sock")、vulns("vans")、CVEs("CVS")、tedious("tedial")。 ⚠️ 三处本库无法确定还原,不做解读:① 他列的三位联合创始人,字幕作 "David Slater"、"Travis Lam"、"Evan Pñena"——本页照录字幕拼写并标为未核实;② [00:26:17] 与 [00:32:22] 两处出现的 "at a regular" / "whoever had a regular labs",从上下文看是在与 OpenAI、Anthropic 并列地点某个实验室,但本库无法还原是哪一家,故本页在引用该处时略去该名;③ [00:44:30] 的 "you get the halo trade secrets" 一句语法断裂,本页只取他紧接着给出的完整论证。
⚠️⚠️ 本页的利益相关声明,本库认为这一期需要标到最重:这是投资方频道访问自己的被投公司,而主持人在收尾时明说"我们非常兴奋你在建的东西,也很高兴成为你们的合作伙伴"([00:47:31])。 ⚠️ 嘉宾本人此前也在做风投(他自述"我在做 venture",[00:02:00])。 ⚠️⚠️ 公司的全部业务与性能声明——90 多个零日、25000 个协同 agent、20 条 kill chain 的测试结果、"我们职业生涯里红队过 Fortune 100 里的 99 家"、与 CrowdStrike 和 Palo Alto 的合作——都是自述,本库一条未核实。 ⚠️ 他本人在期内对自家产品用了"你必须有这个,而且你能有,那你为什么不要呢"这种销售式表述([00:15:11]),本页不采用其中的结论性评价。
✅ 但本页认为这一期的价值很高,而且不在那些声明上,而在四段本库此前没有的东西:① ⚠️⚠️ 一组关于"开放权重 vs 闭源在攻击能力上几乎没有差距"的内部测试结果,而它同时给出了差距落在哪里(速度与成本,不是能力);② ⚠️⚠️ 本库第五份关于 OpenAI–Hugging Face 事件的材料,而这一份来自一位职业事件响应者,并给出了一条可操作的结论:安全 agent 需要领域专家来写 eval;③ ⚠️ "匿名 GPU 可得性"被指为犯罪侧 AI 攻击爆发的闸门,这是本库第一次看到这条变量被明确点出;④ ⚠️ 一份把自家攻击型 AI 关起来的具体做法清单,包括一条很反直觉的运行实况——"我们杀掉一个 agent 的大多数时候跟安全无关,是它在浪费钱"。
概要¶
- ⚠️⚠️ 本期最该被长期引用的一条内部测试结果,本页认为它对"开源 vs 闭源"这条线有直接后果([00:29:21]–[00:31:21]):他们构造了 20 条完整 kill chain——"都是人在真实世界里、在不同受害者站点上实际做过的,以及我们有经验的操作员在测试网络时做过的"。
- ⚠️⚠️ 结果:"我们没有一个模型走完超过 8 条完整 kill chain。"(即 20 条里最多 8 条。)
- ⚠️⚠️ 而他自己标出"这里有件怪事"的那一条,是本页认为全期最硬的一个发现:"顺便说,我们测了开放权重的那些,和最先进的闭源模型。它们全都是 8 条。"
- ⚠️ 差距落在哪里他说得很具体:"所以全部差别就在速度和成本……闭源模型找到可利用风险更快,但这一点正在被压下来,而我们让开放模型跑得更久一些,它们到了同一个地方。" ⚠️ 他对成本的补充很明确:主持人问"那是不是成本上也一样",他的回答是 "成本上不一样"。
- ⚠️ 他对这条的概括:"所以在网络安全这个领域,闭源与开源之间的区分没有别的领域那么大,而且它在被压缩。" ✅ 本页标注:这是本库第一份把"开源差距"按领域分开讨论、并给出同一套内部测试双方同分的材料。它与本库中美对照线上"若中国先有前沿模型"那组讨论直接相关。
- ⚠️⚠️ "人不能留在检测与响应的环里"是他给 CISO 的核心结论,而论证是速度([00:21:14]–[00:22:15]):"我可以告诉你这件事:如果你的检测与响应环里有人,你就会太慢。它就是不会好好起作用。"
- ⚠️ 他把三段式重新分配了一遍:"你有 prevent、detect、respond。prevent 将由 AI 治理,detect 和 respond 将由 AI 来做。"
- ⚠️ 而他给的趋势是三个阶段的窗口都在收窄:"我看到的就是每一个阶段的窗口不断收窄,收到我们其实不会做很多检测与响应——因为做它的那个窗口……事情就已经发生了。有点太快了。"
- ⚠️ 但他没有因此放弃纵深:"你仍然得在某种程度上有那层洋葱皮——系统备份系统,并且假设某处会失效。"
- ⚠️⚠️ 而支撑这条结论的那段一手观察,本页认为比结论本身更该被记住([00:22:15]–[00:23:16]):"我们在 Armadin 已经做过这件事了——当我们打进去、并且有了带 agent 意识的内部命令与控制(command and control),它扩散的速度是令人震惊的。"
- ⚠️ 他拿人工操作做对照:"我记得作为一个人,你在键盘上敲,我想用这个口令从这里横向移动到那里,你太慢了,你一次只做一件事。而这个东西一次做一千件事。"
- ⚠️⚠️ 他给的意象很极端:"糟糕到这个程度——就像气球被扎破了。有人进来了,然后他们就没了(指无从追踪),整个防御装置啪一下就爆了。"
- ⚠️ AI 攻击今天的"指纹",本页认为这是本期最具体的一条可操作识别特征([00:04:03]–[00:05:05]):"当你响应一次 AI 攻击,你能很快分辨出它是 AI。" ⚠️ 他给的具体破绽:人类入侵是A → B → C 的推进,而AI"会打进 A 点,然后横向移动到 B 点,接下来你就发现它又在试着打进 A 点"。
- ⚠️ 他的评语:"我理解无人机蜂群,但你大概可以协调得、思考得稍微好一点。" ⚠️ 他也说明这是时点性的:"今天就在这个水平。它会变得更好、更干净。"
- ⚠️ 他给的规模与速度对照:"AI 在一微秒里做的事,要 70 个人类才行——他们甚至做不到。这是苹果和橘子。" ⚠️ 而结构性差别在路径数:"人类总是只能找到进入一个网络的一条路径……他们必须有所选择,因为他们必须把有限的资源投到一条直接路径上。"
- ⚠️ 他为什么认为 AI 在这件事上一定行,理由是任务的结构性([00:06:06]):"我们不需要最花哨的模型。我们不是在拿我们的模型讲 400 种语言。Armadin 在攻击侧做的是找漏洞、找可利用风险。那是代码,那是一门结构化的语言、一个结构化的过程。因为它是结构化的,AI 会非常擅长它。"
- ⚠️⚠️ 而他由此直接否定了"为了网络安全该放慢模型"这条政策主张,本页认为这是本期最该被接到安全主题页上的一条立场([00:06:06]):"所谓'我们放慢模型吧,我们不想网络风险太晚'——开放模型已经足够好了,而这些东西现在很常见。"
- ⚠️⚠️ 那么犯罪侧为什么还没爆发?他给的闸门是一条本库此前没有的变量([00:06:06]–[00:07:06]):
⚠️⚠️ "这只是一个时间问题——你一旦有了 GPU 的匿名可得性,你就会看到多得多的犯罪攻击。"
- ⚠️ 他的论证是犯罪学式的、而且他自己开玩笑地点明了:"在人们知道你名字的情况下很难犯罪。如果你能匿名犯罪,那比穿着印着你名字的球衣去干要聪明得多。"
- ⚠️ 他对当前阶段的定位:"我们处在 AI 攻击到来的悬崖边上、还在第一局,而我认为这只是因为模型的成本与可得性对犯罪分子还没有将来那么容易拿到。"
- ✅ 本页标注这条为什么重要:它把"犯罪侧 AI 攻击何时爆发"这个问题从模型能力转移到了算力的身份可追溯性上——⚠️ 而这是一个基础设施与 KYC 层面的变量,不是模型层面的变量。本库认为这条可检验、也可被政策直接作用,值得长期跟踪。
- ⚠️ 国家级攻击 vs AI 攻击:狙击 vs 无人机蜂群([00:07:06]–[00:09:07]):"现代国家在攻击侧大体上限制自己的目标选择,并且在非常具体的东西上打得很深——比如 30 家国防承包商。" 他给的比喻是"狙击弹,而不是喷射祈祷(spraying and praying)"。
- ⚠️ 而 AI 版本的形状不同:"我觉得用 AI 它会更像一个无人机蜂群……甚至现代国家也在想:我们的协议该是什么?如果我们想攻击这家公司,我们要不要蜂群它、就在它上面烧 token?"
- ⚠️ 他对代价的描述很坦白,而主持人当场把它补完:Mandia 说 AI 版"更潦草一点、更吵一点",主持人说"但更有效",⚠️ Mandia 的纠正是本页认为更准的那个词:"更全面(more comprehensive)。" 然后他承认:"那才是问题所在。你说对了。"
- ⚠️ 他指出的一条当前约束:"现在 AI 在攻击侧不是一个隐蔽的动作……除非你做了大量的 post-training。你可能还得有人在环里真的看着:我们在做聪明的事吗?" ⚠️ 他对"直接 prompt 就行吗"的回答是否定的:"如果你就说'嘿,prompt hack 一下 abc.com',AI 不会以隐蔽而聪明的方式去做。而且我觉得即使你要求它,它也还是不会——除非它被真正训练过、真正受过一些人的影响。"
- ⚠️⚠️ "均衡器"效应与归因的退化,本页认为这是本期对威胁格局最重要的一条判断([00:09:07]–[00:10:07]):"更一般地说,你会看到能力更弱的攻击者——更不技术、更不成功的那些——会显得成功得多。这就是那个均衡器。"
- ⚠️ 防守侧的后果:"在防守侧我们会说我们正在被这些模型攻击,但我们不确定它们背后是谁。是一个国家吗?是一个人吗?我们会有些线索,但归因(attribution)会变得有点困难。"
- ⚠️ 他的概括:"在 AI 时代,它确实把攻击受害者网络所需的、远高得多的专业能力民主化了。"
- ⚠️ "没有伟大的进攻,你就没有防守"是他给公司定位的那条体育类比([00:10:07]–[00:11:07]):"想想体育——如果你想成为 2000 年巴尔的摩乌鸦队那样的防守,你得让你训练用的进攻组真的把你逼出来,这样你才知道自己有多好。" ⚠️ Armadin 的自我定位:"我们会是攻击侧的全明星队,朝你压过来,这样你就能用我们正在做的事来训练你的防守。"
- ⚠️ "hyper attack"的机制,本页认为这是本期最具体的一段产品描述([00:11:07]–[00:13:10]):
- 第一步:"把一个 agent 的无人机蜂群扔向你,并给你的网络做测绘——每一个服务、每一条路由、每一个系统、所有资产。" ⚠️ 产出是"我们可能从这次 hyperattack 里得到你网络的若干 TB 元数据,极快地完成";⚠️ 他的说法是"它把你照亮了",结果等于"我们能看到的那个东西的元数据孪生——这是攻击者视角下你的网络"。
- ⚠️⚠️ 第二步是本页认为真正可复用的那条设计:"有了这些元数据,我们现在就只是像心跳一样轮询你:什么变了?什么变了?"——"某个 app 变了吗?某条路由变了吗?某个服务被更新了吗?目标区域里出现了一台新机器吗?" ⚠️ 落点:"这样我们就能便宜地轮询变化,然后攻击那个变化。"
- ⚠️⚠️ 而他对"为什么不能一直攻击"给的两条理由很诚实:"你想要模型不断给你施压,但你不能一直这么干——a,这成本上不可承受;b,这没必要。" ⚠️ 他给了三个触发条件:① 威胁变了("新模型出来了、有新情报了");② 你的网络变了;③ 你就是想测一下("我们明天有董事会,看看我们表现如何")。
- 一个一手例子([00:12:08]):"上个周末某个流行产品出了一个零日,而我们已经有了那个心跳——我们直接轮询了这个问题。"
- ⚠️ 他给的目标是把 CVE 到"是否可利用"的判断抢到攻击者之前([00:13:10]):"不是所有 bug 都允许以稳定的方式获得对你系统的人类访问权。所以不是所有 bug 生而平等。"
- ⚠️ 成本的限定他自己给了:"在小网络上花不了多少钱。但在一个一直在变、而且非常大的网络上,你得轮询得相当频繁,才能保证你没有一个暴露窗口。"
- ⚠️⚠️ "渗透测试已死"这一节里他给的区分,本页认为是本期最该被当作定义保存下来的一段([00:14:11]–[00:18:13]):
- ⚠️ 他对渗透测试(pentesting)的定性:"渗透测试对我来说一直只是扫描那些已经已知的东西,而且它并不证明你是否真的可被利用。所以它总是造出一个更长的、无关紧要的漏洞清单。" 他点名旧版本的 Tenable、Rapid7、Qualys"更像是一种卫生动作"——"我在外面有什么、哪些服务暴露了、针对这些服务有没有可用的 CVE。"
- ⚠️⚠️ 而他对 AI 攻击的区别给了三条,本页认为这三条就是本期的技术主张:"当你有一次基于 AI 的攻击,它会在自定义应用里找出逻辑缺陷(logic flaws)而不是代码缺陷(code flaws)。它会一直把所有路径走穷。" 第三条是前面那条 agent 的记忆性——"不是用一个会思考、会学习、会记住并了解你基础设施的技术去打你的基础设施,而 AI agent 可以。"
- ⚠️ 红队 vs 渗透测试他划得很清楚:"渗透测试对我来说是一个卫生步骤。我觉得随着时间,如果能做得到,所有人本来都会一直把一切都红队一遍——以前这在成本上和人力上都不可承受。" ⚠️ 落点:"所以我觉得它会随时间取代渗透测试。那只是一个红队压过来会做的事情的一小部分。"
- ⚠️ 他对"扫源码找出几千个漏洞"的评价只有一个词([00:17:12]):"那是噪声。" ⚠️ 他对自家方法的强调是黑盒:"我们在扫网络时没有源码可审。我们不是用源码找到这些零日的。我们是黑盒、从互联网过来的。"
- ⚠️⚠️ 90 多个零日这组数字,本页完整记下并标注它全部为自述([00:16:12]–[00:17:12]、[00:34:24]–[00:35:24]):
- ⚠️ "Armadin 从今年、也就是 2026 年一月以来,我们在客户站点上找到了 90 多个零日,全部在生产环境里。" ⚠️ 他对客户规模的说明:"这不是什么小作坊公司,这些是 Fortune 500 级别的公司。"
- ⚠️ 他主动否认这是在制造恐慌:"我不是把这个当作 FUD(恐惧、不确定与怀疑)来说。" ⚠️ 他给的差别归因是 post-training 的人:"我们用真正的红队成员、真正能开发利用代码的人对我们所有模型做了后训练。"
- 流程:"我们通常在 48 小时内给一位 CISO 打电话:嘿,我们在你的 DMZ 里拿到了远程代码执行。" ⚠️ 他对客户反应的描述:"那些公司会直接进入事件模式,他们当作一次真实事件来响应。而那不是一次渗透测试,那是一个真实的对手压过来。"
- ⚠️⚠️ 而本页认为这一期最有分量的一条"交接点"证据在这里([00:34:24]–[00:35:24]):"当我看我们那 90 多个零日,大多数是人找到的"——⚠️ 但人之所以能找到,是因为"我们在用 AI 做 90% 以上的繁琐工作,也就是自动化的 web app 渗透测试,以创造性的方式做到第 98、99 百分位,然后我们还是把人放上去"。
- ⚠️⚠️ 然后是那个转折:"但这里开始有意思了,David——最后那几个零日是技术自己找到的。" ⚠️ 他的定性:"所以我们已经转过弯了。而大多数人其实已经转过弯了——如果你在攻击侧用 AI,你的 AI agent 正在找到零日。"
- ✅ 本页标注:这是本库第一份给出"从人找到机器找"这一交接发生在何处的一手描述,而且它附带了分母(90% 以上的繁琐工作已自动化)。
- ⚠️ "自主防御"(Armadin Blue)的形态与它自己承认的粗糙([00:18:13]–[00:20:14]):"CISO 的北极星应该是有效的自主响应。" 机制是把可利用风险的信息交给防御面(endpoint EDR 或防火墙),并以速度创建补偿性控制(compensating controls)——"这样如果我们比另一个用模型的人早五分钟找到一次攻击,你就已经被保护住了。"
- ⚠️ 他对当前质量的自评很低:"这些保护在出闸时、在接下来几个月里可能是初级的。一年后它们就只是在那儿了。"
- ⚠️⚠️ 而他给的那条权衡取舍,本页认为是本期最该被引用的一条判断,因为它明确接受了误伤: > ⚠️ "我宁愿要一个坏的补丁拦住一个坏人进来,也不要一次入侵。所以你得取两害之轻,而其中一个要可管理得多。你永远不想要一个未知的人在你的网络上有任意访问权。"
- ⚠️ 他的类比是战地包扎:"就像战争中的 field dressing。有人被打中了,你把它包起来,但那不是医院,那是'嘿,我们大致把血止住了'。"
- ⚠️⚠️ 而他给 CISO 的那条预判本页认为最该被记住,因为它说这件事不由买方决定([00:20:14]):"所以即使你不要求,你作为 CISO 也会看到自主防御发生——因为你已经投资的那些防御平台。" ⚠️ 他点名的合作方是 CrowdStrike 和 Palo Alto Networks("他们知道这个东西必须存在"),并提到还需要告知 Fortinet 等其它防御平台。⚠️ 本库未核实这些合作。
- ⚠️ 企业侧现状,本页记为一份带时间戳的状态快照([00:24:16]–[00:26:17]):
- ⚠️ 他对双方同时存在的紧迫感的描述很对称:"如果你在伊朗或俄罗斯的攻击侧,你有一种'现在就进去、就位'的紧迫感。而如果你在防守侧,你急着要把每一扇窗都补上。而公平地说,双方的紧迫都是准确的。"
- ⚠️ 他对近期形势给了明确方向:"在 AI 时代我们有近期的痛苦,而它有利于进攻,就这样。" ⚠️ 但长期方向相反:"AI 在防守侧、由 AI 在攻击侧训练、并且是自主的,会比人盯着数据包做得好得多、尽责得多。"
- ⚠️⚠️ 一条他自己说没核实过的覆盖面判断:"我不知道有任何一家大型一线企业没有在积极扫描暴露面、并实时对此做些什么。" ⚠️ 他描述的组织形态是跨部门:"CIO、CISO、产品团队、业务线全都在……几乎像是开战情室——我们得去把这个修了。"
- ⚠️ 他对未来一年的判断是一句很低的话:"没有办法让接下来这一年变得好看。"
- 一条来自主持人侧的一手证词([00:26:17]):"我们最成熟的公司之一告诉我们,他们把工程与研究组织里相当大比例的人直接投向了加固自己的城墙。" ⚠️ 主持人同时给了时点:"警铃开始响是很近的事,就在最近几个月。"
- ⚠️⚠️ 而两人都把那个转折点归到同一件事上,本页认为这是本期关于"威胁感知何时改变"最明确的一条标记:"我觉得 Mythos 是最大的那个。我们在 Mythos 之前很久就看到它要来了,但从营销角度,那个 Mythos 时刻让所有人都说:好,威胁变了。"
- ⚠️ 他对当时普遍反应的描述与他自己的解读不同:很多人说"Mythos 出来了,去找我们自己软件里的漏洞吧",而所有厂商都跑去做了这件事;⚠️ "但我对 Mythos 的反应是:那只是让'AI 在攻击侧正朝你过来'这件事变得人尽皆知。那基本上是一个确凿的盖章:它要来了。"
- ⚠️⚠️ OpenAI–Hugging Face 事件:本库第五份材料,而这一份来自职业事件响应者([00:26:17]–[00:29:21]、[00:31:21]–[00:33:24])。✅ 本页认为它最有价值的不是对事件的评价,而是它导出的那条可操作结论。
- ⚠️ 他对"事后看是可以避免的"这一点很直接:"当你真的事后去读它——啊,他们本来能拦住那个……他们本来可以给它加护栏,一些确定性的东西。而我觉得他们现在意识到了。"
- ⚠️⚠️ 而他给的一般规律是本页认为这一段最该被引用的:
> ⚠️⚠️ "在我经历的每一次技术形态转变里,我们都低估了对手的能力。而在这个案子里,我们低估了模型的能力。"
- ⚠️ 他把这条扩展成一条职业观察:"我整个职业生涯里,所有人都低估你所面对的那个最顶层,因为你不必每天看到它。" ⚠️ 他同时给了这条的边界:"你不想害怕床底下的那个怪物,所以你不想搞 FUD——但你仍然想尊重你正在创造的那些技术,并以一种有意义地被看管的方式去测试它们。"
- ⚠️ 他对实验室处境的解释是组织性的,而且带着一句很重的旁注([00:27:17]):"当你在一场竞赛里,几乎像一场登月竞赛。而你有研发的人,他们在以某种方式做出模型,以至于连那些 CEO 都在说'我们没法放慢它,让我们请政府来帮我们放慢它'"——⚠️ 他的评语是:"那意味着你连自己的创新都控制不了。" ⚠️ 他明确把这条搁置:"我对此有看法,但我们可以改天再谈。" ✅ 本页照录并标注这是一句未展开的立场。
- ⚠️⚠️ 而他给出的那条可操作结论,本页认为这是整期最有价值的一句,因为它是处方而不是评论([00:29:21]):
> ⚠️⚠️ "我从读那些事件报告里真正学到的是:要保障在特定领域里行动的 agent 的安全,是需要领域专业知识的。"
- ⚠️ 他对"为什么缺这个就会出事"的解释很具体:"没有网络安全背景,我明白你会怎么去测一个东西然后说'哦,没想到那个'。" ⚠️ 他把要求落到 eval 上:"你本来需要有一个有经验的团队去看那些 eval 长什么样,说:你知道吗,它会干这个、它会干那个。"
- ⚠️⚠️ Armadin 自己的组织安排正是这条的实现:"这就是为什么 Armadin 把开发利用代码的那类人、红队成员和 AI 的人合在一起——因为我们的 eval 大多数时候是红队成员做的。他们才是懂这些东西的人。"
- ⚠️ 他对 METR 那份出版物给了一句点名批评,本页照录并标注它只是观感([00:31:21]):"我确实读了 METR 那份出版物,我当时想,这些人是 AI 的人,但我不确定他们做过很多(攻击实务)。" ⚠️ 他对这件事会重演的预判:"而这会随着形态转变再次发生。"
- ⚠️ 他拿云计算的那次形态转变做对照,本页认为这是本期最好用的一条类比([00:31:21]):"当云开始出现时,我在 Mandiant 以响应入侵为生,我们当时必须学会:一次云入侵长什么样?我们现在必须学会:一次 AI 入侵长什么样?"
- ⚠️⚠️ 他对模型实验室提的那组要求很具体,本页认为这是本期最该被接到安全主题页上的处方([00:31:21]–[00:32:22]):"被用来做这些攻击的 Anthropic 或那些模型公司,有多少数据?你希望他们记录什么?他们自己又会怎么改变行为,以获得更好的审计轨迹、更好的取证能力?"
- ⚠️ 他给的标准是时间:"我们都得成熟到一种程度:当这些东西跑偏时,我们能有问责——你能说出发生了什么、什么时候发生。而且不该是要两周的取证才能搞清楚。"
- ⚠️ 他拿自家做法当对照:"我不太想说,但我们记录我们 agent 做的每一件事——源 IP 地址、时间日期、它做了什么。所以你得能往回走、把这些重放一遍。"
- ⚠️⚠️ 把自家攻击型 AI 关起来的具体做法,本页认为这是本库第一份来自"自己造了那头野兽的人"的笼子清单([00:28:19]–[00:29:21]、[00:33:24]–[00:34:24]):
- ⚠️ 他先把性质说明白:"别搞错,Armadin 做出了我们都在担心的那头野兽。我们做了一个会攻击的模型,我们做了很多个。我们有一个系统会攻击生产网络,而且非常成功地打进去。"
- 基础隔离:hypervisor、主机层面锁死、代理(proxy)——⚠️ 他对"agent 知道代理存在"这件事不介意:"它知道那个代理。它代理过去,那没问题。"
- ⚠️⚠️ 而他说"连我都觉得干得好"的那一条是全量 prompt 旁路审查:"他们被动地、不声不响地看每一个 prompt。我们喜欢它吗?我们不喜欢它吗?"
- ⚠️⚠️ 紧接着的那条运行实况,本页认为是本期最反直觉、也最值得单记的一句:
> ⚠️⚠️ "而大多数时候,如果我们杀掉一个 agent,那大概跟安全毫无关系。是这个 agent 在浪费钱。"
- ⚠️ 他的补充:"所以杀掉它。它跑去追一只野鹅了,追的是我们已经做过、或者不想做的事。" ✅ 本页标注:这把"agent 监控"的实际日常从安全问题改成了成本问题,而本库此前所有 agent 监控材料都把它当成安全问题。本库认为这是一条很有用的实况纠偏。
- ⚠️ 他对分层的要求是假设全部失效:"假设你安全的每一层都会失效,而你必须有确定性的规则来消除某些活动。"
- ⚠️⚠️ 而"笼子该多紧"他给了一条明确的反向限定,本页认为这是本期在安全与能力之间给出的最诚实的一段([00:33:24]):"我会主张把它关得太紧一点,然后放一点出来,找到那条线。因为如果你做得过度确定性——这就是在网络攻击侧跑 AI 的安全艺术所在——你想利用前沿实验室的智能去做事,但不做错的事。"
- 机制:"所以你需要分类器。你需要一个模型去看每一样出站的东西、每一样入站的东西。我们用人去做了这件事,人去点赞、点否,这个好、这个坏。你得训练它、分类、看着它。"
- ⚠️⚠️ 而那条代价他说得很直白:"但如果你太确定性、禁掉太多,你大概就没在利用它的创造力。所以这是一个灰色地带。" ⚠️ 他对这个灰色地带的后果的表述本页认为该照录:"而那个灰色地带的问题就在于,这就是为什么没有人会说'我们 100% 确定我们会得到我们预期的东西'。"
- ⚠️ 他们当前的兜底是人在环里 + 分类器升级:"如果你在检查每一样东西——每一个发给实验室的 prompt、每一样返回的东西——然后有东西回来而我们不知道它到底是什么:暂停、上报、裁决。" ⚠️ 他自述"我们还没出过问题"(本库未核实)。
- ⚠️ 他对"三波情报模型"的梳理,本页认为这是本期最好的一段历史框架([00:36:24]–[00:37:25]):
- ⚠️ 第一波是杀毒(AV)的签名模型,而他对它的批评是把发现成本推给了用户:"如果我们漏了,David George 就得找到那个恶意软件并提交给我们,我们才能变好。那是一个糟糕的模型。我妈不会在她的笔记本上找恶意软件。"
- ⚠️ 第二波是 Mandiant 的事件响应模型:"让我们响应每一次重要的入侵,这样我们就有关于如何防止它再次发生的先手情报。" 他说 Mandiant 的第一条网站标语是"你不能只依赖预防性措施",⚠️ 而他自评"那太无聊了",等价的说法是"安全入侵是不可避免的"。⚠️ 他对当时接受度的描述:"2004 年没人真的相信这个前提,我自己都不知道我有多相信它。"
- ⚠️⚠️ 第三波就是他现在做的事,而他的论证只有一句:"为什么我们要等着一个受害者出现再从那里学?那太荒谬了。你必须先找到你自己的问题。"
- ⚠️ 但他明确没有废掉第二波:"那个模型对于那些以某种方式到了那儿、打赢了你的东西,仍然需要存在。但我们已经有那个模型了,而它就是不够好。"
- ⚠️ 公司建设侧:他列的四条"和 2004 年不同",本页记为一份创业环境对照([00:37:25]–[00:44:30]):
- ⚠️ 他自己把四条总结了一遍([00:43:29]):"所以四个差别:融资、速度、品牌要紧、go-to-market 的搭建。今天你必须比两年前快得多地把它建起来。"
- ⚠️ Mandiant 的对照状态:2004 年 2 月创办、自筹资金、盈利,⚠️ "而且没有竞争,因为没人相信那个前提"。他对现在的判断:"我不知道现在还有自筹资金的公司,David。"
- ⚠️ 他对当下竞争环境的判断很干脆([00:45:31]):"今天的创始人比以往任何时候都多,创业公司比以往任何时候都多,而且他们现在都能融到资。所以你现在选择做的任何事情都会有竞争。不会再有一个 Mandiant——'安全入侵是不可避免的',而且这是对的,而且那里没有别人。那种事现在不会发生了。"
- ⚠️⚠️ 而他给的唯一差异化处方,本页认为值得单记,因为它刻意地不讲技术:"唯一的差异化方式是:拿到客户、让客户开心、重复。除了你的客户基础对你赞不绝口,没有别的东西能让你差异化。" ⚠️ 他对这条的自评:"我刚把我所有的商业秘密都送出去了。这都不是什么火箭科学,老实说这就是商业里一直都有的那同一件事。" 主持人补的那句是"只是现在在超速进行"。
- ⚠️ "光环"要从哪些客户身上拿,他给了一条很具体的排序([00:44:30]):"如果有个地方叫比如 Suz 的纸杯蛋糕店,在网络安全里让他们开心是拿不到光环的。但货币中心银行能、最好的零售能、航空公司能。" ⚠️ 落点:"所以这就是为什么 Armadin 做的是单一的企业聚焦:第一,解决最难的问题。"
- ⚠️ 速度对销售组织的具体后果,本页认为这是本期最有意思的一条组织观察([00:41:28]):"过去开发的速度是:你在一月的 sales kickoff 培训销售,然后你就好了。" ⚠️ 而现在:"我们每两周就不一样了。现在有一个随时保持最新的销售团队,它的形态该是什么?" ⚠️ 他的答案是把频率提到每周:"我们必须创造一个制度化的流程,让销售每周都被培训。"
- ⚠️⚠️ 而他对"AI 会不会取代企业安全销售"的回答是明确的否,本页认为这条值得记([00:41:28]):"当我看 AI 对销售的影响,企业安全销售的现实是人还是从人那里买。是的,你现在仍然需要同样那套 go-to-market 结构。" ⚠️ 而他给的理由恰恰是技术变化太快:"事实上它甚至被强化了,因为技术变得这么快,你不能把'你是怎么变的、它现在在哪'这个负担压在客户身上。"
- ⚠️ 增长速度的参照点与他自己设的目标(本库未核实)([00:39:26]):"Wiz 从第一次发布起 18 个月做到超过 1 亿美元 ARR。我们要试着打破那个。" ⚠️ 但他同时划了边界:"消费 AI 公司创造的那种收入的陡升,我不认为能在企业安全销售里被复制。"
- ⚠️ 他对流程的要求,本页认为这句最锋利([00:40:26]):"你不能靠拼劲、直觉和胆量赢。你实际上必须把它流程化,几乎是工业化。" 配套的一条管理观点是:⚠️ "一个 CEO 的工作就是绝对地把公司里的混乱藏起来、不让员工看到。"
- ⚠️ 他对技术护城河的时效给了一个很短的数([00:43:29]):"我不知道 IP 能持续多久。所以就像你得造一台法拉利引擎,然后说:你知道吗,我们今天做的任何事,别人六个月后就在做。" ⚠️ 他对行业的收尾判断:"在网络安全里,每一个技术栈在接下来两年都会不一样。人会被拔出来、换上新技术,全都得重做。"
- ⚠️ 一条组织形式的偏好([00:46:31]):"我们所有工程师都在一个房间里。我觉得管理分布式团队,比站起来问个问题、房间里 20 个人来回答要复杂。"
- ⚠️ 人员构成(自述)([00:34:24]):"大量经验。15 年攻击、15 年红队。我觉得我们在职业生涯里差不多红队过 Fortune 100 里的 99 家。" ⚠️ 他自己说漏掉的那一家他知道是谁、而且一直没拿下。本库未核实。
- ⚠️ 一条他自己标明未核实的人才外溢数字([00:38:25]):有人发短信说"RSA 主舞台 keynote 的 43% 是 Mandiant 校友"——⚠️ "我从没核实过,但那家伙挺准的。如果是真的我接受这个数据。" ✅ 本页照录并保留他的不确定标注。
核心观点¶
一、⚠️⚠️ 20 条 kill chain 的内部测试:开放权重与最先进闭源模型同分¶
来源:a16z / Kevin Mandia([00:29:21]–[00:31:21])
✅ 本页认为这是全期最该被长期引用的一段,因为它是本库第一份把"开源与闭源的能力差距"按具体领域分开测量、并给出同分结果的材料。 ⚠️ 数据全部自述,本库未核实。
- 测试构造:20 条完整 kill chain,来源是"人在真实世界里、在不同受害者站点上实际做过的,以及我们有经验的操作员在测试网络时做过的"。
- ⚠️⚠️ 结果一:"我们没有一个模型走完超过 8 条完整 kill chain。"(20 条里 8 条。)
- ⚠️⚠️ 结果二(他自己标为"怪事"):"我们测了开放权重的那些,和最先进的闭源模型。它们全都是 8 条。"
- ⚠️ 差距落在哪里:"全部差别就在速度和成本……闭源模型找到可利用风险更快,但这一点正在被压下来,而我们让开放模型跑得更久一些,它们到了同一个地方。"
- ⚠️ 他对收敛形状的描述很具体:"从我看团队那些图的角度,所有的线最后都落在同一个地方……时间、成本,然后叫它有效性或者创造力——在它们所有操作走到边际收益递减的那个末端,它们落在同一个地方。"
- ⚠️ 而成本是唯一的例外:主持人确认"那成本上不是(同一个地方)",他的回答是"成本上不一样"。
- ⚠️ 他的概括:"所以在网络安全这个领域,闭源与开源之间的区分没有别的领域那么大,而且它在被压缩。" 主持人的回应是半同意:"我会说这在某种程度上是一致的,就能力差距至少在小幅收窄这一点上。"
- ⚠️⚠️ 本页标注这条对本库已有材料的后果,而本库认为这是本期影响面最大的一条:
- ✅ 它与本库中美对照线上那组"若中国先有 Mythos 级/前沿模型"的攻防竞速讨论直接相关(见 中美 AI 对照)——⚠️ 如果在攻击侧开放权重模型与前沿闭源模型的上限相同,那么"前沿模型领先"这条防御性论证在网络安全这个具体领域里是失效的。
- ⚠️ 而他本人正是从这里推出了对"为了网络安全放慢模型"的否定([00:06:06]):"开放模型已经足够好了。"
- ⚠️ 本页同时标出这条的局限:8/20 这个结果说明两类模型都远没有走完完整攻击链,所以"同分"也可以读成"同样都不够"。 ✅ 本页认为这是一个重要的歧义,期内没有处理,本页也不裁决——但提醒任何引用这条的人必须带上 8/20 这个绝对水平。
二、⚠️⚠️ "匿名 GPU 可得性"是犯罪侧爆发的闸门¶
来源:a16z / Kevin Mandia([00:06:06]–[00:07:06])
✅ 本页认为这是本库第一次看到"犯罪侧 AI 攻击何时爆发"这个问题被从模型能力转移到算力的身份可追溯性上。
- ⚠️⚠️ 原话:"这只是一个时间问题——你一旦有了 GPU 的匿名可得性,你就会看到多得多的犯罪攻击。"
- ⚠️ 论证是犯罪学式的,而他自己点明了这是在给犯罪分子"提示"(显然是玩笑):"在人们知道你名字的情况下很难犯罪。如果你能匿名犯罪,那比穿着印着你名字的球衣去干要聪明得多。"
- ⚠️ 当前阶段的定位:"我们处在 AI 攻击到来的悬崖边上、还在第一局,而我认为这只是因为模型的成本与可得性对犯罪分子还没有将来那么容易拿到。"
- ⚠️⚠️ 本页标注这条为什么重要,而这是本页自己接出来的判断:
- ✅ 它是一条可被政策直接作用的变量,而且作用点不在模型层——不是模型能力管制,而是算力采购的身份核验。
- ⚠️ 而本库此前关于"算力作为治理与竞争度量"的全部材料(Friedberg 的攻防机器计数、Daniel Ek 的"算力是防御能力的关键指标")都在讨论算力的总量与分配;✅ 这一条讨论的是算力的可归属性。本库认为这是同一条线上一个此前完全空白的维度。
- ⚠️ 它同时与本期第五节的"归因会变得困难"互为因果:攻击的匿名化既来自算力的匿名可得,也来自能力的民主化。
- ⚠️ 本页记下一条本期没有处理的张力:⚠️ 他一边说"开放模型已经足够好了,所以放慢模型没用",一边说犯罪侧还没爆发是因为"模型的成本与可得性"还不够。✅ 本页认为这两句不矛盾——他说的是模型权重已经够好,而缺的是能匿名跑起来的算力——但措辞上确实容易被读反,故在此说明。
三、⚠️⚠️ "人不能留在检测与响应的环里",以及它的一手依据¶
来源:a16z / Kevin Mandia([00:21:14]–[00:23:16])
- ⚠️⚠️ 主张:"如果你的检测与响应环里有人,你就会太慢。它就是不会好好起作用。"
- ⚠️ 三段式的重新分配:"你有 prevent、detect、respond。prevent 将由 AI 治理,detect 和 respond 将由 AI 来做。"
- ⚠️ 而他指出三个阶段的窗口都在收窄到趋近于零:"每一个阶段的窗口不断收窄,收到我们其实不会做很多检测与响应——因为做它的那个窗口……事情就已经发生了。有点太快了。"
- ⚠️⚠️ 一手依据是他们自己攻击时观察到的内部扩散速度,本页认为这比结论本身更该被引用:
⚠️ "当我们打进去、并且有了带 agent 意识的内部命令与控制,它扩散的速度是令人震惊的。我记得作为一个人,你在键盘上敲,我想用这个口令从这里横向移动到那里,你太慢了,你一次只做一件事。而这个东西一次做一千件事。"
- ⚠️ 他给的意象:"就像气球被扎破了。有人进来了……整个防御装置啪一下就爆了。"
- ⚠️ 落点:"所以你得把预防做对,然后在检测与响应上立刻锁死。"
- ⚠️ 他没有因此放弃纵深防御,而这条限定本页认为必须一起记([00:22:15]):"你仍然得在某种程度上有那层洋葱皮——系统备份系统,并且假设某处会失效。"
- ⚠️ 他连自家产品的失效也写进了假设:"即使 Armadin 造出那个力场,早晚会有人绕过它。有人会在我们找到之前、以某种方式在某个平台或某个 app 上造出一个利用——那个 app 还没在客户站点的生产环境里跑过,所以我们没看过它,而别人找到了。"
- ⚠️ 于是陷阱层是必需的,而陷阱层也不能有人:"当他们这么做时,你会希望后面有一个陷阱说:我们有对某系统的未授权或非法访问。那些陷阱就是不能有人在那里。"
- ⚠️⚠️ 而本页认为本节最该被争论的是他那条明确接受误伤的权衡([00:19:14]):
⚠️ "我宁愿要一个坏的补丁拦住一个坏人进来,也不要一次入侵。所以你得取两害之轻,而其中一个要可管理得多。"
- ⚠️⚠️ 本页标注一处与本库已有材料的直接冲突,并认为它值得长期跟踪:本库在 vLLM 那期收录了一份"护栏误杀导致用户流失"的一线证词——⚠️ 那里的结论是过度拦截会把可信用例推向开放权重。 ✅ 两者谈的是不同层(模型输出护栏 vs 网络补偿性控制),但误伤的代价论证方向相反:Mandia 认为误伤可管理,Simon Mo 的证词说误伤会让人走。本页并记,不裁决。
- ⚠️ 他给 CISO 的预判是这件事不由买方决定([00:20:14]):"即使你不要求,你作为 CISO 也会看到自主防御发生——因为你已经投资的那些防御平台。" ⚠️ 他点名 CrowdStrike 和 Palo Alto Networks 为当前合作方,并提到还需告知 Fortinet 等(本库未核实)。
- ⚠️ SOC 的未来他明确拒绝给答案,本页认为这是本期一处值得称许的保留([00:23:16]–[00:24:16]):"每个 CISO 都在检视它,每个厂商都在检视自己在这次 AI 转变中的角色。所以现在一切都会变,但我没法告诉你有谁对它会怎么变是有把握的。" ⚠️ 他说 CISO 们正在检视的三样东西是"他们的人员、他们的编制、他们的流程",而结论是"太早了,说不准它会落在哪里"。
四、⚠️ 渗透测试 vs 红队:他给的那组定义,以及"扫源码找出几千个漏洞是噪声"¶
来源:a16z / Kevin Mandia([00:14:11]–[00:18:13])
这一节由主持人用类别演化框架引出([00:14:11]):CrowdStrike 把类别从 AV 重新定义为 EDR,而"那次类别重定义是建立在重大的基础设施变化与产品变化之上的",于是他问 Armadin 一年前大概会被归到渗透测试这一类,为什么那不是未来。
- ⚠️ 渗透测试的定性:"渗透测试对我来说一直只是扫描那些已经已知的东西,而且它并不证明你是否真的可被利用。所以它总是造出一个更长的、无关紧要的漏洞清单。" 他点名旧版本的 Tenable、Rapid7、Qualys 为"更像是一种卫生动作"——"我在外面有什么、哪些服务暴露了、针对这些服务有没有可用的 CVE。"
- ⚠️⚠️ AI 攻击的三条区别,本页认为这三条就是本期的技术主张:
- ⚠️ "它会在自定义应用里找出逻辑缺陷(logic flaws)而不是代码缺陷(code flaws)。" ✅ 本页认为这条最该被记住,因为逻辑缺陷恰好是已知漏洞库无法覆盖的那一类。
- ⚠️ "它会一直把所有路径走穷(exhaust all routes all the time)。"
- ⚠️ agent 具有记忆与学习:"不是用一个会思考、会学习、会记住并了解你基础设施的技术去打你的基础设施,而 AI agent 可以。"
- ⚠️ 他对自家方法的两条强调:"我们实际上能把那个利用执行出来。我们会验证,所以没有误报。我们能拿到远程代码执行、或者从那台机器上取出数据。";以及黑盒——"我们在扫网络时没有源码可审……我们是黑盒、从互联网过来的。"
- ⚠️⚠️ 他对源码扫描的评价只有一个词,本页认为这是本期最锋利的一句([00:17:12]):"大家都说哇 Mythos 出来了,你可以扫源码找漏洞,你能找到几千个。那是噪声。"
- ✅ 本页标注:这条与他后面那条"Mythos 时刻的真正意义是让'AI 在攻击侧'人尽皆知"是同一个判断的两面——他认为业界从 Mythos 读出的教训(扫自己的源码)读错了方向。
- ⚠️ 红队与渗透测试的关系他定成了成本问题而非方法问题:"渗透测试对我来说是一个卫生步骤。我觉得随着时间,如果能做得到,所有人本来都会一直把一切都红队一遍——以前这在成本上和人力上都不可承受。" ⚠️ 落点:"所以我觉得它会随时间取代渗透测试。那只是一个红队压过来会做的事情的一小部分。"
- ⚠️ 他对"为什么 Armadin 会像 AV 一样普及"的论证,本页标注为销售式表述、不采用([00:15:11]):"你必须有那个 AI 力场……你必须做,而且你能做。那你为什么不要呢?"
五、⚠️⚠️ 均衡器效应与归因的退化,以及国家行为体的学说转变¶
来源:a16z / Kevin Mandia([00:07:06]–[00:10:07])
- ⚠️ 国家级攻击的旧形状是狙击:"现代国家在攻击侧大体上限制自己的目标选择,并且在非常具体的东西上打得很深——比如 30 家国防承包商。" 比喻是"狙击弹,而不是喷射祈祷"。⚠️ 他对动机的说明:"当你为间谍活动、为安全原因而黑,你是用狙击弹来黑。"
- ⚠️ AI 版本是无人机蜂群,而他认为国家行为体正在重算自己的学说:"甚至现代国家也在想:我们的协议该是什么?如果我们想攻击这家公司,我们要不要蜂群它、就在它上面烧 token?" ⚠️ 他列的待决问题很具体:"AI 怎么改变我们的任务是什么?我们是不是以不同方式使用网络域?我们有时蜂群、有时狙击?我们怎么平衡这两者?这取决于风险、目标、我们想多隐蔽吗?"
- ⚠️ 代价与收益的那次措辞纠正,本页认为值得照录:Mandia 说 AI 版"更潦草一点、更吵一点",主持人补"但更有效",⚠️ Mandia 的纠正是"更全面(more comprehensive)",然后承认"那才是问题所在。你说对了。" ✅ 本页标注:从"更有效"到"更全面"这个替换是有内容的——它说明优势来自覆盖面而不是单点成功率。
- ⚠️ 他给的当前约束:"现在 AI 在攻击侧不是一个隐蔽的动作……除非你做了大量的 post-training。" ⚠️ 而他认为单靠提示做不到:"如果你就说'嘿,prompt hack 一下 abc.com',AI 不会以隐蔽而聪明的方式去做。而且我觉得即使你要求它,它也还是不会。"
- ⚠️⚠️ 而本节最该被长期引用的是均衡器效应与它对归因的后果:
⚠️ "更一般地说,你会看到能力更弱的攻击者——更不技术、更不成功的那些——会显得成功得多。这就是那个均衡器。"
- ⚠️ 防守侧的后果:"在防守侧我们会说我们正在被这些模型攻击,但我们不确定它们背后是谁。是一个国家吗?是一个人吗?我们会有些线索,但归因会变得有点困难。"
- ⚠️ 他的概括:"在 AI 时代,它确实把攻击受害者网络所需的、远高得多的专业能力民主化了。"
- ✅ 本页标注这条与本期第二节的关系:归因退化有两个独立来源——能力的民主化(谁都能发起同样质量的攻击)和算力的匿名可得(追不到发起方)。本页认为这两条应该分开记,因为它们的对策完全不同。
六、⚠️⚠️ OpenAI–Hugging Face 事件:本库第五份材料,而这一份给出了处方¶
来源:a16z / Kevin Mandia([00:26:17]–[00:33:24])
✅ 本库此前关于该事件的四份材料分别来自:Sam Altman 的当事方自述与 Sacks 的技术性降温、Simon Mo 转述的 Hugging Face 防守方处置、Dwarkesh 提到的外部正式调查、以及 Greg Brockman 的当事方叙述。 ⚠️ 这一份的位置不同:它来自一位职业事件响应者,而他的落点不是事件评价,是一条组织处方。
- ⚠️ 他对"事后看可以避免"这一点很直接:"当你真的事后去读它——啊,他们本来能拦住那个……他们本来可以给它加护栏,一些确定性的东西。而我觉得他们现在意识到了。" ⚠️ 他对实验室当下状态的判断是正面的:"他们今天大概比三个月前在测试这些东西上好得多了。"
- ⚠️⚠️ 一般规律:
⚠️⚠️ "在我经历的每一次技术形态转变里,我们都低估了对手的能力。而在这个案子里,我们低估了模型的能力。"
- ⚠️ 职业化的版本:"我整个职业生涯里,所有人都低估你所面对的那个最顶层,因为你不必每天看到它。"
- ⚠️ 他给了这条的边界,本页认为这条边界使它不至于变成恐慌论:"你不想害怕床底下的那个怪物,所以你不想搞 FUD——但你仍然想尊重你正在创造的那些技术,并以一种有意义地被看管的方式去测试它们。"
- ⚠️ 他对实验室处境的解释是组织性的,附带一句很重的旁注:"当你在一场竞赛里,几乎像一场登月竞赛……连那些 CEO 都在说'我们没法放慢它,让我们请政府来帮我们放慢它'"——⚠️ 他的评语是"那意味着你连自己的创新都控制不了",⚠️ 而他明确把这条搁置:"我对此有看法,但我们可以改天再谈。" ✅ 本页照录并标为未展开的立场。
- ⚠️ 他对"为什么人才配不上来"给了一条组织性的解释([00:27:17]):"我理解研发的人在追那个创新,而要把他们和那些有技能去给这东西上笼子的、有经验的安全人员打包在一起,真的很难。很难把这两边配起来——因为安全的人不那么懂 AI,而 AI 的人意识不到……"
- ⚠️⚠️ 而那条处方是本页认为整期最有价值的一句:
⚠️⚠️ "我从读那些事件报告里真正学到的是:要保障在特定领域里行动的 agent 的安全,是需要领域专业知识的。"
- ⚠️ 他把要求落到 eval 上,而不是落到模型或护栏上:"你本来需要有一个有经验的团队去看那些 eval 长什么样,说:你知道吗,它会干这个、它会干那个。"
- ⚠️⚠️ Armadin 的组织安排正是这条的实现:"这就是为什么 Armadin 把开发利用代码的那类人、红队成员和 AI 的人合在一起——因为我们的 eval 大多数时候是红队成员做的。他们才是懂这些东西的人。"
- ✅ 本页标注:本库此前关于该事件的四份材料给出的处方分别是"公布完整 prompt 日志与 traces"(Sacks)、"透明披露"(Hugging Face 的做法被称许)、"外部调查"(Dwarkesh 提到的)、"防守方的窗口"(Brockman)。 ⚠️⚠️ 这一份给的是第一条关于人员构成的处方——即 eval 必须由领域从业者写,而不是由 AI 研究者写。本库认为这是一条真正的新增内容。
- ⚠️ 他对 METR 那份出版物的点名批评,本页照录并标注它只是观感、没有给出具体依据([00:31:21]):"我确实读了 METR 那份出版物,我当时想,这些人是 AI 的人,但我不确定他们做过很多(攻击实务)。" ⚠️ 他对这件事会重演的预判:"而这会随着形态转变再次发生。"
- ⚠️ 云计算那次形态转变的类比,本页认为这是本期最好用的一条:"当云开始出现时,我在 Mandiant 以响应入侵为生,我们当时必须学会:一次云入侵长什么样?我们现在必须学会:一次 AI 入侵长什么样?"
- ⚠️⚠️ 他对模型实验室提的那组要求很具体,本页认为这是本期最该被接到安全主题页上的处方([00:31:21]–[00:32:22]):
- 三个问题:"被用来做这些攻击的模型公司,有多少数据?你希望他们记录什么?他们自己又会怎么改变行为,以获得更好的审计轨迹、更好的取证能力?"
- ⚠️ 他给的验收标准是时间:"当这些东西跑偏时,我们能有问责——你能说出发生了什么、什么时候发生。而且不该是要两周的取证才能搞清楚。"
- ⚠️ 自家对照:"我们记录我们 agent 做的每一件事——源 IP 地址、时间日期、它做了什么。所以你得能往回走、把这些重放一遍。"
- ✅ 本页标注:这条把"可审计性"从一个合规话题变成了一个日志字段层面的具体要求,而本库此前在这条线上的材料(白宫协定要求的三条可审计性)停在流程层面。本库认为两者是同一要求的不同粒度。
七、⚠️⚠️ 把自己造的攻击型 AI 关起来:一份来自"造了那头野兽的人"的笼子清单¶
来源:a16z / Kevin Mandia([00:28:19]–[00:34:24])
✅ 本页认为这是本库第一份由一家明确自称"做出了大家都在担心的那头野兽"的公司给出的自我约束做法清单。
- ⚠️ 他先把性质说明白:"别搞错,Armadin 做出了我们都在担心的那头野兽。我们做了一个会攻击的模型,我们做了很多个。我们有一个系统会攻击生产网络,而且非常成功地打进去。"
- 清单:
- 基础隔离:hypervisor、主机层面锁死、代理(proxy)。⚠️ 他对"agent 知道代理存在"不介意:"它知道那个代理。它代理过去,那没问题。"
- ⚠️⚠️ 全量 prompt 旁路审查(他说"连我都觉得干得好"的那一条):"他们被动地、不声不响地看每一个 prompt。我们喜欢它吗?我们不喜欢它吗?"
- 多层验证:"有非常多层的验证在确认 agent 在做正确的事。"
- ⚠️ 假设全部失效 + 确定性规则:"假设你安全的每一层都会失效,而你必须有确定性的规则来消除某些活动。"
- 双向分类器:"你需要一个模型去看每一样出站的东西、每一样入站的东西。我们用人去做了这件事,人去点赞、点否。你得训练它、分类、看着它。"
- ⚠️ 不确定就升级:"有东西回来而我们不知道它到底是什么:暂停、上报、裁决。"
- ⚠️⚠️ 而那条运行实况本页认为是本期最反直觉、最值得单记的一句:
⚠️⚠️ "而大多数时候,如果我们杀掉一个 agent,那大概跟安全毫无关系。是这个 agent 在浪费钱。所以杀掉它。它跑去追一只野鹅了,追的是我们已经做过、或者不想做的事。"
- ✅ 本页标注:这把"agent 监控"的日常从安全问题改成了成本问题,而本库此前所有 agent 监控材料(Onyx 的小守门模型、Atallah 的 decision model 检查器)都把它当成安全问题。 ⚠️ 本库认为这是一条很有用的实况纠偏:如果监控系统在生产中 90% 的触发是成本原因,那么它的设计目标与评测方式都应该随之改变。
- ⚠️⚠️ "笼子该多紧"他给了明确的反向限定,本页认为这是本期在安全与能力之间最诚实的一段:
- 做法上的建议:"我会主张把它关得太紧一点,然后放一点出来,找到那条线。"
- ⚠️ 而代价说得很直白:"如果你做得过度确定性……你想利用前沿实验室的智能去做事,但不做错的事。"、"但如果你太确定性、禁掉太多,你大概就没在利用它的创造力。所以这是一个灰色地带。"
- ⚠️⚠️ 他对灰色地带后果的表述本页认为该照录:"而那个灰色地带的问题就在于,这就是为什么没有人会说'我们 100% 确定我们会得到我们预期的东西'。"
- ⚠️ 他自述"我们还没出过问题"(本库未核实),兜底是人在环里 + 分类器判断何时需要人。
- ✅ 本页标注这一节与本库已有材料的关系:⚠️ Atallah 在三天前那期提出"用便宜快的 decision model 检查每一次 tool call",而本期 Mandia 描述的是同一思路已在一个高风险场景里的生产实现(双向分类器 + 人工标注训练 + 不确定则升级)。✅ 本库记为一次独立佐证:两人互不相关、场景完全不同(模型路由 vs 攻击型 agent),而给出的机制几乎一致。
八、三波情报模型,与"今天建公司和 2004 年的四个差别"¶
来源:a16z / Kevin Mandia([00:35:24]–[00:46:31])
- ⚠️ 三波情报模型,本页认为这是本期最好的一段历史框架([00:36:24]–[00:37:25]):
- ⚠️ 杀毒的签名模型,而他的批评是它把发现成本推给了用户:"如果我们漏了,David George 就得找到那个恶意软件并提交给我们,我们才能变好。那是一个糟糕的模型。我妈不会在她的笔记本上找恶意软件。"
- Mandiant 的事件响应模型:"让我们响应每一次重要的入侵,这样我们就有关于如何防止它再次发生的先手情报。" 第一条网站标语是"你不能只依赖预防性措施"(他自评"那太无聊了",等价说法是"安全入侵是不可避免的");⚠️ "2004 年没人真的相信这个前提,我自己都不知道我有多相信它。"
- ⚠️⚠️ Armadin 的"先找自己的问题":"为什么我们要等着一个受害者出现再从那里学?那太荒谬了。你必须先找到你自己的问题。" ⚠️ 但他明确没有废掉第二波:"那个模型对于那些以某种方式到了那儿、打赢了你的东西,仍然需要存在。但我们已经有那个模型了,而它就是不够好。"
- ⚠️ 四个差别(他自己的总结,[00:43:29]):融资、速度、品牌要紧、go-to-market 的搭建——"今天你必须比两年前快得多地把它建起来。"
- ⚠️ 对照起点:Mandiant 2004 年 2 月创办、自筹资金、盈利,⚠️ "而且没有竞争,因为没人相信那个前提"。他对现在的判断:"我不知道现在还有自筹资金的公司。"
- ⚠️ 而他对竞争环境的判断很干脆([00:45:31]):"今天的创始人比以往任何时候都多……所以你现在选择做的任何事情都会有竞争。不会再有一个 Mandiant——'安全入侵是不可避免的',而且这是对的,而且那里没有别人。那种事现在不会发生了。"
- ⚠️⚠️ 而他给的唯一差异化处方刻意地不讲技术:"唯一的差异化方式是:拿到客户、让客户开心、重复。除了你的客户基础对你赞不绝口,没有别的东西能让你差异化。" ⚠️ 自评是"这都不是什么火箭科学,老实说这就是商业里一直都有的那同一件事",主持人补"只是现在在超速进行"。
- ⚠️ "光环"从哪些客户身上拿([00:44:30]):"货币中心银行能、最好的零售能、航空公司能";小商户不能。落点是"Armadin 做的是单一的企业聚焦:第一,解决最难的问题"。他说 Wiz 做到了这一点。
- ⚠️ 速度对销售组织的具体后果,本页认为这是本期最有意思的一条组织观察([00:41:28]):旧节奏是"你在一月的 sales kickoff 培训销售,然后你就好了";⚠️ 而现在"我们每两周就不一样了",所以"我们必须创造一个制度化的流程,让销售每周都被培训"。
- ⚠️⚠️ 而他对"AI 会不会取代企业安全销售"的回答是明确的否,本页认为这条值得单记:"企业安全销售的现实是人还是从人那里买。是的,你现在仍然需要同样那套 go-to-market 结构。" ⚠️ 而理由恰恰是技术变化太快:"事实上它甚至被强化了,因为技术变得这么快,你不能把'你是怎么变的、它现在在哪'这个负担压在客户身上。" ✅ 本页标注:这是本库第一次看到"技术迭代加速"被用作"人力销售更不可替代"的论证,而本库此前在这条线上的材料方向相反。
- ⚠️ 增长参照点(本库未核实)([00:39:26]):"Wiz 从第一次发布起 18 个月做到超过 1 亿美元 ARR。我们要试着打破那个。" ⚠️ 但他划了边界:"消费 AI 公司创造的那种收入的陡升,我不认为能在企业安全销售里被复制。"
- ⚠️ 流程与管理:"你不能靠拼劲、直觉和胆量赢。你实际上必须把它流程化,几乎是工业化。";⚠️ "一个 CEO 的工作就是绝对地把公司里的混乱藏起来、不让员工看到。";所有工程师在一个房间里("管理分布式团队,比站起来问个问题、房间里 20 个人来回答要复杂")。
- ⚠️ 他对技术护城河的时效给了一个很短的数([00:43:29]):"我不知道 IP 能持续多久……我们今天做的任何事,别人六个月后就在做。" ⚠️ 行业收尾判断:"在网络安全里,每一个技术栈在接下来两年都会不一样。"
- ⚠️ 他回到这个领域的理由,本页记为人物侧的动机陈述([00:01:00]–[00:03:01]):"我不想在我做了 30 年安全、而这整个该死的东西就要变的时候,坐在 AI 的换班期外面。" ⚠️ 他对自己处境的说明很具体:"我在五十多岁不会再去创办一家公司,而且我当时在做 venture。不是'哦我是个创业者、我爱创办公司',不是这样。也不是'我是个 VC',不是这样。我见了这个团队,然后想:我们必须做这件事。"
- ⚠️ 他对三位联合创始人的评价(姓名为字幕拼写、本库未核实):称其中一位为"一代人里才有的天才",另一位为"我说这话是正面意思——天生怪物"。
- ⚠️ 他给自己的分工定位很具体:"30 年安全你会认识一些人,那我们就去找那些人说:我们已经建好了你需要的东西。"
本页与本库已有材料的关系¶
- ⚠️⚠️ 本页认为影响面最大的一条是那组 kill chain 测试:在攻击这个具体领域,开放权重模型与最先进闭源模型的上限相同(都是 20 条里 8 条),差别只在速度与成本。 ✅ 这条对本库 中美 AI 对照 里"若中国先有前沿模型"的攻防竞速论证有直接后果——如果上限相同,那条防御性论证在网络安全领域失效。 ⚠️ 但本页同时要求任何引用都带上 8/20 这个绝对水平:"同分"也可以读成"同样都不够"。
- ⚠️⚠️ "匿名 GPU 可得性"给本库的算力治理线补了一个此前空白的维度:本库已有的材料(Friedberg 的攻防机器计数、Ek 的"算力是防御能力的关键指标")讨论的是算力的总量与分配;✅ 这一条讨论的是算力的可归属性,而对策完全不同(KYC 而非配额)。
- ⚠️ OpenAI–Hugging Face 事件在本库累积到第五份材料,而本页认为这一份的独特贡献只有一条:✅ "要保障在特定领域里行动的 agent 的安全,是需要领域专业知识的"——即 eval 必须由领域从业者写,而不是由 AI 研究者写。 ⚠️ 其余部分(可以被避免、低估了对手、实验室现在好多了)与已有四份材料重合,本页不重复计入。
- ⚠️⚠️ "agent 监控的日常其实是成本问题"是一条对本库已有框架的实况纠偏:Onyx 的小守门模型 与 Atallah 的 decision model 检查器 都把这类系统设计成安全组件;⚠️ 而本期的生产实况是"我们杀掉 agent 的大多数时候跟安全无关,是它在浪费钱"。 ✅ 本库认为这意味着这类系统的设计目标与评测方式都该把成本控制作为一等目标。
- ✅ 而本页记下一次本库认为很干净的独立佐证:Atallah 在三天前提出"用便宜快的 decision model 检查每一次 tool call、不确定就拒绝并给反馈",而本期 Mandia 描述的是同一机制在一个高风险场景里的生产实现(双向分类器 + 人工点赞点否训练 + 不确定则暂停上报裁决)。⚠️ 两人互不相关、场景完全不同,而机制几乎一致。
- ⚠️ 一处与本库已有材料方向相反、本页并记不裁决的冲突:Mandia 明确接受自主防御的误伤("我宁愿要一个坏的补丁拦住一个坏人,也不要一次入侵");⚠️ 而 vLLM 那期的一线证词是护栏误杀会让可信用例流向开放权重。 ✅ 两者谈的是不同层(模型输出护栏 vs 网络补偿性控制),但对误伤代价的判断方向相反。
- ⚠️ 一条与本库"AI 对就业"这条线方向相反的材料:他认为企业安全销售不会被 AI 替代,而理由恰恰是技术迭代加速("你不能把'你是怎么变的'这个负担压在客户身上")。✅ 本库此前在这条线上的材料多把加速当作替代的加速器,这是第一条把加速当作人力不可替代性的来源。
- ⚠️ 一处本库此前没有的"Mythos 时刻"定性:他认为业界从 Mythos 读出的教训(去扫自己的源码)读错了方向——"扫源码找出几千个漏洞,那是噪声";✅ 他认为真正的意义是"让'AI 在攻击侧正朝你过来'这件事变得人尽皆知"。 本库记为一条关于威胁感知转折点的归因。