David Pawlan¶
Assistant Benchmark 的创建者——一个面向消费者的个人 AI agent 横评站。2026-09 上线，录制时已运行 16 天。他本人在纽约。
本库收录他的理由：本库此前关于消费级 agent 的材料都是零散的个人使用报告（Jason 在 All-In 09-26 的实测、OpenClaw 那期）。⚠️ 他是第一个系统横评者——手里有全品类清单、亲测样本、以及收费结构的分布，因此他的判断带着一个本库别处没有的视角：看过全部之后的祛魅。
⚠️ 他给的全部数字都是录制当周（2026-09 下旬）的状态，本库未核实，且这个领域按他自己的说法"过去四周里爆炸了"——极可能已经过时。
核心观点（2026-09）¶
来源：a16z：我们把这一波个人 AI agent 全试了一遍
- 他跑的横评（[00:03:02]–[00:06:03]）：对所有助理发同一条提示词，比一次性提示下的实际结果——做成了吗、会不会追问、16 个维度上如何、回复多快。⚠️ 他对"benchmark"这个词有自我限定："把它想成一个面向消费者的基准，不一定是幕后的技术基准——如果我要订一张机票，我到底该用哪个？"
- 覆盖面（[00:05:03]、[00:47:33]）：⚠️ 全品类 122 个 agent 在跟踪，他个人测了 26 个；收费结构是 65 个收费（35 全付费 + 30 freemium），只有 13 个完全免费——⚠️ 而两个占主导的（Muse、Instinct）都免费。上线 16 天超过 10 万访客。
- ⚠️ 他最该被引用的一条判断（[00:10:07]）："普通人根本不在乎效率提高 10%。" 类比是雇助理——"你雇一个助理，是为了让他隐形……你不是因为喜欢管人才雇人的。" 结论：⚠️ "我们会看到一次爆发，但它不是 cost maker，是 cost saver。"
- ⚠️ proactivity 是护城河，人格不是（[00:24:16]–[00:25:17]）：人格"太容易配置了"（发条短信，它存进记忆或 soul file 就改了）；而 "proactivity 有巨大的防御性——那个最能主动、能当一个隐形助理、不用你开口就开始替你做事的 agent，正是把赢家和大部队分开的东西"。
- ⚠️ 他画的授权边界（本库认为是他给出的最可操作的一条）（[00:26:17]）：你这边不需要任何动作的，可以主动做（起草邮件、替你要到机票积分）；需要你改变行动、且直接影响你的，必须先要授权（发现保险收费过高就替你换一家）。后果是不对称的——⚠️ "只要你越过一次，你就立刻失去用户的全部信任。"
- ⚠️ 对整波产品的祛魅（出自一个测了 26 个的人）（[00:28:17]–[00:29:19]）："消费级 agent 基本就是 Open Claw 的复刻，只是预配置好了。在个人助理这个空间里，我没看到什么是用 Open Claw 或者 Hermes 做不到的。" 真正的差别是 "你不用自己配置，不会每 7 小时弹一次报错，而且它非常好用"。
- 他的用例排序（⚠️ 带严重样本偏差）（[00:07:05]–[00:09:07]）：来自 7、8 个群聊合计 1200 多人——① 日常杂务 ② agent 编排 ③ 开发 ④ 旅行。⚠️ 他自己主动标注了偏差："这些群聊都是科技 Twitter 的人，不一定代表更大的世界。"他对旅行的判断是 ⚠️ "病毒传播上第一，但人们不是每天旅行，所以它更像一个噱头、一次注意力抓取"；对金融的判断是最有意思也最不实际——"如果一个 agent 真能帮你赚十亿，对冲基金早就在干了"。
- ⚠️ Muse charm 的 hot take（[00:15:09]–[00:16:09]）："与其说是要赢硬件，不如说是 Meta 在真实世界里采数据"——它有摄像头和多个麦克风，会被 Twitter 泡泡用起来，然后"给 Meta 喂进荒谬数量的数据"。被反问"眼镜不是已经拿到了吗"时他的区分是：⚠️ "吊坠是环境式的 24/7 陪伴，眼镜更偏行动导向。"
- 界面原则（[00:18:09]）：⚠️ "助理最有用的时候，是你最被占住的时候——不是你坐在沙发上花时间用它，而是你在园艺、在做饭、手上腾不开的时候。" 他把 ChatGPT 语音接入连接器称作 "这整个 AI 助理浪潮里的第二个魔法时刻"（骑车上班 30 分钟做到收件箱清零）。
- 多人场景的三种做法（[00:20:11]–[00:21:12]）：直接加群聊 / agent 网络（两个 agent 幕后代谈再分别汇报）/ ⚠️ 沉默的听众（加进群聊但只听只记，有行动项才单独私信）——他认为第三种最有意思，因为"又回到隐形 agent"。
- 商务侧的机制解释（[00:40:25]）：⚠️ Shopify 拥抱 Muse 而 Amazon 封锁它，是因为两家商业模式不同——Shopify 让商务民主化，而 Amazon 的钱来自广告，"当你把人的眼球移走，整个体系的目的就被瓦解了"。
第二次（2026-11-04）：口径、实测，与一处转向¶
来源：a16z：家长式作风会杀死任何产品（⚠️ 与上一期相隔约五周；同场是 a16z 合伙人 Josh Elman 与 Anish Acharya）
- ⚠️⚠️ 规模口径退化，本库按"管道量"理解：本期只给了一个合数"经过我手的 147 个不同的助理"，而他在同一期另一处说"这些我还都在手动测"（[00:21:09]）。✅ 上一期给的是分开的两个数（跟踪 122、个人实测 26），所以 147 不能当作已测数量读。
- ⚠️⚠️ 他给的四个已成形品类（[00:05:02]）：通用、工作向、多人（multiplayer）、旅行；✅ 而缺口被他明确接到信任上："如果我们能解决那个信任层，那在金融那一侧我们最后会看到什么？"（🔗 与上一期"金融最有意思也最不实际"一致）。
- ⚠️⚠️ 本库认为他本期最硬的一条发现是记忆的可携带性（[00:19:08]）：对榜单前 15 名实测"给我一份你掌握的我的全部记忆的导出"，结果"除了一个之外，全都真的愿意这么做"，导出质量"相当扎实"。
- ✅ 而它解释了同一期里一条反直觉数字：⚠️ 那个带最大 ChatGPT 上下文继承优势的产品，在他 354 人的重度用户调查里只有 3% 当作主力；⚠️⚠️ 而他判定那个优势"完全可复制，只是因为他们用它用得最久"。
- ⚠️⚠️ 本库的综合：这两条合起来说的是这个品类当下的切换成本接近于零，于是护城河只能建在当下交付质量上——✅ 而这与他上一期"proactivity 是护城河、人格不是"方向一致：两条都在否认存量资产构成护城河。
- ⚠️⚠️ 两个实测，其中一个的设计本库此前没有同类（[00:12:04]–[00:16:07]）：
- 送花测试（同时要"今天送到"和"尽可能便宜"）：⚠️ 所有被测对象都找到了当天可送的花，但大部分"在价格这一项上明显退了一步"，只有三个给两个约束同等权重；⚠️ 而他把其中一个的优势归到架构上——它要装 Chrome 扩展，"它的浏览器使用从这一点上有一点优势"。
- ⚠️⚠️ 行程测试（本库判这是一个值得复用的实验设计）：三个 agent 规划"奢华又省钱"的洛杉矶周末（有意设成矛盾约束），三者消解矛盾的方式不同——其中一个直接把"奢华"重新解释成时间；而第二层设计是⚠️⚠️ "我把它们全放进一个聊天室，让它们做三轮，每轮之后要给出自己的行程和它为什么认为那是最好方案的解释——因为我想看看它们会不会真的被其他 agent 带偏"，结果只有一个"非常有方法地从其他几个那里取走价值并实装进自己的方案"。 ✅ 本库判这个协议把从众与整合在观察上分开了：无理由的趋同是从众，带理由的采纳是整合。
- ⚠️⚠️ 而本库认为他本期最该被引用的一条判断在基础设施层，因为视角来自横向看过大量产品的运行表现（[00:34:15]）：
⚠️⚠️ "有一件让我开始质疑'软件正在变成大宗商品'这整个概念的事情是：当你在规模上看这些产品时，表现差异相当明显。" "人们在谈软件不再是护城河，但那里确实还是有一些护城河的。"
- ⚠️ 具体分叉是："有些刚开始规模化，表现就立刻劣化，创始人在处理宕机、在想怎么扩容。" ⚠️ 而他给自己留的时效很短："也许那条护城河一年左右就能被跨过去。"
- ⚠️ 一个具体的多 agent 退化点（[00:37:19]）：他在一场线下活动里除了人类聚会另办了一场 agent 聚会（扫码把自己的 agent 送进去自由交谈），⚠️⚠️ 结果"到了大概 150 条消息之后，这些 agent 里有些就只是在说胡话了"。
- ⚠️ 他对自托管的立场是方法论上的保留而非判断（[00:36:17]）：他主要待在"预配置、即插即用"的世界，理由是"当你不负责搭建本身的时候，横向比较它们更容易"；但认为可控性（"如果你能控制模型、能按你想要的去调它"）让这条路有前景。
- ⚠️ 他的三至四周预测是下一波用户，而证据是个案（[00:46:26]）：他把 Instinct 给了自己妈妈——"她是个技术恐惧者，讨厌技术，而她玩得特别开心，像进了糖果店的小孩"；⚠️ 用例是发去世家犬的照片，让 agent "给我找一个有这个品种的繁育者，并替我谈价"。
⚠️⚠️ 本库必须标出本期的两处退步：① 他上一期主动标注过样本偏差（"这些群聊都是科技 Twitter 的人，不一定代表更大的世界"），本期口径相同但那条限定消失了——而至少 3% 那条结论对样本高度敏感；② 他把一个营销报价当成了"铁证"：⚠️⚠️ 某产品拿出百万美元预算、每人 30 美元披萨换整个 Google Workspace 访问权，而他的结论是"这就在那儿证明了，人们愿意为了点免费披萨就交出所有那些数据"——但转述里没有任何参与人数或转化率，所以它说明的是出价方愿意付多少，不是有多少人接受。
与他人观点的交叉¶
- ⚠️ 与 Jason Calacanis 在 All-In 09-26 的实测 是同一事件的两种读法：Jason 判断 "Amazon 封锁 agent 是战略失误"；Pawlan 给的是机制解释（广告模式被 agent 瓦解），并推出 Amazon 迟早要有一套新范式。⚠️ 本库并列：一个是价值判断，一个是动机解释，两者不矛盾。
- ⚠️ 他的"Open Claw 复刻论"把本库的一条线接上了：OpenClaw 那期（2026-02）记录的是开源原语与个人配置；半年多后它被产品化成消费品，而这位横评者判定产品化增加的价值是"配置与可靠性"，不是能力。这与 Jason 转述的"Meta 表示 Muse 大量借鉴 OpenClaw" 相互印证。
- ⚠️⚠️ 本库必须标出他与同场主持人之间一处未被弥合的张力（2026-11-04）：他上一期说 "proactivity 有巨大的防御性——那个最能主动、不用你开口就开始替你做事的 agent，正是把赢家和大部队分开的东西"；⚠️⚠️ 而本期 Anish Acharya 说 "家长式作风会杀死任何产品。哪怕一丝一毫的家长式气味都会"（a16z 11-04 [00:27:12]）。✅ 本库并列两条、不裁决，但指出它们的交集恰好就是他自己上一期画的那条授权边界（你这边不需要动作的可以主动做；需要你改变行动的必须先要授权）——也就是说这两条看似对立的判断可能共享同一个解，而本期在场的三人没有把它们连起来。
- 与 Diogo Almeida 的可靠性四层 在同一周里指向同一件事：Almeida 说可靠性的终点是"不写示例查询就能直接编程"；Pawlan 说消费品相对开源原语的全部增量就是"不用配置、不会每 7 小时弹报错"。⚠️ 两人一个在模型侧、一个在产品侧，结论形状相同：这一轮真正稀缺的是可靠性，不是能力。
视频¶
| 日期 | 主题 |
|---|---|
| 2026-09-29 | 我们把这一波个人 AI agent 全试了一遍：省钱胜过省时、proactivity 才是护城河 |
| 2026-11-04 | 家长式作风会杀死任何产品：信任其实是社交尴尬，而记忆是可携带的 |