跳转至

Ari Weinstein

OpenAI computer use agents 的产品与工程负责人。自述整个职业生涯都在做计算机自动化：Apple（Shortcuts）→ 创办 Sky → 加入 OpenAI。他自己给的那条主线是"一直对自动化感到兴奋，因为那样你能把时间省下来、去关心比精细操作一台电脑更重要的事"。

本库收录他的理由：⚠️ 他是本库第一个 computer use 方向的一手当事人。此前本库关于 computer use 的材料全部是旁观口径——Greg Brockman 在 a16z 把它列为方向之一、Diogo Almeida 说"软件并不真的接受自然语言"、Danielle Perszyk 的认知科学侧——这一期第一次有人把技术路线、度量方式与当前瓶颈讲到机制层。

核心观点（2026-09-30）

来源：Latent Space / OpenAI Dev Day 现场

⚠️ 他最该被引用的一句，以及它的时间坐标

  • "现在 computer use 在完成任务上大概在多数情况下已经比普通人快了"；而"下一个前沿是让它真正超人——像我们这种专家级电脑用户一样快或者更快"（[00:00:00]、[00:13:13]）。他预期那一刻的后果是产品形态变化："我们会突然能造出实时性强得多的产品"，而且门槛（activation energy）降低会让人"开始默认把某些事交给 agent，而那些事我们本来习惯手动做"（[00:13:13]–[00:14:14]）。
  • ⚠️ 本库标注这条表述缺的东西：他没有给任务集、也没有给测量方法。而他同一期里承认度量跑在harness 的不同排列与配置上、且生产产品有按任务分别配置的额外安全检查（[00:09:10]）——所以"比普通人快"不是一个可复现的声明。

⚠️ 技术路线：三条变化，本库认为这是他最有长期价值的贡献

（[00:08:08]、[00:10:11]–[00:12:12]）

  1. ⚠️ computer use 已经不是"一次一个动作"："如果你在 Codex 里手动展开它的工具调用，你会看到它实际上在写 JavaScript，交给电脑执行，有时一次执行很多个动作。"
  2. ⚠️ 多模态界面按任务切换：截图 / accessibility（无障碍树）/ Playwright / 直接访问 DOM 并存。

  3. 模型本身的加速。

  4. ⚠️ 他指认的最大 aha moment 是"scrolling 地狱"的消失：过去要截图—尝试—往下滚—再截图—再尝试，而现在"语言模型可以一次看到整页或整个应用，并写出一次做多步的代码"。

  5. ⚠️ 本库认为他这一期最漂亮的一条观察（[00:12:12]）："当年为有无障碍需求、要用读屏软件的人发明的那套技术，对 LLM 用电脑也非常有帮助。" 工程难点是同时要 token 高效——"把所有东西 dump 出来，但也要高效地 dump，这里头有点手艺。"
  6. 他指认的模型侧最大变化不是能力而是调试（[00:07:08]）："以前它们能可靠地开始任务，然后就会撞上问题；现在它们非常擅长调试、重试、反思什么有用什么没用。"
  7. app shot 的机制（[00:11:12]–[00:13:13]）：不是截图，而是完整的 accessibility 表示 + 元数据——"你截一张有链接的网页图，截图里不包含链接指向哪里；你截日历的图，事件标题是被截断的。"

⚠️ 瓶颈已经从模型转到网页，这条本库认为最有预测力

（[00:14:14]–[00:15:14]）

  • "我们发现随着 computer use 变快，我们越来越被单纯的操作速度卡住。比如你在 doordash.com 上自动化一个任务，很多时间其实是在等 doordash.com 自己加载。"
  • ⚠️ 而这推出了一个新的工程问题："你希望在它终于加载完、和你去触发 LLM 做下一个动作之间，延迟越小越好——而这件事本身是一门统计科学。" 事件驱动只解决一部分（JS 与浏览器导航有 load 事件），"但还有一些类型的事件实在没法事件驱动"。
  • ⚠️ 本库的推论：这解释了他为什么把"超人速度"而不是"更强能力"当下一个前沿——在他这条路线上，下一阶段的收益会越来越多落在"等待的统计学"而不是模型能力上。

⚠️ 闭合 SDLC：agent 测试自己写的软件

（[00:18:18]–[00:19:18]）"computer use 让 agent 真的能测试它自己造出来的软件，而这件事比听起来重要得多——因为传统上你在 Codex 里造一个东西，Codex 造好了，然后你得去测它，于是你现在就是 agent 的 QA。"

  • ⚠️ 本库记这条为对 10 行 PR 那条质疑的一个结构性回应：Almeida 说 coding agent"优化的是一个其实相当微小的东西"、而且"不管你用多少 coding agent，软件本身并没有变好，甚至在变差，因为监督变少了"；Ari 这条正好是在补那个被抽走的监督环。⚠️ 两人没有交流，本库并列不裁决——但要注意Ari 补的是"能跑"这一层的监督，不是 Almeida 担心的"设计质量"那一层。

平台与安全

  • ⚠️ 他给开发者的建议里包含一条锁定论证（[00:17:17]）："如果你想自己造 computer use harness，有很多好活可以干，但它很难；而且我们是在我们自己的 computer use harness 上训模型的。所以用模型分布内（in distribution）的那一套是有优势的——速度、成本、准确率上都可能有优势。" ⚠️ 本库标注这既是技术事实也是平台论证，与 Thariq 的"harness 苦涩教训" 是同一件事的两侧，详见 LLM 操作系统。
  • 安全三条（[00:17:17]–[00:18:18]）：可靠、在有后果的动作（如付款）前征求同意、按任务最小化可访问的网站与应用；落点是"我们也许走在很多人前面，所以建立信任这件事落在我们身上"。
  • ⚠️ 而他自己的用法与上面这条形成张力，本库照录（[00:16:16]）："三四年前我们还害怕把 LLM 接到网上、接到我们的设备上；而现在我在让它替我配 DNS、替我付账单，真的是几万美元的东西我就直接丢给 computer use 梭哈了——还能出什么最坏的事呢。"（原话带笑声。）他说这句的同一段里就在讲"要先征求用户同意"，而主持人没有追这处落差。

与他人观点的交叉

  • 对"computer use 两年没进步"的正面反驳（[00:06:06]）：主持人引述"一家头部 AI 播客"的这句话（⚠️ 转录稿未点名，本库不猜），Ari 答"他们是几个月前说的，我希望他们现在的看法不一样了，因为 computer use 已经是 180 度不同了"。⚠️ 本库指出真正的分歧点在口径：他给的证据几乎全在 harness 与工程层，而他自己也说"收益有时在 harness、有时在模型"。
  • 与 Nikunj Handa 同期出场，分别对应harness / 产品侧与API / 平台侧。
  • 云上 Linux 虚拟机作为 agent 的身体（[00:04:03]）——与 Akshat Bubna（Modal）的 agent sandbox、Thariq 讲的沙箱表面积 是同一层问题的三个位置。

⚠️⚠️ 第二次出场（2026-10-26）：同一条主张 26 天一字未变

来源：a16z × OpenAI / computer use 的 scaling moment（与 James Sun 同场） ⚠️ 厂商节目，主持方是写过这个赛道研究的投资机构，全部陈述为自述且本期一处未被独立追问。

✅ 本库少有的同人跨期对照机会，所以把两期原话并排：

时间 原话 标注
2026-09-30 "现在 computer use 在完成任务上大概在多数情况下已经比普通人快了"；下一个前沿是"真正超人——像我们这种专家级电脑用户一样快或者更快" ⚠️ 无任务集、无测量方法
2026-10-26 "我们已经把 computer use 做到比普通人更快的位置了，而我觉得我们已经非常接近它变成超人的时候——意思是比一个专家级电脑用户更快。" ⚠️ 同样无任务集、无测量方法

⚠️⚠️ 本库的标注：26 天里措辞、结构与缺口完全一致。 本库在上一期就标注过它不是一个可复现的声明（他自己承认度量跑在 harness 的不同排列上、生产产品还有按任务配置的额外安全检查）。✅ 本库据此把"超人"记为这家公司的产品叙事锚点，而不是一个被定义过的度量。

  • ✅ 可检验的那部分两期一致（[00:09:07]）："那会是一次剧变……突然之间任何你本来可以手动做的事，它都能做得更快"，所以默认会把事交给 agent；⚠️ 他自己留了口子："而我其实认为人们可能有很多理由想自己做。"
  • ⚠️ Astra 带来的变化他的口径是"边缘上的"（[00:01:00]–[00:03:02]，⚠️ 全部无数字）：完成同样任务用的思考 token 更少所以平均更快、某些创意类工作更好（发布视频里用 Microsoft Paint 画东西），以及⚠️⚠️ 一个本库认为很诚实的提法——"99% 可靠和 97% 可靠之间，有一个很难察觉但其实很重要的小差别，我觉得它就是稍微高了一点，而那种感觉挺具体的。" ✅ 即他明确说这是感觉而不是测量。
  • ⚠️ "通用性"仍然是他的核心卖点（[00:15:13]）："它和我们造过的任何别的东西都不一样——别的东西需要开发者做点工作才能被采用，得有人去造一个 connector 或 MCP server。computer use 和一切都能配合，而且它用应用的方式和人用的方式一样。" ⚠️⚠️ 本库上一期指出的那处张力本期未被回应：按他自己 2026-09-30 的技术描述，computer use 实际上越来越依赖无障碍树与结构化表示，而不是"看屏幕点鼠标"（见 LLM OS）。
  • ✅ 他对遗留软件给的是"两条同时成立"（[00:25:19]–[00:26:19]）：造新软件的成本与复杂度低了很多，但"今天在生产里跑的软件很多是 10、20、30、40 年前写的，我不觉得那些东西会一夜之间消失"；⚠️⚠️ 而他给的机制本库认为是这段最有预测力的一句——"computer use 的存在可能给公司更多压力，让软件更好地和 agent 一起工作——因为所有软件默认都会和 agent 一起工作。" 他点 WebMCP 作为例子。✅ 他最期待的形态是三层叠：传统 UI + 底下用 agent + 那些 agent 自己用 computer use 去自动化遗留软件。
  • ⚠️ 他反对"UI 会消失"的理由是直接操作（[00:29:19]）："人类的硬连线就是要直接操作。" ⚠️⚠️ 而他的推论是受众规模的变化：过去的软件"是为上百万、上千万、上亿、几十亿人设计的"，"而我认为我们会进入一个时代，任何一个软件都可以是为一百个人、或者一个人设计的"。
  • ✅ 一条产品设计上的信任机制（[00:19:16]）：想看它做任务时总能看到那个光标、且动画做得不无聊，首次使用新应用或网站前征求许可——他给这件事的名字是"建立信任的时刻"。⚠️ 本库标注：可观测性在这里同时是安全机制与情绪设计，节目没有区分两者。
  • ⚠️⚠️ 本页认为他本期最该被引用的一条产品诊断（[00:39:24]）："今天这个产品的另一个难点是，你得花点心思想怎么用它、你得记得去用它、你还得说服自己去做一些和你习惯不同的事。" 落点是"我很期待一个 agent 能适应你、而不是你去适应它的世界"。
  • ⚠️ 他对当前节点的描述与一处主动降温（[00:40:26]–[00:43:30]）："过去 6 到 9 个月非常兴奋"——开始做时"很少有人用"，"今年早些时候模型突然就在这类任务上变得很好了"，"而就在过去几个月产品突然开始疯长"；✅ "但它仍然非常早，仍然只有一部分用户在用 computer use。" 收尾是"我觉得我们正处在 computer use 的 scaling moment，消费端和企业端同时。"

视频