跳转至

Aman Singh(Arca,AI 平台团队负责人)

Arca 的 AI 平台团队负责人。Arca 是一家 AI 原生的财富管理机构(自述近期融资 6,400 万美元),服务谱系是财务建议、财务规划、税务规划、保险与遗产规划。他对自己职责的描述是 ⚠️ "建底层的 harness 和我们的能力,用 AI 来跑这门生意,而那是我们的最终目标"。

本库收录他的理由:他给了四样本库此前缺的东西——① 一条"不卖 SaaS、自己就是那家机构"的商业形态,而它在本期承担了三个不同的论证;② 本库目前最具体的一份长时程 agent 架构描述;③ 一条可直接搬用的安全设计原则("在能力的边缘约束,而不是更早")与它的四层落地;④ 本库第一条来自应用层的"让 agent 修改自己的 harness"的具体失败模式。

⚠️ 立场:他在代表 Arca,全部客户成果与规模陈述为自述、无第三方来源。✅ 但本库判定这一期的厂商色彩异常轻,依据是四处否定或让步:对 Anthropic 的 managed agents 给了否定答案并说清理由、对"交易失败恢复有没有用决策模型"直接答"今天不是我们在探索的用例"、对自主交易明确说没有做、以及主动给出了自家自动化路线里最难看的一条("放手让 agent 改 prompt,它会改得很糟")。 ⚠️⚠️ 而本库必须标出一处没有被回答的问题(见末节)。

核心观点(2026-10)

来源:Latent Space × Arca:agent 催人比人催 agent 多、在能力的边缘约束(录于 AI Engineer New York 2026 现场;⚠️ 主持人姓名未在转录稿中出现)

⚠️ 转录稿有两个模型名无法确证("Luna" 被当作一个外部 benchmark 表现好但自家内部不达标的模型、"Jev" 被当作小/快模型用于合规检查与决策模型);本库照录写法并标为不可确证,不作型号采信。

⚠️⚠️ "我们不是一家 SaaS 公司,我们就是那家机构本身"

这句在本期出现三次,每次承担不同的论证:

  • ① 可以把工作方式标准化([00:13:08]):"我们其实不是一家 SaaS 公司。我们就是那家机构本身。所以我们可以把这件工作本身发生的方式标准化,这样我们的 agent 就能以工作必须发生的标准方式参与进来。" ✅ 而他前一句把要被操作化的东西说得很准:"这一切都是我们为了把这个行业怎么运作的上下文操作化而做的工作。但不只是那个——还有 Arca 想让它怎么运作,以及我们关于这个行业里工作怎么发生的原则是什么。"
  • ② 可以强制要求用户给反馈([00:20:10]):"那是我们作为这门生意本身、而不是一家 SaaS 公司的另一个优势——我们有能力要求他们给我们反馈。"
  • ③ 与"拿着 AI 工具的服务机构"划界([00:15:08]):⚠️⚠️ "做一家有 AI 工具可用的服务机构,和做一家从一开始就被建成 AI 原生的机构,是非常不同的。拿着 AI 工具的那家机构,需要它的用户去 prompt 那些 agent 来产出工作。" ✅ 而他对 Anthropic 进入这个行业的评价是"非常验证我们这个行业"——差异化论证落在形态(谁 prompt 谁)而不是能力,本库认为这比"我们有行业数据"那类回答更可检验。
  • 🔗 ⚠️⚠️ 与 Jay(Eve) 构成同周的正面对照,因为两者在同一个问题上选了相反位置:Eve 把软件卖给原告律师事务所,护城河论证落在"数据不可爬";Arca 不卖软件、自己当那家机构,护城河论证落在"我们可以规定工作怎么发生"。 ✅ 本库不裁决,但指出可检验点不同——Eve 赌"把分散的知识聚合起来",Arca 赌"从零建一套标准就不用去聚合";而后者的代价是明确的:它必须自己承担一家受监管金融机构的全部经营负担,所以扩张上限不是销售,而是开展业务本身。

⚠️⚠️ 分工与"agent 催人比人催 agent 多"

  • 分工定义([00:01:01]):"Arca 里 AI 的角色不是取代顾问。它是取代顾问周围的全部工作。所以我们的客户其实并不直接接触 AI。" → "他们体验到的只是这个行业此前不可能做到的一种服务水平,而它是通过一个人类顾问的共情与关照交付的。"
  • ⚠️ 后台在做什么:"我们在给每一个客户建后面那套机器,它在不停地想:市场在做什么、它怎么影响这位客户?你生活里还发生了什么?你生活的哪些纹理会影响你的财务?"
  • ⚠️⚠️ 那句概括:"agent 催人比人催 agent 多,而它是一个 7×24 替他们跑着的主动服务。"
  • ✅ 而它最实际的含义在末尾那句([00:25:11]):主动性的例子是截止期要到了、有错过 RMD 的风险这类——"这件事对人来说在规模上很难跟踪,但它在 Arca 是我们 agent 的默认行为。" ⚠️⚠️ 本库记:被自动化的不是判断,是不间断的监视。
  • ✅ 本库标注这条分工的位置:既有垂直 agent 材料自动化的多是"那个专业动作"本身(Lassie、Eve);而这一条把界划在"专家本人"与"专家周围的一切"之间,并把客户界面完全留给人。

⚠️⚠️ 长时程:10 天任务的接住方式

([00:05:04]–[00:09:07])✅ 本库目前最具体的一份长时程 agent 架构描述。

  • 职责切分:"agent 最终对交付那个结果负责,但其中有些部分是它们做的、有些部分是它们不做的"——分析完全自动化;⚠️⚠️ "但它们无法自动执行任何资金移动或变现"(⚠️ 托管方的 API 具备这个能力,是他们自己设的护栏)。
  • ⚠️⚠️ 而"直接和终端客户沟通"被放进同一个限制档位,依据不是风险:"因为有一个我们期望的服务与质量水平。" ✅ 本库第一条把客户沟通当成受管制动作的材料。
  • ⚠️⚠️ 信号路由(最可直接搬用的部分):有所属的信号回到同一个 agent("邮件线程里任何额外的回复,都会去到同一个那个在读这个邮件线程并做出反应的 agent");无所属的新信号则新起("但一个全新的信号,比如中间打来的一个电话……所以会有一个全新的 agent 醒过来,去搞清楚这意味着什么")。
  • ⚠️⚠️ 状态外置成按客户的结构化记忆:"我们对每一个客户都有这样一份持久化:现在正在发生什么、我们在试着服务什么、谁负责什么、到目前为止发生了什么、我们接下来在跟踪什么、接下来几天里什么必须立刻发生、我们在为长期跟踪什么、哪个人负责哪个动作。"
  • ⚠️⚠️ 外加一个与任务解耦的反思过程:"但另外还有一个真的很像在做梦的过程,它反思世界相对于这位客户的状态,并且能够更新这些记忆系统,以便持久化长时程的任务。"(⚠️ 他后文称之为"每天对正在发生什么的反思"。)
  • ✅ 本库的判断:本库此前的长时程材料多停在"需要更好的记忆与更大的上下文"(Serval 的"一个一直回溯到我们第一次谈话的单一对话");而这一条给了三件可分别评估的事——按信号归属决定复用还是新起 agent、把状态外置成结构化记忆、再加一个按天跑的状态整理过程。更大的上下文窗口替代不了其中任何一件。
  • ⚠️ 而"谁在第七步被拉进来"的机制接回了第一节([00:12:07]):"第七步那个参与者现在可能还不需要知道这件事,他们是在对的时间被拉进来的"——✅ 把这写成规则的前提是你有权规定这个流程长什么样。

⚠️⚠️ "在能力的边缘约束,而不是更早"

([00:09:07]–[00:11:07]、[00:16:09]–[00:18:10])✅ 本库认为这条原则本身可直接搬用,而它与"在中间加护栏"相反。

  • 原则(本期出现两次):"我们有大量不同的护栏内建在 harness 里,原则是我们想把它们约束在能力的边缘,而不是更早。"
  • ⚠️⚠️ 第一条实现是把决策权整个拿走:"我们所有的安全限制都完全是确定性的,它们把决策权从 agent 手里拿掉。" ✅ 分档是"某些工具让 agent 自己执行——如果是像简单记录这类工具,它就会执行"。
  • 四层落地:
  • ① 写入侧:"每一次调用一个会写数据的工具,我们都会在那个动作上跑基于 LLM 的校验——这些很快的 LLM 调用,会分析对我们数据库的每一次写入。"
  • ② 入口侧:⚠️⚠️ 威胁面点得很具体——"有邮件进来、文档进来、电话被打进来,而这些都是提示注入的目标" → "所以我们在边缘跑各种校验,去检测某些风味的提示注入的存在。"
  • ③ 出口侧:确定性的 PII 检查 + "一组小模型的共识,来确保没有任何数据外泄被尝试";✅ 而出口面的定义比通常理解宽得多——"如果我们给客户发一个日历邀请,那也是一种外部数据。"
  • ④ 产出物侧:沙箱产出的制品(如可发给客户的财务规划 PDF)生成即校验——确定性查"你是不是刚把一个原始账号放进去了",⚠️⚠️ 小模型查"可能让这份制品不合规的东西,比如你真的不该在那份制品里承诺收益率"。
  • ⚠️⚠️ 而"AI 做合规比人更好"被他限定成一个窄主张,本库认为这个限定让它可信:"而做这件事其实让我们的合规比人来做更好,因为 AI 在找出哪怕最小的一处不合规表述上是不会累的。" ✅ 他主张的优势是穷尽性,不是判断力。
  • ⚠️ 监管那一侧他给了一句很干净的区分([00:11:07]):"这个行业在乎结果,但合规在乎可审计性。"

⚠️⚠️ 沙箱:agent 不在里面,而代码是一个会被丢掉的中间表示

([00:16:09]–[00:17:10])✅ 本库认为这是他给的最该被单独引用的一条工程设计。

⚠️⚠️ "沙箱是我们 harness 的一个组件。我们的 agent 其实不在沙箱里面——它用沙箱来卸载计算。" ⚠️⚠️ "我们建了一些系统,让沙箱里的代码访问我们的数据是安全的。所以我们有这么个东西:把它写的代码翻译成我们预期的一个严格格式,把代码丢掉,然后在那个格式到达你的后端之前给它套上护栏。"

  • 目的是保留表达力:"所以我们允许 agent 用代码来查询我们的数据,这意味着它们可以聚合、可以处理、可以按它们认为合适的方式去加工。"
  • ✅ 本库的判断:它既不是"给 agent 一组固定工具"(表达力不够),也不是"让 agent 直接跑代码打数据库"(面太大)——agent 的自由度停在"写出查询意图",而真正到达后端的是一个受约束格式。这是"在能力的边缘约束"的最佳实例,可被任何有敏感数据后端的 agent 系统照搬。
  • 🔗 ⚠️⚠️ 与本库既有安全材料是同一方向、不同环节:Anthropic 平台团队的"大脑和手分开" 处理凭据;Serval 的 just-in-time 提权 + 确定性审批 处理权限授予;✅ 这一条处理数据访问的表达形式。三者拼起来是同一判断的三个落点:不要试图在模型层让它"别做坏事",而是在它的输出必须穿过的那个窄口上做确定性检查。
  • ✅ 而在本库的"解法谱系"里这是第四种形态(另三种:用模型层做判断、用基础设施做硬墙、用人类审批逐项放行能力):⚠️⚠️ 把 agent 的输出在到达系统前强制降格成一个受约束的表示。 ⚠️ 而 Arca 自己同时用了至少三种,他把它们按"离边缘的距离"排列,而不是按技术类型。

⚠️⚠️ 审计日志同时就是 agent 的事件总线

([00:11:07]–[00:12:07])✅ 本库此前完全没有这一条。

  • 形态:"我们每一个 agent 采取的动作都会产出一条变更日志:改了什么、谁改的、从系统的哪一部分、什么时候。"
  • ⚠️⚠️ 关键的那半句:"而顺便说,这不只适用于 agent,也适用于人类操作者。所以如果你在 UI 里改了一个会影响客户的东西,我们也会记录那个动作。"
  • ⚠️⚠️ 于是同一份设施有两个用途:"这既让我们默认就拿到可审计性,也驱动了我们的一部分 agentic 能力——因为同一个追踪 UI 变更的东西,也可以用来告知 agent 那件事发生了。"
  • ✅ 本库的判断:合规要求的审计日志通常被当成成本,这里它被同时当成 agent 的输入通道,于是"人改了什么"自动成为一个信号源。它也解释了"新信号唤醒一个新 agent"在实现层面怎么成立——人的动作和外部事件走的是同一条总线。

⚠️⚠️ 模型选型:内部 benchmark 否掉外部 benchmark,而失败模式是延迟与成本

([00:02:03]–[00:05:04])

  • 使用史(自述):今天用 Anthropic 与 OpenAI 的前沿模型,"Claude 一直算是我们的主力模型";⚠️ "我们这些年换过好几代模型——我们很早以前在 Gemini 上,然后 OpenAI,然后 Anthropic。"
  • ⚠️⚠️ 而决策依据与一个具体的否决案例:"指导我们所有决策的,是我们内部为我们那套通用 harness 在跑这门生意时必须表现出的各种能力所建的 benchmark。" → ⚠️⚠️ "所以比如最近,尽管外部 benchmark 对 [某模型] 宣称了很棒的结果,它对我们其实并没有像我们预期的那样 work。它太慢了,而且花了很多钱。"
  • ✅ 本库标注这条的具体形状:被否决的理由是延迟与成本,不是能力。而外部 benchmark 通常既不测延迟也不测单位成本——所以这不是"外部 benchmark 被刷分了",而是维度根本不重叠。
  • 🔗 ⚠️⚠️ 与 Eve 同周那条买方 benchmark 批评 合起来给出更完整的指控:Eve 指的是任务粒度错配("公开 benchmark 关心单任务做对没有,而我们只在乎 agentic 的结果");✅ 这一条指的是非能力维度缺失。买方的选型函数里至少有三个变量(结果达成、延迟、单位成本),而公开 benchmark 主要只覆盖其中一个的一部分。
  • ⚠️ 原则是模型无关:"作为一条原则,我们想要模型无关,不要对某个提供方或某个实验室的某个 harness 形成依赖,给我们自己留着那个可选性。" harness 自建、模型无关。
  • 档位机制:按任务复杂度分档,税务规划协助或税务分析拿最重的档(⚠️ 档内有弹性);"我们的 agent 参与的大量后台活动"用更低的档。✅ 而顾问完全不感知:"他们并不知道这些在发生。我们把这件事从他们那儿完全抽象掉了。"

⚠️⚠️ 为什么不用 managed agents:界线划在记忆与运营知识的归属

([00:13:08]–[00:15:08])✅ 本库认为这是他对"应用层拿什么对抗模型层"最清楚的一条表述。

被问到 Anthropic 的 managed agents(主持人同时指出"它显然带来一个危险,就是人不再必然在环里"):

  • ⚠️ 他先把态度分开:"我们对来自 Anthropic 以及像 OpenAI 这样的实验室的模型非常看多,但对把依赖押在像 managed agents 这样的产品上就没那么看多。"
  • ⚠️⚠️ 而理由不是能力、不是价格:

    "因为 managed agents 的一个关键点,是模型怎么持久化并贡献关于世界上在发生什么的记忆,以及它们为了成功所需要用到的全部运营知识。" ⚠️⚠️ "所以让它们拥有这门生意的那一部分,算是一种风险——因为拥有那个就是拥有你的智能……如果你把智能交给另一个提供方,你就失去了一部分你需要的控制权。"

  • 🔗 ⚠️⚠️ 本库记为"应用层防线"的第三种说法,而三者划的线不同:Town(模型中立 + 用户拥有 context + 不训练 → 界线在契约与可迁移性)、Eve(数据不可爬 → 界线在那些知识从来没被写下来过)、本条(界线在记忆与运营知识这一层的归属权)。 ✅ 本库认为这一条最直接地指认了模型厂商向上吞并的那个具体接口:不是模型、不是工具调用,而是"谁来持久化这门生意的运营知识"——而它给了一条可操作判据:凡是会把你的运营记忆放进厂商产品的集成,都在交出可被替代性。

⚠️⚠️ 把反馈变成 eval,以及"放手让 agent 改 prompt"的失败模式

([00:20:10]–[00:23:11])

  • 闭环形态:每一次员工的编辑或取消都带一个"为什么"并成为一条 eval → 反馈与"产出它的那个 agent 的 trace"耦合入库 → "每一晚我们跑一个流程:收集来自真实世界、来自我们在野 agent 的 trace,在它上面跑一个 meta agent,让它建议对我们 harness 的改动"(建议类型:有误导性的工具、出错的东西、知识库里缺失的知识)。
  • ⚠️ 而人还在环里:"今天我们在真正上线一个 prompt 改动之前,仍然有一个人类工程师在环里。"
  • ⚠️⚠️ 而理由是本库认为他说的最锋利的一句,因为它是一条具体的失败模式、而且对自己不利:

    "我注意到,你要是放手让 agent 自己去改,它们会做出相当糟糕的 prompt 改动。每一个小修补都会变成整条 prompt。" ⚠️⚠️ "而它们没法保持在元层面、把那个修补泛化成一条能泛化的 prompt。"

  • ✅ 本库的判断:此前关于"用 AI 改进 AI"的材料多在实验室一侧、且多是能力叙述;这是第一条来自应用层、关于"让 agent 修改自己的 harness"的具体失败模式,而缺陷被指认为抽象层级——agent 把一个实例修补当成了规则,而不是去归纳。 ⚠️⚠️ 本库认为这很可能是一般现象而不是这家公司的特例,而它与既有的"围绕当期模型缺陷建的脚手架有半衰期"是同一问题的相反方向:那边是人写的脚手架会过时,这边是机器写的修补不会泛化。

⚠️ 知识库交给专家,以及决策模型对抗陈旧知识

  • 知识库([00:22:11]):表示成文件,⚠️⚠️ 而维护权归属是关键——"我们保持它更新的方式,是我们把它交给了我们的专家去策展和更新。所以它是我们产品里的一等功能——左手边有一个叫 knowledge 的标签页,里面是我们的 agent 正在使用的完整运营上下文。" ✅ 闭环靠引用建立:"它们能够引用知识。于是形成这样一个循环:哦,我们注意到这个知识是错的,而那会在我们的 trace 分析里被暴露……人们可以进去直接编辑那个 skill。"
  • 🔗 ✅ 本库记为"markdown 即员工 / skillify"这条线上第一个编辑者是领域专家而非工程师的样本(既有材料是 Anthropic 的"cookbook 在变没用"、Supabase 的参考架构、Serval 的 Catalyst)。
  • ⚠️⚠️ 决策模型,以及一个很干净的陈旧参数化知识例子([00:18:10]–[00:19:10]):"当模型在处理财务数据、在回答需要财务知识的问题时,它们对自己拥有的知识非常自信。" → ⚠️⚠️ "一个小例子是,模型会很乐意用 2025 年的税率档位来做出一份分析,然后说:好了,就这样。但那显然是错的。" → 对策是"在模型即将给出一个财务建议、或者任何需要财务严谨性的动作时,去检测并推动模型使用我们那个关于世界今天为真的已核实事实的知识库,或者使用它的网页搜索"。
  • ✅ 本库的判断:机制是"在动作类型上触发,而不是在内容上判断"——用"这是不是一个财务建议"这个相对容易的分类,去触发"必须查已核实事实库"这条硬规则。这比试图判断答案本身对不对可靠得多,而思路可迁移到任何有时效性参数化知识的领域。

⚠️ 三处明确的"没有",以及一处没有被回答的问题

  • 不做自主交易([00:20:10]):"目前我们没有在用 agent 做自主交易。非常明确地是 agent 会提议我们做哪些交易,而是否是对的交易、以及执行交易,完全取决于我们的专家。"
  • 交易失败恢复没有用决策模型([00:19:10]):"没有,今天没有。那不是我们今天在探索的用例。" ✅ 一个对自己无利的直接否定。
  • 不用 managed agents(见上)。
  • ⚠️⚠️ 而那处缺口本库必须标出([00:23:11]–[00:25:11]):主持人问的是"有没有哪个客户在投资或税务上拿到可度量的改善,以及 agent 架构里的什么帮到了那个客户";⚠️⚠️ 而他给的是一个销售阶段的发现案例——尚未成为客户的人,agent 读完全部文件、报表与现有投资后"发现这个人在收他们一些他们并不知道的费用",并让他们"意识到那个人甚至不是 fiduciary(受托人),所以没有义务为他们的利益行事"(⚠️ 他提到的"收我 1,500 美元"没有计费周期口径,本库不记这个数字)。
  • ⚠️⚠️ 本库的判断:这个例子展示的是文档审阅的穷尽性(与"AI 在找最小的不合规表述上不会累"同构),不是投资或税务结果的改善。主持人的问题实际上没有被回答,而本库记下这一点——因为"可度量的客户结果"恰恰是这类公司最难给、也最该被追问的东西。

相关页面