Joseph Kim（OpenAI，ChatGPT 金融业务负责人之一）¶

OpenAI 的 ChatGPT 金融业务负责人之一，自述从研究侧转到产品与工程，现在带的团队负责 ChatGPT for Financial Services（企业向产品，设计伙伴为 Morgan Stanley 与 Evercore）。他对团队处境的描述是 ⚠️ "在很多方面，我的团队就像一个建在 OpenAI 技术之上的创业公司"。

本库收录他的理由：他给了四样本库此前缺的东西——① 一条来自模型厂商自己、数字具体到可被复测的 MCP 可靠性实测（"某些大厂名字错误率 40% 以上"），而结论是不接生态、改成数据自营；② 本库第一条指认 eval 的错误检出是非对称的说法（"数字好看就不去调查"），它给"evals crisis"补上了机制；③ 一条反直觉的分工——审美判断上人胜过打分模型，而机制是模型会过度推理；④ 对"为什么编码先被解决"最朴素的解释：训模型的人自己就是领域专家。

⚠️ 立场：他是 OpenAI 的产品负责人，在推一个刚发布的自家企业产品，末尾有明确的招聘与导流。全部客户反响、产品效果与 2027 预测均为自述、无第三方来源。 ✅ 但本库判定本期可用度高于一般厂商访谈，依据是三处对自己不利的陈述：① 主动说"我们建的东西里 95% 是创业公司绝对能做的"；② 对自家 GDP eval 直接说"完全饱和，而没饱和的那些部分本质上是坏的，所以我们不报也不追踪了"；③ 承认自家一组金融 eval 在 GPT-6 上纹丝不动，而深挖后发现坏的是 eval 不是模型。 ⚠️⚠️ 而本库必须标出两处该被追问而没被追问的地方，以及一处被说过但未展开的断言（见末节）。

核心观点（2026-10）¶

来源：Latent Space × Joseph Kim：MCP 错误率 40%、"95% 是创业公司也能做的"、taste 当 reward model 训（录于纽约 AI Finance 现场；⚠️ 主持人姓名未在转录稿中出现）

⚠️ 自动字幕的专名问题：模型名在转录稿里出现 "6 Astra" / "61 Astra" / "GPT-6 Astra" 三种拼法；数据源 "Dilupa" 疑为 Daloopa 的讹写；⚠️ 本库照录转录稿写法，不作型号与厂商认定。

⚠️⚠️ 一条来自模型厂商的 MCP 可靠性实测，而结论是不接¶

（[00:05:03]–[00:06:03]）✅ 本库认为这是他给的最硬、也最可被别人独立复测的一条。

背景是一个在第一性原理上难辩护的产品决定：要不要把财报电话会转录稿这类数据买进来打包。⚠️ 他把反方说全了——"商店里就有一个 MCP 连接啊，你打包进来提供的增量价值到底是什么"、客户可能已有 license 会觉得付两遍钱。
⚠️⚠️ 然后给了实测：

"而现实是我们去把这些 MCP 都测了一遍。我们发现错误率真的非常非常高。某些我们接的 MCP，一些大厂的名字，错误率 40% 以上。" "MCP 就是那种在纸面上看起来很好、但你必须去看数据、看实际在发生什么的东西。"
结论是端到端自营："唯一能规模化修好这件事的办法，就是把数据搬进来自己做。" ✅ 验证来自客户侧的反馈排序："客户最常点名的第一件事就是数据。"
✅ 本库标注这条的方向为什么值得记：⚠️⚠️ 讲 MCP 的材料通常来自生态推动方；这一条来自一个有能力接任何 MCP 的买方，而结论是不接。
⚠️ 本库同时标注利益方向：他在为"额外花钱打包数据是值得的"这个收费决定辩护，所以有动机把外部 MCP 说得更差。 ✅ 但本库认为这不构成否定——数字具体到可证伪，而 MCP 质量是任何人都能独立复测的。

⚠️⚠️ "95% 是创业公司绝对能做的"，以及十亿美元 plugin 生意¶

（[00:07:04]–[00:09:04]）

⚠️⚠️ "讲 post-training 那部分很有意思，因为那是我们独有的。但我们建的东西里 95% 是创业公司绝对能做的、别的公司能做的。而且我们并不真的需要动用我们改模型的能力，就能建出很棒的产品。"

架构上建在对外开放的同一套东西上：产品大部分建在 ChatGPT 的 plugin 架构与 primitives 上，⚠️⚠️ "用的就是任何想在 ChatGPT 上做东西的 builder 都能拿到的那些 primitives"。
⚠️ 他给的理由是组织同构："OpenAI 内部面对的问题，和一家创业公司要在 OpenAI 上面做东西时面对的问题，基本是同一批。"
⚠️⚠️ 而团队立论是一条 80/20，关键在后半句："Codex 能把你带到一个能在市场上成功的产品的 80% 左右，但那 20% 是缺的。……而立论的另一半是，如果你就把 Codex 拿去当成一个金融产品发布，它会失败。"
⚠️⚠️ 可检验的预测："我真的认为会有一门十亿美元的生意，建在一个 ChatGPT plugin 之上。你能借到全部那些横向的功能，然后只把你的秘方加在上面。" 秘方清单：数据、UI 改动、某个集成。
🔗 ✅ 本库标注这与"应用层还剩什么"那条线的关系，因为它来自对侧：既有材料基本都是应用层方自己在划防线——Town 的契约与可迁移性、Eve 的数据不可爬、Arca 的"运营知识的归属就是智能的归属"。 ⚠️⚠️ 而这一条是模型厂商自己在说应用层还剩什么，且他给的答案（数据、UI、集成）与 Eve 的那条重合了一项。 ✅ 本库认为两边在"数据是剩下的那部分"上意外一致，是这一期最值得保存的交叉点。
⚠️⚠️ 而本库必须标出同期内的一处张力：他自家产品的那 5% 恰恰就是上一节那个"把数据买进来自营"的决定——而那需要的是采购预算与供应商谈判能力，不是模型改动能力。 ✅ 所以"创业公司也能做"在技术栈上成立，在那条数据决定上未必成立，而他自己给的客户反馈排序正好指向后者。

⚠️⚠️ 把安全画像"塑造成一个人的样子"¶

（[00:09:04]–[00:12:04]）✅ 本库认为这是他给的最可迁移的一条设计思路，而它与本库既有安全材料的方向相反。

现发布的那一版很保守："是给在这个领域工作的知识工作者用的生产力工具"，带一个很深的假设——"永远有人在环里"。分析师对待办清单的每一项先用 ChatGPT 试，"它可能带你走到 30%，也可能 80%"。
⚠️⚠️ 而他直说这个预设的好处是组织上的："这让我们很容易建出一个产品，把审计与复核的责任交到人们手里、变成人们的职责。" 本库标注这实际上是一句关于责任归属而非技术的陈述。
⚠️⚠️ "接下来那一版"的设计原则（[00:11:04]）：

"人们能非常直觉地理解的一件事，是怎么和别人一起工作。所以我们的立论是：如果我们把产品做得很像你和你的同事、你的实习生一起工作，那就是人们能很快很容易上手的东西。因此我们需要把它的安全画像塑造成一个人的样子。"
两个落点：
① 读/写分级：他举自己在 Google 的例子——新来的工程师需要一个叫 readability 的东西，在你能去动系统之前有一套制衡。 ✅ 推论是"既然已经有监督人的工作的系统，那模型表现得更像人，你就能复用那些系统"。
② 银行的层级复核本来就是为人的错误建的（[00:12:04]）：junior analyst → associate 复核并加判断 → VP → director、MD，而定性是关键——"这套东西本来就是为了防住人会犯的错误而建起来的，因为人犯的错和模型犯的一样多。"
✅ 本库标注这条论证的形状：⚠️⚠️ 既有的 agent 安全材料几乎都在建新设施（Arca 的确定性护栏与出口检查、Serval 的 just-in-time 提权、Anthropic 的凭据与 agent 分离）；而这一条主张不建新设施，改成让 agent 的行为画像贴合既有的人事管控，从而白拿一套已经在跑的复核体系。本库认为这在受监管行业里是一条真实的省力路径。
⚠️⚠️ 但本库标注那个支点未经论证："人犯的错和模型一样多"没有任何比较数据，而模型的错误分布是否与人的可比（会不会相关、会不会在多个层级同时犯同一个错），恰恰是这套复用能否成立的关键——层级复核挡住人的错误，依赖的是各层的错误彼此独立。

⚠️ 两条轴：会断送职业生涯的错误 vs 模型真正缺的 taste¶

（[00:12:04]–[00:15:04]）

⚠️⚠️ 他把前者定义得很窄："会断送职业生涯的错误，是你把一条信息搞错了，而那条事实信息改变了结论。"
他对这一类是乐观的："hallucination 在 2022、2023 年还是个常被提起的词，现在不怎么被提了" → "那种会让你被炒掉的离谱错误，模型正在变得好很多。" ⚠️ 结论是一个无数据的概率陈述："那类错误传到 MD 那里的概率非常低。"
分级按位置："VP 的风险比 junior analyst 高，因为到那一层已经有一个'工作已被复核过'的预设。所以如果 MD 看到一个错误，那是个大问题——很多安全网都已经失效了。"
⚠️⚠️ 而后者是他认为的当下真瓶颈："模型今天欠缺、还需要改进的，其实不是那种会断送职业生涯的错误，而是涉及人类判断与 taste 的那一部分。" — "就是这张片子看着丑。它没错，但排版、颜色有点不对劲，有什么东西看着潦草。" ⚠️ 他没有把它说小："这不是事实错误那种意义上的断送职业生涯，但它要紧。"
2027 预测："我预期模型在人类 taste 那一块会变好很多"，⚠️⚠️ 而这类目标函数的性质是"它不是对还是错，它是比较性的——有没有什么东西比这个更好"。
✅ 本库标注这组区分的价值：它把"模型能不能用"拆成两条独立的轴，并主张只有第一条是致命的；而这两条轴需要完全不同的训练方法。

⚠️⚠️ taste 怎么训：回到最早的 RLHF，而审美上人胜过模型¶

（[00:15:04]–[00:18:06]）✅ 本库认为这是他给的技术含量最高的一段。

⚠️⚠️ 先指出一件被遗忘的事："很早很早的时候，我们训模型训的唯一一样东西本质上就是 taste。那时候有 RLHF，而人类反馈永远是一个成对的信号：给你两个选项，哪个更好？" → "后来有了可验证奖励、environment 这些东西……于是人们有点忘了，RL 最早那些日子全都是围着人类 taste 转的。"
方法："技术上的答案我认为很简单：你就训一个 reward model。你找一堆人来看成对的东西，说哪个更好。" ⚠️⚠️ 自家例子："小知识：我们就给我们自家的 slides 这么干了。"
⚠️⚠️ 而那条反直觉的发现，本库认为是他给的最该被单独引用的一句：

"而人在审美判断上其实非常非常好。实际上比模型好得多，这是我们发现的一件事。一个人能看两张片子，几秒钟之内说出这张更好。而如果你拿一个打分模型去做这件事，它会烧掉一大堆 reasoning token……然后可能还得出一个错的结论。"
✅ 本库标注这为什么重要：⚠️⚠️ 既有材料里"用模型给模型打分"基本是默认做法；这一条来自 OpenAI 自己，而它在一个具体维度上说人类标注不仅没被替代、还明确更强，并给出了机制——模型会过度推理。本库第一条指认"更多推理在某些维度上反而更差"的一手说法。
🔗 ✅ 主持人当场用 Cognition 的 frontier code 佐证：SWE-bench 问"答案对不对"，而它问"你会不会 merge 这段代码"——"这就是为什么你有时会看到'推理更少反而更好'的那种图，而它同时也是一个 taste benchmark。" 本库标注这是本期唯一一处来自主持人的独立佐证。
⚠️⚠️ 而信心来源是一个按同一条缝的拆分：
编码：可验证（编不编得过、语法、函数输出）+ taste（系统设计干净、可维护、好单测、合乎社区范式），"假设我们走到了 80%"。
金融：可验证（Excel 加不加得起来、引用错误）+ taste——⚠️⚠️ "我开始做金融之后学到一个东西，叫模型的 feel：你去扰动输入、看输出，一个有经验的金融从业者能理解数据在这个模型里流动的方式感觉对不对"，"而那是一种人类偏好，看起来很像'这段代码干不干净'"。
✅ 本库标注强处是同构拆法而非笼统类比；⚠️⚠️ 弱处是编码那半的 taste 范式是公开可学的，而"模型的 feel"按他自己的描述是从业者身上的隐性知识——这正是他末尾那个 subject matter expert 岗位要补的缺口（见下）。

⚠️⚠️ Eval：自家 GDP eval"完全饱和"，以及一种会自我维持的调查偏差¶

（[00:22:10]–[00:25:11]）✅ 本库认为这一段的可信度高于他讲的其它部分，因为每一条都对说话人不利。

通用先验："建一个好的 eval 极其难。" 难在"你拼出来的东西只是那个东西的一个代理，而且只是一个维度"，以及"把答案键弄对非常枯燥。而如果没弄对，这个 eval 就非常容易被 reward hack——于是你在 eval 上得高分，但在底层技能上做得很差"。
⚠️ 对金融 eval 现状的直接否定："我们不认为今天有一个真正好的金融工作的 eval。"
⚠️⚠️ 对自家 GDP eval 的自陈：

"如果你们看 Astra 的发布，我们没有谈 GDP eval。我们知道这个 eval 已经完全饱和了，而那些没有饱和的部分，本质上是坏的。所以我们其实不报它了，我们也不再追踪它了。"
✅ 本库判这可直接推广成一条判据：当一个 benchmark 接近饱和时，剩余的失败项要先被当成 eval 的 bug 来查，而不是当成模型的能力缺口——因为它剩下的区分度可能全部来自缺陷而非难度。
⚠️⚠️ 而那条机制，本库认为是他给的最有普遍价值的一条：

"eval 里有一种有意思的偏差：如果数字看起来好，研究员就假定模型变强了，然后不去调查它。而如果你做出了一个强得多的模型、eval 的数字却很难看，你就会去调查。所以这相当于在对这些 eval 的调查上内建了一种偏差。"
⚠️⚠️ 具体经过："GPT-6 上就发生过类似的事。我们在一组金融 eval 上跑了 GPT-6，数字基本没怎么变" → 深挖发现 "我们基本上发现我们已经把这些 eval 饱和了，而我们答错的那些题，是被错误的答案键、写得不清楚的 prompt、或者 eval 的其它某种缺陷驱动的。"
✅ 本库标注这是此前没有的一类：⚠️⚠️ 本库记过很多"被刷分"、"维度不对"、"已饱和"的材料，但这是第一条指认错误检出本身是非对称的——eval 的 bug 只在它让模型显得变差时才会被发现，于是一切让模型显得更好的 eval bug 会永远留在原地。这比"饱和"严重，因为它说明饱和会被系统性低估。
🔗 ✅ 它给 Mark Chen 的 "evals crisis" 补上了机制层面的解释，也与 Arca 的"内部 benchmark 否掉外部 benchmark" 从两侧咬合：买方不信外部 benchmark，而卖方自己也在停掉自家的 eval。
⚠️⚠️ 新 eval 的口径换了对象："建一个好得多的 eval，真的能预测把某个具体职业的工作自动化掉的能力" → "一个类似投资银行 eval 的东西，它能预测：如果你在这个 eval 上得分好，你大概就能把投行里一个 junior analyst 的很多工作自动化掉。" ✅ 被度量的对象从能力变成替代率；🔗 本库认为这使该指标本身成为一个可追踪的就业前瞻信号。

⚠️ 往上爬那条链，以及为什么编码先被解决¶

（[00:19:07]–[00:21:09]、[00:26:11]）

⚠️⚠️ 至今 AI 在金融里做了什么："到目前为止，AI 在金融里绝大多数的应用，真的都聚焦在 junior analyst 的活上。" 两条原因：① 迁就今天的模型能力（"很擅长接受相当具体的指令然后去执行"）；⚠️⚠️ ② 人的意愿在选题——"有一个很强的偏好，是把模型做得擅长人类不擅长、或者不喜欢做的事"（Excel"很枯燥，非常细节导向，容易做错"；片子"你在复制 logo，把它们非常精确地放在页面上某个位置"）。
2027 往上爬：junior analyst → associate → MD 的任务，⚠️⚠️ 而代价说得很清楚："你越往上爬，目标就变得模糊得多。从'这显然是一张好片子还是坏片子'，变成'我不知道这个投资想法好不好'。而要给你一个清楚具体的答案，我可能得等个三年，才真的能看市场做了什么。"
⚠️ 需要的东西：研究投入、好数据、"P99.9 那一档的反馈"、基础模型持续 scaling，以及"来自认为这是个重要问题的研究实验室的专注"。 ⚠️ 而他把自己的角色说成就是那个专注："我在我团队做的一件事，就是让这成为 OpenAI 的一个重点和优先级。" ✅ 本库标注这是一句很坦白的组织性陈述：模型在某个领域变强与否，部分取决于有没有人在内部把它排成优先级。
⚠️⚠️ 而对"编码为什么先被解决"他给了最朴素的解释（[00:26:11]）：

"我们在编码上做对的一件事是，那些在训模型、让模型变好的人，自己懂什么叫好代码。而那在我们让模型在这些事上变好的过程里是一个巨大的顺风。等到要让模型更懂金融的时候，我们没有那个优势。"
因此设 subject matter expert 岗，把金融的隐性知识搬进来与工程师、研究员、PM 协作。
✅ 本库判这条的价值在于它不是关于数据量或可验证性的：⚠️⚠️ 做模型的人自己就是领域专家，于是 taste 那一半的标注者与训练者是同一批人。金融没有这个重合。 🔗 与 Arca 把知识库交给领域专家而不是工程师是同一判断在模型层与应用层的两个版本。
⚠️ 另记一条组织判断："我认为在某种意义上，优秀的产品管理是想在这个领域赢下来的主要瓶颈。"

⚠️ 一条产品方法论，而它有一个具体落点¶

（[00:04:03]–[00:05:03]）

"在企业侧，你必须面对你所在那个行业的现实，然后围着它去建。" ⚠️⚠️ "如果你只从第一性原理去想，你能推出一个说得通的结论，你能用逻辑和理由为它辩护。但如果你在开始建的时候忽略了你所处的世界的状态、以及行业里正在起作用的那些力量——竞争的力量、人们各自的目标——那你就不会建出对的产品。"

✅ 本库标注这不是空话，因为它有一个具体落点：按第一性原理应当接 MCP，按行业现实应当自营。

事实项（自述）¶

金融训练数据走主训练（[00:02:02]）："所有我们为金融推理分析做的训练数据，都走上游进入我们叫 the big run 的那个主训练"（⚠️ 转录稿把产出模型写作 "6 Astra" / "61 Astra"）→ "所以那份智能对想在它上面做东西的人也是可得的。"
OpenAI 的自我定位："内部我们叫自己一家 research and deployment company，而我们是有意按这个顺序排的——research 第一，deployment 第二。"
⚠️ Codex 在 OpenAI 内部的采用曲线（[00:03:03]）：软件工程稳步上扬；而金融、法务、销售"基本在零"，然后突然跳到 90%，时点对应 2 月的 Codex 桌面应用发布。✅ 他用它论证产品与模型必须共同开发——"产品的目的就是让那份模型智能对尽可能多的用户可得"。
产品可得性：现为企业产品，"我们在非常努力地让它对 pro 计划上更多的 prosumer 可用"；✅ 主持人把这个顺序概括成 OpenAI 的惯例："先给企业做东西，然后它会渗到常规模型里。"

⚠️⚠️ 本库必须标出的三处缺口¶

⚠️⚠️ "人犯的错和模型犯的一样多"是"复用银行层级复核"整套论证的支点，但他没有给任何比较数据，而模型错误是否跨层级相关恰恰是这套复用能否成立的关键。没有被追问。
⚠️⚠️ 主持人指出投资判断"常常是反主流共识的，否则就没什么拿到高回报的机会"，而他的回答绕开了这一点——整段讲的是目标模糊、验证周期长。✅ 本库标注这与他自己那条"taste = 合乎社区绝大多数人认为对的范式"直接冲突：在投资上，符合共识恰恰是失败条件。
⚠️⚠️ 冷开场剪进一句"在 OpenAI，我们碰到过预训练的问题，因此在 scaling 模型上有困难。到了 2026 年，我们已经能解决其中很多问题了"（[00:00:00]），而本期正文一字未展开；主持人在结尾点了它，但当即把它当成留给 keynote 的"面包屑"。✅ 本库只记录它被说过、不作为预训练现状的材料。 ⚠️ 本期被明确定位成 keynote 的补充，所以几处最重的断言（2027 时间线、"不再有 PowerPoint"、预训练）的论证都在本库未收录的那场 keynote 里。