"我们去把这些 MCP 都测了一遍，某些大厂名字错误率 40% 以上"：OpenAI 金融产品负责人谈"95% 是创业公司也能做的"、把 taste 当 reward model 来训，以及"GDP eval 已经完全饱和，没饱和的那些部分基本是坏的"（Latent Space × Joseph Kim，2026-10-31）¶

嘉宾: Joseph Kim — OpenAI ChatGPT 金融业务负责人之一（自述从研究侧转到产品与工程，现在带的团队"在很多方面就像一个建在 OpenAI 技术之上的创业公司"）
主持: Latent Space（⚠️ 转录稿未给出主持人姓名；在场的还有自称 "Richard" 的 Latent Space editorial 负责人），人物页见 Latent Space 主播
场合: 纽约 AI Finance 现场，⚠️⚠️ 录在他的 keynote 之后，且本期开头就声明"不想重复 keynote 里的大部分信息"——所以本期是 keynote 的补充而不是全文，多处结论的论证留在了那场没被本库收录的 keynote 里
来源: YouTube · 28 分钟
转录稿: sources/latent-space/20261031-v-d1WTqIULs（⚠️ 自动字幕 en-orig，无说话人标签；转录稿用 >> 标换人，归属为编辑判断）

⚠️ 立场：他是 OpenAI 的产品负责人，在推一个刚发布的自家企业产品（ChatGPT for Financial Services），末尾有一段明确的招聘与导流。全部客户反响、产品效果与 2027 预测均为自述、无第三方来源。 ✅ 但本页认为本期有三处让它比一般厂商访谈可用：① 他主动说"95% 是创业公司也能做的"，并点名自家产品里真正不可复制的只有那 5%；② 他对自家的 GDP eval 直接说"完全饱和，没饱和的部分基本是坏的，所以我们不报也不追踪了"；③ 他承认自家一组金融 eval 在 GPT-6 上纹丝不动，而深挖之后发现坏的是 eval 不是模型。 ⚠️⚠️ 而本页必须标出一处本期没有被兑现的东西（见末节）：冷开场剪了一句关于预训练的断言，主持人在结尾也点了它，但本期正文一个字都没展开。

⚠️ 自动字幕的专名问题，本页照录并标为不可确证： - ⚠️⚠️ 模型名 "6 Astra" / "61 Astra" / "GPT-6 Astra"：转录稿里同一个东西出现三种拼法，本页统一按转录稿写法引用、不作型号采信。 - ⚠️ 数据源 "Dilupa" 疑为财报数据供应商 Daloopa 的字幕讹写，本页照录、不认定。 - ⚠️ "early early chess days" 疑为 "ChatGPT days" 的讹写；"verifiable power rewards" 应为 verifiable rewards；"sweet bench" 应为 SWE-bench。

✅ 本页认为这一期值得长期保存的是六处，其中三处是本库此前没有的： ① ⚠️⚠️ 一条来自模型厂商自己的 MCP 可靠性实测："某些我们接的 MCP，一些大厂的名字，错误率 40% 以上。" → 结论是把数据买进来自营，而不是接生态。 ② ⚠️⚠️ "95% 是创业公司也能做的"，以及对那 5% 的定位：整个产品建在 ChatGPT plugin 架构和它对外开放的同一套 primitives 上，并由此给出一条可被检验的预测——"会有一门十亿美元的生意建在一个 ChatGPT plugin 之上。" ③ ⚠️⚠️ taste 可以被训，而方法是回到最早的 RLHF："我们就给自家的 slides 这么干了"，配上一条反直觉的分工——"人在审美判断上实际上比模型好得多"，而让 grading model 去做会"烧一大堆 reasoning token，最后可能还得出错的结论"。 ④ ⚠️⚠️ 一条本库此前没有的 eval 自我揭露，而且它指认的是一种调查偏差："数字好看，研究员就假定模型变强了，不去查；数字不好看，才会去查。" → GPT-6 在金融 eval 上没动 → 深挖发现是答案键错了、prompt 写得不清楚。 ⑤ ⚠️⚠️ 把安全档位设计成"像一个人"，并由此直接复用银行既有的层级复核：junior analyst → associate → VP → MD 这条链本来就是为人的错误建的，而"人犯的错和模型一样多"。 ⑥ ⚠️ 一条明确的能力分界，而且它把"会毁掉职业生涯的错误"和"模型现在真正缺的东西"判成了两件事：前者是事实错误且改变结论（他认为模型正在变好、且既有复核会兜住）；后者是 taste（不致命但"仍然要紧"）。

一、⚠️⚠️ 产品形态：金融数据被买进来自营，理由是接来的 MCP 不能用¶

（[00:01:02]、[00:05:03]–[00:06:03]）✅ 本页认为这是本期最硬、也最不像营销的一段，因为论据是一组对第三方的实测负面结果。

产品：ChatGPT for Financial Services，企业向，把消费版 ChatGPT 的工具能力加上企业层——"firm-specific templates"、数据源（⚠️ 转录稿写作 "Dilupa"、S&P 等）；设计伙伴是 Morgan Stanley 和 Evercore（[00:01:02]）。
⚠️⚠️ 而"要不要自己把数据买进来"这个决定，他明说在第一性原理上是难辩护的（[00:05:03]）：

"你说'嘿，我想把季度财报电话会的转录稿拿进产品里、打包进去'。而人们第一句话会是：商店里就有一个 MCP 连接啊。你把它打包进来，提供的增量价值到底是什么？"
⚠️ 他把反对意见说全了：客户可能已经有那份数据的 license，所以会觉得在付两遍钱；而且他们本来就有 MCP。
⚠️⚠️ 然后是本页认为全期最该被长期引用的那条实测（[00:06:03]）：

"而现实是我们去把这些 MCP 都测了一遍。我们发现错误率真的非常非常高。某些我们接的 MCP，一些大厂的名字，错误率 40% 以上。" "MCP 就是那种在纸面上看起来很好、但你必须去看数据、看实际在发生什么的东西。"
于是结论是控制端到端："唯一能规模化修好这件事的办法，就是把数据搬进来自己做，端到端控制那个体验。" ✅ 而他给的验证是客户侧的反馈排序："客户最常点名的第一件事就是数据。"
✅ 本页标注这条为什么重要，而且它和本库既有材料的方向相反：⚠️⚠️ 讲 MCP 的材料通常来自生态的推动方（协议是对的、工具会接上来）；这一条来自一个有能力接任何 MCP 的买方，而它的结论是不接、改成自营。本页认为"40% 以上错误率"这个量级比"MCP 质量参差"这种说法有用得多，因为它是可以被别人复测的。
⚠️ 本页同时标注这条证词的利益方向：他在为"我们额外花钱打包数据是值得的"这个商业决定辩护，所以他有动机把外部 MCP 说得更差。 ✅ 但本页认为这不构成否定——因为 MCP 的质量是任何人都能独立复测的，而他给出了一个具体到可证伪的数字。

⚠️ 一条他反复讲的方法论：企业产品不能从第一性原理推¶

（[00:04:03]–[00:05:03]）

"在企业侧，你必须面对你所在那个行业的现实，然后围着它去建。" ⚠️⚠️ "如果你只从第一性原理去想，你能推出一个说得通的结论，你能用逻辑和理由为它辩护。但如果你在开始建的时候忽略了你所处的世界的状态、以及行业里正在起作用的那些力量——竞争的力量、人们各自的目标——那你就不会建出对的产品。"

✅ 本页标注这是他给数据那个决定的事后总结，所以这不是一句空话——它有一个具体的落点：按第一性原理应当接 MCP，按行业现实应当自营。

二、⚠️⚠️ "95% 是创业公司也能做的"：建在对外开放的同一套 primitives 上¶

（[00:07:04]–[00:09:04]）✅ 本页认为这是本期对外部开发者信息量最大的一段。

⚠️⚠️ "讲 post-training 那部分很有意思，因为那是我们独有的、能让人兴奋起来的东西。但我们建的东西里 95% 是创业公司绝对能做的、别的公司能做的。而且我们并不真的需要动用我们改模型的能力，就能建出很棒的产品。"

架构上：产品的大部分建在 Codex（他当场改口说"现在该叫 ChatGPT 了"）的 plugin 架构与 primitives 上，⚠️⚠️ 而他强调那就是对外开放的同一套："用的就是任何想在 ChatGPT 上做东西的 builder 都能拿到的那些 primitives。"
⚠️⚠️ 而他给的理由是组织结构上的同构，本页认为这条值得单独记：

"OpenAI 是一家有意思的公司——我们内部面对的问题，和一家创业公司要在 OpenAI 上面做东西时面对的问题，基本是同一批。所以在很多方面，我的团队就像一个建在 OpenAI 技术之上的创业公司。"
✅ 本页标注这条的用处：它意味着那套 plugin primitives 的质量有一个内部的、与外部开发者一致的利益相关方在施压。 ⚠️ 但本页也标注这是自述，且第一方团队在内部优先级上的真实待遇无法从本期核实。
⚠️⚠️ 团队的立论被他说成一条"80/20"，而关键在后半句（[00:08:04]）：

"我们团队的立论是，Codex 能把你带到一个能在市场上成功的产品的 80% 左右，但那 20% 是缺的。……而立论的另一半是，如果你就把 Codex 拿去当成一个金融产品发布，它会失败。所以那 20% 其实是决定性的。"
⚠️⚠️ 而那条可被检验的预测：

"我真的认为会有一门十亿美元的生意，建在一个 ChatGPT plugin 之上。你能借到全部那些横向的功能，然后只把你的秘方加在上面。"
他给的秘方清单：数据、UI 改动、某个集成。
🔗 ✅ 本页标注这与本库"应用层还剩什么"那条线的关系，因为它来自对侧：本库此前的材料基本都是应用层方自己在划防线——Town 的契约与可迁移性、Eve 的数据不可爬、Arca 的"运营知识的归属就是智能的归属"。 ⚠️⚠️ 而这一条是模型厂商自己在说应用层还剩什么，而他给的答案（数据、UI、集成）恰好与 Eve 的那条重合了一项。 ✅ 本页认为两边在"数据是剩下的那部分"上意外一致，是本期最值得被 AI 商业化与价值捕获保存的交叉点。
⚠️⚠️ 而本页必须标出同一期内的一处张力：他一边说"95% 创业公司也能做"，一边自家产品的那 5% 恰恰就是上一节那个"把数据买进来自营"的决定——而那个决定需要的是采购预算与供应商谈判能力，不是模型改动能力。 ✅ 本页的判断：他说的"创业公司也能做"在技术栈上成立，在那条数据决定上未必成立，而他自己给的客户反馈排序（"第一件事就是数据"）正好指向后者。

三、⚠️⚠️ 把安全档位设计成"像一个人"，于是银行既有的层级复核可以直接复用¶

（[00:09:04]–[00:12:04]）✅ 本页认为这是本期最可迁移的一段设计思路，而且它的论证是一条本库此前没有记过的等价。

现发布的这一版被他定义得很保守（[00:10:04]）："是给在这个领域工作的知识工作者用的生产力工具"，带着一个很深的假设——"永远有人在环里"。
具体形态：金融分析师有一张当天的待办清单，对其中每一项先试着用 ChatGPT 做——"它可能带你走到 30%，也可能 80%，取决于任务"，⚠️ 但"始终有这个人类在环主持这份工作的预设"。
✅ 他直说这个预设的好处是组织上的："这让我们很容易建出一个产品，把审计与复核的责任交到人们手里、变成人们的职责。" ⚠️⚠️ 本页标注这实际上是一句关于责任归属而非技术的陈述。
⚠️⚠️ 而"接下来那一版"长得不一样，他给的设计原则是本页认为本期最该被 LLM 安全引用的一条（[00:11:04]）：

"人们能非常直觉地理解的一件事，是怎么和别人一起工作。所以我们的立论是：如果我们把产品做得很像你和你的同事、你的实习生、你周围的人一起工作，那就是人们能很快很容易上手的东西。因此我们需要把它的安全画像塑造成一个人的样子。"
他给的两个落点：
① 读/写分级（[00:11:04]）："即便对人也有这个读写的概念" → 他举自己在 Google 的例子：新来的软件工程师需要一个叫 readability 的东西，在你能去动系统之前有一套制衡。 ✅ 推论是"既然已经有监督人的工作的系统，那模型表现得更像人，你就能复用那些系统"。
② 银行的层级复核本来就是为人的错误建的（[00:12:04]）：junior analyst 干基础活 → 交给 associate 复核并加上自己的判断 → 交给 VP → 再往上到 director、MD，⚠️⚠️ 而他对这条链的定性是关键： > "所以有这么一套层级系统，里面有隐含的工作互查。这套东西本来就是为了防住人会犯的错误而建起来的——因为人犯的错和模型犯的一样多。"
✅ 本页标注这条论证的形状，因为它是一个本库此前没有的方向：⚠️⚠️ 本库既有的 agent 安全材料几乎都在建新设施（确定性护栏与出口检查、just-in-time 提权、凭据与 agent 分离）；而这一条主张不建新设施，改成让 agent 的行为画像贴合既有的人事管控，从而白拿一套已经在跑的复核体系。 ✅ 本页认为这在受监管行业里是一条真实的省力路径，而它成立的前提正是他那句"人犯的错和模型一样多"。
⚠️⚠️ 而本页必须标出这条前提本身是未经论证的："人犯的错和模型一样多"是本期论证的支点，但他没有给任何比较数据，而模型的错误分布（会不会相关、会不会同时在多个层级犯同一个错）与人的错误分布是否可比，恰恰是这套复用能否成立的关键。 ✅ 本页判这是本期最该被追问而没有被追问的一点——层级复核能挡住人的错误，依赖的是各层的错误彼此独立。
⚠️ 他对趋势的判断（无数据）："agent 已经在变得更自主、更独立，我们预期这个趋势会延续到 '27、'28。"

四、⚠️⚠️ 能力分界：会断送职业生涯的错误 vs 模型现在真正缺的 taste¶

（[00:12:04]–[00:15:04]）

主持人给的是一个从业者的顾虑：金融圈里"一个错误就会压垮你，交上去一个错的东西，整个职业生涯都有风险"，并提到他 keynote 里的一张片子说 2027 年不再有 PowerPoint。
⚠️ 他先说这个说法本身不对，但随后选择"假设它为真"来回答（[00:13:04]）：
"不是所有错误生而平等，也不是所有模型能力生而平等。"
分级按位置："VP 的风险比 junior analyst 高，因为到那一层已经有一个'工作已被复核过'的预设。所以如果 MD 看到一个错误，那是个大问题——要让那个错误走到 MD 那里，很多安全网都已经失效了。"
⚠️⚠️ 而他把"会断送职业生涯的错误"定义得很窄，本页认为这个定义是本期最该被保存的一条（[00:14:04]）：

"会断送职业生涯的错误，是你把一条信息搞错了，而那条事实信息改变了结论。"
他对这一类的判断是乐观的："我们在注意细节上看到了很多进展。hallucination 在 2022、2023 年还是个常被提起的词，现在不怎么被提了。" → "所以那种会让你被炒掉的离谱错误，模型正在变得好很多，而且还在继续变好。"
⚠️ 结论是一个概率陈述，无数据："我其实相当有信心，这种持续改进加上既有的系统复核，会让那类错误传到 MD 那里的概率非常低。"
⚠️⚠️ 而他说模型今天真正缺的不是这个，这是本页认为全期最干净的一处区分（[00:14:04]–[00:15:04]）：

"模型今天欠缺、还需要改进的，其实不是那种会断送职业生涯的错误，而是涉及人类判断与 taste 的那一部分。" "就是这张片子看着丑。它没错，但排版、颜色有点不对劲，有什么东西看着潦草，所以这不是一张好片子。"
⚠️ 他没有把这件事说小："这不是事实错误那种意义上的断送职业生涯，但它要紧。它在'这份工作有多大用处'这件事上仍然要紧。"
2027 的那条预测（[00:15:04]）："我预期模型在人类 taste 那一块会变好很多"，⚠️⚠️ 而他把这类目标函数的性质说清楚了："它不是对还是错，它是比较性的——有没有什么东西比这个更好。"
✅ 本页标注这组区分为什么值得长期保存：⚠️⚠️ 它把"模型能不能用"拆成了两条独立的轴——事实可靠性（可验证、他认为在解决中）与 taste（比较性、他认为是当下的真瓶颈），并且主张只有第一条是致命的。本页认为这比"模型还不够好"这类说法有用得多，因为这两条轴需要完全不同的训练方法，而这正是下一节的内容。

五、⚠️⚠️ taste 怎么训：回到最早的 RLHF，而且人在这件事上比模型强得多¶

（[00:15:04]–[00:18:06]）✅ 本页认为这是本期技术含量最高的一段，而且其中一条是本库此前没有的反直觉结论。

⚠️⚠️ 他先指出一件被遗忘的事（[00:16:05]）：

"很早很早的时候，我们训模型训的唯一一样东西本质上就是 taste。那时候有 RLHF，而人类反馈永远是一个成对的信号：给你两个选项，哪个更好？" "所以强化学习最早的那些日子，是建在训练人类 taste 这个想法上的。后来有了可验证奖励、environment 这些东西，我们建了很多做别的类型奖励、别的类型 RL 的机器。于是人们有点忘了，RL 最早那些日子全都是围着人类 taste 转的。"
方法他说得很直白（[00:16:05]）："技术上的答案我认为很简单：你就训一个 reward model。你找一堆人来看成对的东西，说哪个更好。而这到今天还是有效的。"
⚠️⚠️ 自家的例子："小知识：我们就给我们自家的 slides 这么干了。怎么让模型更会做演示文稿？我们就找一堆人来看成对的片子，说哪张看起来更好。"
⚠️⚠️ 而那条反直觉的发现，本页认为是本期最值得单独引用的一句（[00:16:05]–[00:17:05]）：

"而人在审美判断上其实非常非常好。实际上比模型好得多，这是我们发现的一件事。一个人能看两张片子，几秒钟之内说出这张更好。而如果你拿一个模型、一个打分模型去做这件事，它会烧掉一大堆 reasoning token——这些像素这样、那个东西那样——然后可能还得出一个错的结论。" "所以人在让这些模型变好这件事上，仍然非常非常有价值。"
✅ 本页标注这条为什么重要：⚠️⚠️ 本库既有材料里"用模型给模型打分"（LLM-as-judge）基本是默认做法；这一条来自 OpenAI 自己，而它在一个具体维度（审美）上说人类标注不仅没被替代，还明确更强，并且给出了机制——模型会在这件事上过度推理。 ✅ 本页认为"打分模型会烧 reasoning token 然后得出错结论"是一条可以被直接检验的断言，也是本库第一条指认"更多推理在某些维度上反而更差"的一手说法。
🔗 ⚠️ 而主持人当场接的那句正好补上了外部参照（[00:18:06]）：他点了 Cognition 的 frontier code，说 SWE-bench 问的是"答案对不对"，而这个问的是"你会不会 merge 这段代码"——"所以你能有好几个都能跑通的、像样的 PR，但哪一个你会 merge？这就是为什么你有时会看到'推理更少反而更好'的那种图，而它同时也是一个 taste benchmark。" ✅ 本页标注这是本期唯一一处来自主持人的、对嘉宾说法的独立佐证。
⚠️⚠️ 而他给 taste 可训这件事的信心来源是一个类比，本页认为这个类比的拆法值得保存（[00:17:05]–[00:18:06]）：
先验来自编码："我会说编码不算完全解决，但假设我们走到了 80%，正在啃最后的 20%。"
⚠️⚠️ 而他把编码拆成两半：可验证奖励那半是"代码编不编得过、有没有语法错误、函数输出是不是预期的"；taste 那半是"系统设计干不干净、你建的系统随时间好不好维护、好不好做单元测试、是不是遵循社区或行业绝大多数人认为对的范式"。
⚠️⚠️ 然后把金融工作按同一条缝拆开：可验证那半是"我有一个 Excel 模型，它加不加得起来？有没有引用错误？"；taste 那半他用了一个从业者的术语—— > "我开始做金融之后学到一个东西，叫模型的 feel：你去扰动输入、看输出，一个有经验的金融从业者能扰动输入、看输出，然后理解数据在这个模型里流动的方式感觉对不对。" > "而那是一种人类偏好，它看起来很像'这段代码干不干净、写得好不好'。"
✅ 他的结论："我们在编码上的成功，让我有信心我们能把金融里很多这类问题也解掉。"
✅ 本页标注这条类比的可检验之处，也标注它的弱点：⚠️⚠️ 强处是他把两个领域拆成了同构的两半（可验证 + taste），而不是笼统地说"金融像编码"。 ⚠️⚠️ 弱处是编码那半的 taste 有一个金融没有的东西——"社区绝大多数人认为对的范式"是公开的、海量的、可从代码库里学到的；而"模型的 feel"按他自己的描述是从业者身上的隐性知识，所以这恰恰是本期末尾那个 subject matter expert 岗位要解决的缺口（见第七节）。本页认为这两段放在一起读，才看得出这个类比的成本在哪。

六、⚠️⚠️ 往上爬那条链，以及"目标会变得更模糊"¶

（[00:19:07]–[00:22:10]）

⚠️⚠️ 他对"至今为止 AI 在金融里做的是什么"给了一个很干脆的概括（[00:19:07]）："到目前为止，AI 在金融里绝大多数的应用，真的都聚焦在 junior analyst 的活上。"
而他给了两条原因，本页认为第二条比第一条有意思：
① 迁就今天的模型能力："今天的模型很擅长接受相当具体的指令然后去执行——给我做一张片子，我要它长这样，用我们的模板。"
⚠️⚠️ ② 人的意愿在选题（[00:20:07]）："有一个很强的偏好，是把模型做得擅长人类不擅长、或者不喜欢做的事。"
- Excel 模型："很枯燥，非常细节导向，容易做错。"
- 片子："你在复制 logo，把它们非常精确地放在页面上某个位置。那是很多人都不喜欢做的枯燥活。"
- ✅ 他的结论是产品方向由两件事共同决定："是既有的模型能力对某类任务已经不错、再加上人们喜欢做什么不喜欢做什么这两件事的组合。"
2027 的路线是往上爬（[00:20:07]–[00:21:09]）："这两件事上的低垂果实我们已经摘掉很多了。所以进入 2027，我们要开始往上爬——从 junior analyst 能做的任务，到 associate 能做的一些任务，再到 MD 会做的一些任务。"
⚠️⚠️ 而他说清了往上爬的代价，本页认为这是本期关于研究难度最有信息量的一段（[00:21:09]）：

"而你越往上爬，目标就变得模糊得多。从'这显然是一张好片子还是坏片子、这是不是能放到客户面前的东西'，变成'我不知道这个投资想法好不好'。而要给你一个清楚具体的答案，我可能得等个三年，才真的能看市场做了什么。"
⚠️ 他要的东西清单：大量研究投入、很好的数据、领域专家的反馈——⚠️⚠️ "我们真的很想要 P99.9 那一档的反馈，才能让模型做到和人一样好"——加上"基础模型的持续 scaling，以及来自认为这是个重要问题的研究实验室的专注"。
⚠️ 而他把自己的角色说成就是那个专注："我在我团队做的一件事，就是让这成为 OpenAI 的一个重点和优先级。" ✅ 本页标注这是一句很坦白的组织性陈述：模型在某个领域变强与否，部分取决于有没有人在内部把它排成优先级。
🔗 ⚠️ 而主持人提了一个他没有正面回答的难点（[00:19:07]）：投资判断"常常是反主流共识的，否则就没什么拿到高回报的机会"。 ⚠️⚠️ 本页标注这一问没有被回答——他的整段回答讲的是目标模糊、验证周期长，而"正确的投资想法按定义必须偏离训练数据里的共识"这个更尖锐的结构性问题被绕过去了。 ✅ 本页认为这是本期第二处该追问而没追问的地方，并且它和上一节那条"taste = 社区绝大多数人认为对的范式"直接冲突——在投资上，符合共识恰恰是失败条件。

七、⚠️⚠️ Eval：自家的 GDP eval"完全饱和"，以及一种会自我维持的调查偏差¶

（[00:22:10]–[00:25:11]）✅ 本页认为这是全期最该被评估与 Benchmark 长期保存的一段，而且它的可信度高于本期其它部分——因为每一条都对说话人不利。

先是一条通用先验（[00:22:10]–[00:23:10]）："建一个好的 eval 极其难。对没建过 eval 的人来说这不明显。"
难在两处：① "要建一个真的和你想测的那个东西相关的 eval，非常难——因为你拼出来的东西只是那个东西的一个代理，而且只是一个维度。"；② "把答案键、或者你打分的方式弄对，非常枯燥。而如果你没把打分弄对，这个 eval 就非常容易被 hack、非常容易被 reward hack——于是你可能在 eval 上得很高分，但在你真正想测的那个底层技能上做得很差。"
⚠️ 而对金融 eval 的现状他给了一个直接的否定："我们不认为今天有一个真正好的金融工作的 eval。"
⚠️⚠️ 然后是对自家 GDP eval 的一段自陈，本页认为这是本期最该被单独引用的一处（[00:23:10]）：

"我会引一下我们自己做的工作，就是 GDP eval，它更宽泛一点、是知识工作层面的。如果你们看 Astra 的发布，我们没有谈 GDP eval。我们知道这个 eval 已经完全饱和了，而那些没有饱和的部分，本质上是坏的。所以我们其实不报它了，我们也不再追踪它了。"
✅ 本页标注这条的分量：⚠️⚠️ "没有饱和的那些部分本质上是坏的"是一个很重的说法——它意味着一个 eval 剩下的全部区分度都来自它的缺陷，而不是来自难度。本页认为这条可以直接推广成一条判据：当一个 benchmark 接近饱和时，剩余的失败项要先被当成 eval 的 bug 来查，而不是当成模型的能力缺口。
⚠️⚠️ 而他给的那个机制，本页认为是本期最有普遍价值的一条（[00:24:10]）：

"eval 里有一种有意思的偏差：如果数字看起来好，研究员就假定模型变强了，然后不去调查它。而如果你做出了一个强得多的模型，eval 的数字却很难看、或者没有按你想要的幅度涨，你就会去调查。" ⚠️ "所以这相当于在对这些 eval 的调查上内建了一种偏差。"
⚠️⚠️ 而他给了那个偏差被触发的一次具体经过："GPT-6 上就发生过类似的事。我们在一组金融 eval 上跑了 GPT-6，数字基本没怎么变。我们就说：咦，这是怎么回事？我们来看看这个 eval。" → **深挖的结果是 "我们基本上发现我们已经把这些 eval 饱和了，而我们答错的那些题，是被错误的答案键、写得不清楚的 prompt、或者 eval 的其它某种缺陷驱动的。"
✅ 本页标注这条为什么是本库此前没有的：⚠️⚠️ 本库记过很多"benchmark 被刷分"、"benchmark 维度不对"、"benchmark 饱和"的材料，但这是第一条指认错误检出本身是非对称的——eval 的 bug 只在它让模型显得变差时才会被发现，于是一切让模型显得更好的 eval bug 会永远留在原地。本页认为这条比"benchmark 饱和"严重得多，因为它说明饱和会被系统性地低估。
🔗 ✅ 而它正好给本库既有的 Mark Chen 的 "evals crisis" 补上了一个机制层面的解释，也和 Arca 那条"内部 benchmark 否掉外部 benchmark" 从两侧咬合：买方不信外部 benchmark，而卖方自己也在停掉自家的 eval。
⚠️ GPT-6 Astra 为什么没怎么谈金融 eval，他给了理由（[00:24:10]）："我们内部有一些，当时还没太想分享。它们会来的。但当时我们没有好的办法，在这些 eval 上展示在金融任务上的进展。"
团队正在建的新东西，口径是按职业的自动化程度（[00:25:11]）："建一个好得多的 eval，真的能预测把某个具体职业的工作自动化掉的能力。" → "想法是我们会有一个类似投资银行 eval 的东西，它能预测：如果你在这个 eval 上得分好，你大概就能把投行里一个 junior analyst 的很多工作自动化掉。"
✅ 本页标注这个口径的转变值得记：⚠️⚠️ 从"模型在某类任务上多强"换成"能替掉某个职级多少工作"，被度量的对象从能力变成了替代率。 🔗 本页认为这与 AI 与就业直接相关——当模型厂商自己把 eval 的目标函数写成职业自动化程度时，那个指标本身就成了一个可被追踪的就业前瞻信号。

八、⚠️ 招聘：PM 是瓶颈，以及一个为"编码有而金融没有"的优势设的岗位¶

（[00:25:11]–[00:26:11]）✅ 本页本来不收录招聘段落，但这一段里有两条是关于能力缺口而非岗位的，所以记。

⚠️⚠️ "我认为在某种意义上，优秀的产品管理是想在这个领域赢下来的主要瓶颈。" → 要招的 PM 按金融子行业分：投行、股票研究、资产管理。
⚠️⚠️ 而那个叫 subject matter expert 的岗位，他给的理由正好补上了第五节那个类比的缺口：

"我们在编码上做对的一件事是，那些在训模型、让模型变好的人，自己懂什么叫好代码。而那在我们让模型在这些事上变好的过程里是一个巨大的顺风。等到要让模型更懂金融的时候，我们没有那个优势。"
✅ 本页标注这是本期对"为什么编码先被解决"最朴素也最有说服力的解释，而且它不是关于数据量或可验证性的：⚠️⚠️ 做模型的人自己就是领域专家，于是 taste 那一半的标注者和训练者是同一批人。金融没有这个重合，所以那半必须靠外聘的人把隐性知识搬进来。
🔗 本页认为这条与 Arca 把知识库交给领域专家而不是工程师是同一个判断在模型层与应用层的两个版本。
⚠️ 产品可得性：现为企业产品，"我们在非常努力地让它对 pro 计划上更多的 prosumer 可用"（[00:25:11]）；✅ 而主持人把这个顺序概括成一条 OpenAI 的惯例（[00:27:11]）："很典型的 OpenAI 做法——先给企业做东西，然后它会渗到常规模型里。"

九、⚠️⚠️ 一处本期没有兑现的东西¶

⚠️⚠️ 冷开场剪进来一句关于预训练的断言（[00:00:00]）：

"在 OpenAI，我们碰到过预训练的问题，因此在 scaling 模型上有困难。到了 2026 年，我们已经能解决其中很多问题了。"
⚠️⚠️ 而本期正文完全没有展开它。 主持人在结尾确实点了它——"你讲了一点那个很带劲的、我们修好了预训练问题"——但紧接着就把它当成留给 keynote 的线索（[00:27:11]）："所以我给你们留点面包屑，自己去看。"
✅ 本页的处理：⚠️⚠️ 这句话本页只记录它被说过、以及它没有在本期被论证，不作为任何关于预训练现状的材料使用。 ⚠️ 本页同时标注这是本期结构上的一个普遍问题：它被明确定位成 keynote 的补充，所以几处最重的断言（2027 时间线、"不再有 PowerPoint"、预训练）的论证都在一场本库没有收录的 keynote 里。

本页认为值得长期保存的¶

条目	内容
⚠️⚠️ 一条来自模型厂商的 MCP 可靠性实测	"我们去把这些 MCP 都测了一遍……某些我们接的 MCP，一些大厂的名字，错误率 40% 以上"；"MCP 就是那种在纸面上看起来很好、但你必须去看数据的东西" → 结论是把数据买进来自营、端到端控制；✅ 本库第一条来自有能力接任何 MCP 的买方、而结论是不接的材料，且数字具体到可被复测；⚠️ 他有动机把外部 MCP 说差（在为自家打包数据的收费辩护）
⚠️⚠️ "95% 是创业公司绝对能做的"	产品建在对外开放的同一套 ChatGPT plugin primitives 上，"我的团队就像一个建在 OpenAI 技术之上的创业公司"；"Codex 能带你到 80%，但那 20% 是决定性的——如果你就把 Codex 当金融产品发布，它会失败"；✅ 可检验的预测："会有一门十亿美元的生意建在一个 ChatGPT plugin 之上"，秘方是数据 / UI / 集成；⚠️⚠️ 而本页标出的同期张力是：他自家那 5% 恰恰是采购数据的决定，不是模型改动
⚠️⚠️ 安全画像"塑造成一个人的样子"	"如果我们把产品做得很像你和同事、实习生一起工作，那就是人们能很快上手的东西，因此需要把它的安全画像塑造成一个人的样子"；落点是读/写分级（Google 的 readability）与银行层级复核（junior→associate→VP→MD）；⚠️⚠️ 支点那句是"人犯的错和模型犯的一样多"；✅ 本库既有安全材料都在建新设施，这一条主张复用既有人事管控；⚠️⚠️ 而本页标注那个支点没有被论证——层级复核挡住人的错误靠的是各层错误彼此独立
⚠️⚠️ 两条轴的区分	"会断送职业生涯的错误，是你把一条信息搞错了，而那条事实信息改变了结论"（他认为模型正在变好，"hallucination 在 2022、2023 年还常被提，现在不怎么被提了"）；而"模型今天真正欠缺的不是那个，是涉及人类判断与 taste 的那一部分"——"这张片子看着丑。它没错，但……"，⚠️ "它不是断送职业生涯那种，但它要紧"；✅ 本页判这组区分的价值在于两条轴需要完全不同的训练方法
⚠️⚠️ taste 可训，方法是回到最早的 RLHF	"很早很早的时候，我们训的唯一一样东西本质上就是 taste……人类反馈永远是一个成对的信号"，后来"有了可验证奖励、environment……于是人们有点忘了"；"技术上的答案很简单：你就训一个 reward model"；⚠️⚠️ 自家例子："我们就给我们自家的 slides 这么干了"
⚠️⚠️ 一条反直觉的分工：审美上人比模型强得多	"人在审美判断上其实非常非常好。实际上比模型好得多，这是我们发现的一件事。一个人几秒钟之内能说出这张更好。而如果你拿一个打分模型去做，它会烧掉一大堆 reasoning token……然后可能还得出一个错的结论"；✅ 本库第一条来自 OpenAI 自己、指认"更多推理在某个维度上反而更差"的说法，且可被独立检验；🔗 主持人当场用 Cognition frontier code 的"你会不会 merge 这段代码"与"推理更少反而更好的那种图"佐证
⚠️⚠️ 编码 / 金融按同一条缝拆成两半	编码：可验证（编不编得过、语法、函数输出）+ taste（系统设计干净、可维护、好单测、合乎社区范式）；金融：可验证（Excel 加不加得起来、引用错误）+ taste——"模型的 feel：扰动输入、看输出，一个有经验的从业者能理解数据在这个模型里流动的方式感觉对不对"；✅ 强处是同构拆法而非笼统类比；⚠️⚠️ 弱处是编码那半的 taste 范式是公开可学的，而"模型的 feel"是从业者身上的隐性知识——这正是末尾 subject matter expert 岗位要补的缺口
⚠️⚠️ 往上爬的代价：目标变模糊，而验证周期以年计	"从'这显然是一张好片子还是坏片子'，变成'我不知道这个投资想法好不好'。而要给你一个清楚的答案，我可能得等三年"；要的是研究投入 + 好数据 + "P99.9 那一档的反馈" + 基础模型持续 scaling + 研究实验室的专注；⚠️ 而他把自己的角色说成就是那个专注："让这成为 OpenAI 的一个优先级"
⚠️ 至今 AI 在金融里做什么，以及为什么	"绝大多数应用真的都聚焦在 junior analyst 的活上"，两条原因：迁就今天的模型能力（擅长执行具体指令）+ ⚠️⚠️ 人的意愿在选题——"把模型做得擅长人类不喜欢做的事"（Excel 枯燥易错、片子要精确摆 logo）；✅ 产品方向由能力与意愿共同决定
⚠️⚠️ "GDP eval 已经完全饱和，而没饱和的那些部分本质上是坏的"	"如果你们看 Astra 的发布，我们没有谈 GDP eval……所以我们其实不报它了，我们也不再追踪它了"；✅ 本页判这可直接推广成一条判据：benchmark 接近饱和时，剩余失败项要先当成 eval 的 bug 查，而不是当成能力缺口
⚠️⚠️ eval 调查偏差：错误检出是非对称的	"如果数字看起来好，研究员就假定模型变强了，然后不去调查它。而如果数字很难看，你就会去调查"；具体经过：GPT-6 在一组金融 eval 上数字基本没变 → 深挖发现"我们已经把这些 eval 饱和了，而答错的题是被错误的答案键、写得不清楚的 prompt、或 eval 的其它缺陷驱动的"；✅ 本库第一条指认"eval 的 bug 只在它让模型显得变差时才会被发现，于是让模型显得更好的 bug 会永远留着"——这比"饱和"严重，因为它说明饱和会被系统性低估；🔗 给 Mark Chen 的 evals crisis 补上机制
⚠️ eval 难在哪的两条	① "你拼出来的东西只是那个东西的一个代理，而且只是一个维度"；② "把答案键弄对非常枯燥。而如果没弄对，这个 eval 就非常容易被 reward hack——于是你在 eval 上得高分，但在底层技能上做得很差"；⚠️ "我们不认为今天有一个真正好的金融工作的 eval"
⚠️⚠️ 新 eval 的口径换成了职业自动化程度	"一个类似投资银行 eval 的东西，它能预测：如果你在这个 eval 上得分好，你大概就能把投行里一个 junior analyst 的很多工作自动化掉"；✅ 被度量的对象从能力变成替代率；🔗 本页认为这使该指标本身成为一个可追踪的就业前瞻信号
⚠️⚠️ 为什么编码先被解决：训模型的人自己就是领域专家	"我们在编码上做对的一件事是，那些在训模型的人自己懂什么叫好代码。而那是一个巨大的顺风。等到要让模型更懂金融，我们没有那个优势" → 因此设 subject matter expert 岗；✅ 本页判这是对"编码为什么领先"最朴素的解释，且不是关于数据量或可验证性的；🔗 与 Arca 把知识库交给领域专家是同一判断的模型层版本
⚠️ 一条产品方法论，有具体落点	"在企业侧，你必须面对你所在那个行业的现实，然后围着它去建"；"如果你忽略你所处世界的状态、以及行业里正在起作用的那些力量，那你就不会建出对的产品"；✅ 落点是具体的：按第一性原理应当接 MCP，按行业现实应当自营
⚠️⚠️ 两处该追问而没被追问的	① "人犯的错和模型犯的一样多"是第三节整套复用的支点，但无任何比较数据，而模型错误是否跨层级相关恰恰是关键；② 主持人指出投资判断"常常反主流共识"，而回答绕开了这一点——这与"taste = 合乎社区绝大多数人认为对的范式"直接冲突，因为在投资上符合共识是失败条件
⚠️⚠️ 一处没有兑现的断言	冷开场剪进"在 OpenAI，我们碰到过预训练的问题……到了 2026 年，我们已经能解决其中很多问题了"（[00:00:00]），⚠️⚠️ 而本期正文一字未展开，主持人在结尾把它当成留给 keynote 的"面包屑"；✅ 本页只记录它被说过、不作为预训练现状的材料；⚠️ 本期被明确定位成 keynote 的补充，所以几处最重的断言（2027 时间线、"不再有 PowerPoint"、预训练）的论证都在本库未收录的 keynote 里
⚠️ 产品与数据的事实项	ChatGPT for Financial Services，企业向，设计伙伴 Morgan Stanley 与 Evercore，带 firm-specific templates 与打包数据源（⚠️ 转录稿写作 "Dilupa"、S&P）；金融训练数据走"the big run"进主模型，"我们会把那份智能也开放到那里"；⚠️ Codex 在 OpenAI 内部的采用曲线：软件工程稳步上扬，而金融/法务/销售"基本在零"，然后突然跳到 90%，时点对应 2 月的 Codex 桌面应用发布（✅ 他用它论证产品与模型要共同开发）