跳转至

"你不知道自己一开始就没抽出来什么":一家文档处理公司的 CEO 把前沿模型的失效模式定位在 recall 而不是 precision,以及"白领工作还没有 Claude Code 时刻"(Latent Space × Reducto,2026-11-06)

  • 嘉宾: Adit Abraham — Reducto 联创兼 CEO(文档解析 / 处理;MIT CS 本科,YC 出身)
  • 主持: Latent Space Let Them Cook 系列的一位主持(⚠️ 转录稿全程未出现主持姓名,本页不指认;人物页见 Latent Space 主播)
  • 来源: YouTube · 51 分钟
  • 转录稿: sources/latent-space/20261106-KgqWyVVH4Oc(⚠️ 自动字幕 en-orig,无说话人标签;转录稿用 >> 标换人,归属为编辑判断。⚠️ 转录稿止于 [00:49:40],视频 51 分钟,末尾约 1 分钟未覆盖——本页不引用该段)

⚠️ 节目形态先说清楚:这是一期边做菜边访谈的节目(Let Them Cook,本期做牛排三明治 + chimichurri),约五分之一的转录稿是切菜、控火、口味这类与 AI 无关的现场对话。✅ 本页只收访谈内容,并标注这个形态影响了提问密度——主持多次被烹饪动作打断,有几个追问没有收口(见末节)。

⚠️⚠️ 立场必须重标注:他是 Reducto 的 CEO,而本期同时是一次产品发布现场。 - ⚠️ 他在节目里宣布了两件商业消息:自研端到端模型 R1("我们下周一宣布",[00:04:05]–[00:05:07])、结构化抽取的降价("我们今天宣布的",[00:46:37])。 - ⚠️⚠️ 因此本期全部准确率、成本、规模、客户反响陈述均为自述,无第三方来源、无口径说明。本页逐条标注,不采信为事实。 - ✅ 但本页判本期的厂商色彩中等偏轻,依据是三处:① 他主动说出了对自家产品类别最不利的那条发现——前沿模型在放开推理时间后"比很多专门的文档处理平台更好";② 对"benchmark 有什么用"直接答"benchmark 很大程度上已经变成营销材料",并把自家也算进去;③ 对"你们会不会扩成 rippling 那样的复合型公司"明确说不(不碰文件存储),而那本是一个更大的故事。

✅ 本页认为这一期值得长期保存的是七处,其中三处是本库此前完全没有的: ① ⚠️⚠️ 一条带方向的失效模式定位:专门平台 vs 前沿模型的胜负取决于看 precision 还是 recall,而前沿模型的失效是"静默丢行"——"你不知道自己一开始就没抽出来什么"。本库此前关于 harness 价值的材料都在讲成本与天花板,没有一条给出 harness 到底在挡什么。 ② ⚠️⚠️ 把"升级给人"本身当成一项被度量的指标:内部基准不只测抽取准确率,还测"那些不完美的,我们有多可靠地能把它升级给人"。 ③ ⚠️ 一条对"白领的 Claude Code 时刻"的归因,而瓶颈不是智能:卡住的是企业里没写下来的机构知识("我看到屏幕左下角有这个,我就知道它来自 Kentucky,于是我做 X")。 ④ ⚠️ "自研还是外采"给出了一条可操作的判据:在特定任务上后训练的模型在准确率、成本、延迟三个维度上同时更优,所以栈随时间越来越自研——而不是因为自研本身更对。 ⑤ ⚠️ 一条此前缺失的、解析质量的下游效应:某法律 AI 客户发现换成 Reducto 解析后,终端用户与文档的交互量翻倍。 ⑥ ✅ "每个问题最后都是搜索问题":他把 agent 爬文件系统与传统 RAG 归为同一过程,并说这"定义上就是 retrieval augmented generation"。 ⑦ ⚠️ 一条组织侧的招聘机制:面试从第一天就允许用 LLM,且整日 onsite 的题目"除非你会正确地用 LLM,否则很难做出来"。

⚠️ 自动字幕的专名问题,本页统一还原并标出依据: - 公司名几乎每次出现都不同(Reductto / Reduct / Redduck / Redto / Redu / "product is not");本页统一写作 Reducto。 - ⚠️ "quad" / "cloud" → Claude("quad code" → Claude Code、"the anthropic one when quad... came out" → Anthropic 的 Claude 早期访问 hackathon);"perto / Purto frontier" → Pareto frontier;"LNS / LMS / VLNs" → LLMs / VLMs;"Devon" → Devin;"chim cherry" → chimichurri。 - ⚠️ "Lora" → Legora(依据:与 Harvey 并列、被描述为法律领域;🔗 本库已有 Legora CEO Max 与 Legora CTO Jacob Lauritzen)。 - ⚠️⚠️ 不可确证因此照录不采信的:独立基准的合作方字幕作 "micro one"(本页只记"一家第三方",不还原公司名)、"ROM OCR"(他说去年基于 Qwen VLM 做过的一个测试模型)、自动化报税的客户字幕作 "basis" 与 "N10 tax filing"、新 ML hire 字幕作 "Leang"、联创字幕作 "Ronic / Ronik"(本页写 Ronik)、早期 ML 研究员字幕作 "Ephe" 与 "Yee"(本页判为同一人、不记姓名)、年轻工程师字幕作 "Arth / Arthur"、牵线人字幕作 "Adele"。


一、本页判这一期最有价值的一条:胜负取决于你看 precision 还是 recall

([00:06:07]–[00:08:07])被问"为什么我不能等基座模型自己变好、不需要你们这层 harness",⚠️ 他的回答先承认了对自己不利的那一半:

⚠️⚠️ "我们发现 precision 和 recall 之间有一个很奇怪的 trade-off。所以很多这些专门的文档处理平台,在你放开推理时间不设上限的时候,是比前沿模型更差的。"

⚠️⚠️ "但前沿模型的失效模式在 recall 上。所以它们在静默地丢行、漏掉一些上下文,那一类事情。"

⚠️⚠️ "如果你的抽取层就这么把信息整个漏掉了,那是一种你在生产里根本不会发现的损失形态——你不知道自己一开始就没抽出来什么。"

✅ 本页标注三点:

  1. ✅ 这条论证的力气在于它不以"我们更准"收尾,而是换了被比较的维度:⚠️ 他明确说"我不觉得这是二选一——确实有些任务前沿模型就很好",而"如果你要找做这件事最高效的工具,你大概应该按你在做的任务去专门化"([00:08:07])。
  2. ⚠️⚠️ 而这条区分可检验,且方向清楚:若成立,在放开推理预算的 benchmark 上专门平台会落后,而在"有没有漏"的召回类指标上反过来。✅ 本库记为可回看核对的一条。
  3. 🔗 本库此前关于 harness 的材料(用 LLM 的实践 上的 harness 值 2 倍成本、harness 的 80% 天花板、Alex Zhang 的 harness 理论)都在讲 harness 值多少钱、能到多高,⚠️⚠️ 没有一条说 harness 具体在挡哪种错误。这条给出了答案:挡的是不会报错的漏抽。

⚠️ 配套的一条:传统 CV 打底 + 大模型打难例,而这是因为它是长尾问题

([00:04:05])被问网站上写的"引擎下有 12+ 个模型"怎么路由:

⚠️ "难搞的地方是这归根结底是一个长尾问题。你会有很多页看起来就只是文字,然后每隔一阵子你会碰到一个特别复杂的表格——而你事先并不知道是哪一页有那个东西。"

  • ⚠️ 所以起步形态是:"用很多更小的传统 CV 模型做基线,然后用更大的模型做真正难的任务。"
  • ⚠️ 而他说这个形态正在被自研端到端模型取代(R1,见第三节)。

二、"升级给人"是一项被度量的指标,而不是兜底话术

([00:10:08]–[00:12:11])被问"客户在容错极低的行业,99% 准确率可能还不够,这种不对称的场景怎么设指标":

  • ⚠️ 第一层他说的是常规的:"第一序的问题是我们的第一遍应该尽可能准。"
  • ⚠️⚠️ 第二层是本页要记的:

⚠️⚠️ "永远不会有一条线叫真正完美。就算你变得特别特别擅长读页面上有什么,也可能有歧义之类的东西。所以可追溯性变得非常重要——能知道某个东西是从哪里抽出来的,能说出如果有人要复核,他到底该看哪里。还要有准确的置信度打分,这样他们才知道什么时候该去看某一处。"

⚠️⚠️ "所以内部做基准的时候,我们不只拿抽取准确率衡量自己。我们会说:那些不完美的东西里,我们有多可靠地能把'这个不完美'升级给人?"([00:12:11])

✅ 本页标注:这是本库 评估与 Benchmark 页上第一条把"交还给人的可靠性"写成被测项的材料。 🔗 此前最接近的是 Kavak 那份"evals 是刹车"的买方证词 与 Decagon 的自建 eval,⚠️ 但两者测的都是"做对多少",没有一条测"做错时有没有举手"。

⚠️ 连续评估:要找的不是错的,是"不完美"的

([00:12:11]–[00:13:12])被问有没有把最难的失败样本攒成回归集:

⚠️ "我们公开讲得不多的一件事是,我们的 ML 团队在连续评估上花了大量时间。就是能在生产里发现那些也许不算错、但就是不完美的东西"——⚠️ 目的是"开始理解对真实世界的用例来说,什么是分布外的"。

⚠️⚠️ "而且重点不在那个单独的数据点本身,更在失效模式的模式。比如医疗这块,你可以说你在意手写体,也许你还测了自己的手写体表现——但你可能没有多少这样的数据点:手写体,写在一页歪的纸上,而且有人在格线外面乱划。"

✅ 本页判这条的价值在"分布外"的定义被交给了生产流量而不是测试集设计者,⚠️ 但它整条依赖"我们在生产里看得见"这个前提——而这正好是本库同一周另一条材料里缺失的东西,见第七节的对照。


三、自研还是外采:判据是三维同时占优,不是"自研更对"

([00:05:07]–[00:06:07])被问"拥有自己的智能 vs 租用智能"的心智模型(主持提到他们去年基于 Qwen VLM 做过一个测试模型):

  • ⚠️ 他先把问题推回去:"我们团队的使命是,不管怎样我们都要当最好的那个提供方。我们的客户不会按'Reducto 用的是自研模型还是别的'来思考。他们只想要无与伦比的结果。"
  • ⚠️⚠️ 然后给了本页要记的那条判据:

⚠️⚠️ "自然发生的事情是,我们非常在意准确率、成本、延迟那个 Pareto 前沿。而我们一次又一次发现:如果你看的是某一个特定类型的任务,一个在那个任务上后训练过的模型,在这三个维度上都更优。"

⚠️ "所以我们的栈随时间越来越偏向自研。还是有一些真正横向的任务,用前沿基座模型是合理的,但那在今天范围有限。"

✅ 本页标注:这是本库关于"垂直厂商为什么自己训模型"目前第三种理由,且与前两种正交。 🔗 前两种来自 Moshi 那期——⚠️⚠️ 而那一期的主持正是点名了 Reducto 这类厂商来问"自己拥有模型重要吗": - ① 数据不出门(客户数据不想发给第三方)、② 团队禀赋**(有工程师团队,他们就想自己造); - ⚠️⚠️ 而这一期给的是 ③ 任务专门化在三维上同时占优。✅ 本库判三条可以并存:前两条是约束,这一条是收益。 - ✅ 而本库记下一处结构性的有趣点:Moshi 当时自建的理由之一是"不想把客户数据发给 Reducto 这样的第三方",本期 Reducto 给出的恰是"交给专门化的模型三维都更优"。两条都成立时冲突落在数据协议上,而本期完全没有谈数据处理协议。

⚠️ R1:一次端到端合并,以及它被同时用来简化定价

([00:04:05]–[00:05:07]、[00:09:08]–[00:10:08])⚠️ 以下全部为发布前自述,无任何第三方核对:

  • ⚠️ R1 是自研的端到端模型:"既做捕获版面那些部分,也做最后一公里的修正,确保尽可能接近 100%。"
  • ⚠️ 规模自述:"今天 Reducto 每个月处理略超过十亿页",而"这个数字变化非常快"([00:09:08])。
  • ⚠️⚠️ 而本页要标出他明确说 R1 的意义不只是准确率,还是定价结构:

⚠️ "有一阵子,如果你打开那些 agentic 功能之类的,我们会有这些倍率。那些全都要取消了。"

⚠️⚠️ "R1 就是你把文档发给我们——它的每页成本会低于我们基座模型的每页成本,而准确率比我们最准的那些模型更好。"(⚠️ "比我们以前便宜好几倍")

  • ⚠️ 结构化抽取同日的降价自述([00:46:37]):"历史上一页结构化抽取全算下来要 4.5 美分以上,现在我们能在一半的价钱上做到,同时性能还更好",⚠️ 改善项他点名的是"引用的表现和 schema 遵从度"而不只是准确率。
  • ✅ 而本页记下他对降价动机的一句否认([00:47:37]):"幸运的是,这甚至不是我们自己要去压成本。我们只是发现,在只盯着性能本身的时候,顺带就能拿到更好的每美元智能。" ⚠️ 本库不采信这条归因(公司对自身动机的陈述),但记下它是可观察的:若成立,后续降价会继续跟在准确率发布后面而不是单独发生。

四、横向 vs 垂直:赌的是"文档归根结底是同一套原语"

([00:13:12]–[00:16:15])⚠️ 他说早期在这件事上争论很多,因为"做一个垂直行业专用的文档处理平台要容易得多"。✅ 而他给的横向化论证本页判为本期第二好的一段,因为它落在一个具体机制上:

⚠️⚠️ "大家把这件事当成理所当然。你作为一个人看一页纸的时候,会做出大量根本性的判断,而那些都是瞬时判断。比如每次两段之间有一个间隔,你就知道,好,这是一个新的语义块。你不会有意识地感知到这件事,但它是直觉的。"

  • ⚠️ 他说表格也是同一类:"你天然就理解一个表格结构是怎么把两个维度的信息关联起来的。"
  • ⚠️⚠️ 于是跨行业的收益是单向传导的:"我们在'对那些传真过来的、乱糟糟的医疗表格保持鲁棒'上做的工作,意味着我们天然也能给金融客户提供更可靠的方案。"
  • ⚠️ 行业差异被他降到细节层:"法律里你大概很在意划除线和下划线这种东西,在医疗里就没那么重要——但有那个基线直觉对我们非常非常重要。"

✅ 而他给了一条划界,本页认为这条比上面的横向论证更可迁移

([00:16:15])被问未来是不是永远不垂直化:

✅ "对于客观的任务,比如解析——给定一页你可以非常明确地说'这页上就是这些东西'——我们要它横向,要它 zero-shot。"

✅ "而对那些属于见解之争的东西,比如某个财务团队对某个指标有不一样的定义,那些东西应该是可 prompt、可引导、并且随时间改进的。"

✅ 本页标注:这条"客观的要 zero-shot、主观的要可引导"的二分,是一条可以直接搬到别的 agent 产品上的划界方式,而它不依赖文档这个载体。 🔗 与 Decagon 关于"会变的东西不能烧进权重"的判据 同向——⚠️ 但两者切的刀不同:Decagon 切的是变与不变,这里切的是客观与主观。✅ 本库判两条互补。


五、benchmark 已经是营销材料,以及他为此做了什么

([00:08:07]–[00:09:08])被问 eval、benchmaxing、与真实任务的落差:

⚠️⚠️ "我们内部显然做大量 benchmark,而让我沮丧的是,benchmark 很大程度上已经变成营销材料了。每个人都是自己那个 benchmark 上的第一名,所以这件事很快就变得特别特别嘈杂。"

  • ⚠️ 他说找第三方做独立基准的理由是要划一条线:"Reducto 不挑文档。Reducto 不设 ground truth。Reducto 不以任何方式操纵结果。"(⚠️ 合作方字幕作 "micro one",本页不还原公司名)
  • ✅ 而本页记下他自己给这条做了降权:"就算那样显然也不完美。我觉得归根结底最重要的是人们拿自己的文档去试。我们在意的只是给人一个方向感,让他们开始思考这类问题。"([00:09:08])

🔗 本库 评估与 Benchmark 页上这条有两处可对照: - ⚠️ Vals AI 那期 是"裁判位"自己的说法,✅ 这一期第一次有被评测方说明自己为什么去买独立评测,并且把"最终还得客户自己试"写在前面。 - ⚠️ Diogo Almeida 公开拒绝公开基准 是同一诊断下的反方向处方:✅ 同样认定公开榜已失效,一个选择退出,一个选择外包公正性。本库把两条并列为同一问题的两种解法,不判优劣。


六、白领的 Claude Code 时刻:他说瓶颈不是智能

([00:38:32]–[00:44:35])这一节本页判为本期第三条独立增量。

  • ⚠️ 诊断:"我大体的看法是,白领工作还没有真正迎来相当于 Claude Code 的那个东西。"
  • ⚠️ 而他对白领工作的拆法是两段,且第二段是他自家下一步的产品方向:"很多白领工作不只是信息综合、人从文档里取东西,而且在很多这些流程的末尾,你要写进一张表格、或者写进一个 Word 文档。" → "我们想让模型能尽可能可靠地给合同划红线,想让它们能填贷款申请,做一个人本来必须做的事。"([00:39:32])
  • ⚠️ 他举的量化例子是文档本地化:"人类每年在文档本地化上花掉数十亿美元。" ⚠️ 难点他说不在翻译而在把编辑应用回去:"模型在翻译上很好。但把那个编辑应用到文档上非常难,因为你得拿一份用英文生成的文档去改版面。当你换成一个从右向左的语言,你现在得考虑——也许文字会溢到下一页。"([00:40:33];⚠️ "数十亿美元"无口径无来源,不采信)
  • ⚠️ 产品进度自述:"我们不久前上了一个表单编辑的 endpoint,到现在差不多六个月",而"我们马上会放出来的东西,我觉得会是这里的一次阶跃"([00:40:33])。

⚠️⚠️ 而被问"那个 Cambrian explosion 的催化剂是什么",他的归因不是模型

([00:42:35]–[00:44:35])✅ 本页判这一段是本期最值得长期保存的归因,因为它把瓶颈指向了一个与模型能力无关的地方:

  • ⚠️ 第一层他把智能排除了:"模型智能差不多就在那儿了。而很多前沿实验室显然是先在 codegen 上爬坡,才去想模型要解决的其他一些问题。" ⚠️ 理由他给了两条:"代码在很多情况下是一个可验证的问题"、"工程师是最可能去采用的那群人"。
  • ⚠️⚠️ 第二层是本页要记的那条,而它很具体:

⚠️⚠️ "企业的数据在各种各样不同的地方,而且存在一些很怪的启发式。你跟一家大型金融机构聊某个纸面流程是怎么做的,他们就是有那种机构内的知识——噢,如果我在屏幕左下角看到这个,我就知道它来自 Kentucky,因此我做 X。"

⚠️⚠️ "而这种东西很少是被明确写下来的。"

  • ⚠️ 于是他给的处方落在工具层而不是模型层:"工具这一侧的人有一大堆活要干——去把那些上下文聚合起来,帮他们建起合适的知识库,给模型足够的上下文让它能在那些数据上推理。"
  • ⚠️ 而时间判断他给得很松:"但我不觉得我们离那件事大规模发生还很远。"(⚠️ 无时间尺度、不可核对,本页记为立场陈述)
  • ⚠️ 主持随后把它概括成"所以是数据和上下文的碎片化、而不是性能",并补了一句自己的断言:"模型在长时程推理上已经好到这个程度,以至于智能是最大瓶颈这件事越来越不像是真的。" ⚠️ 本页标注这是主持的判断、未给依据,不采信。

🔗 本库 AI 与就业、用 LLM 的实践 上关于"企业里 agent 为什么还没落地"的材料此前主要有两条:⚠️ Ali Ghodsi 的"不是模型不够聪明"、⚠️ 陈然那条"落地问题不是模型能力问题"。✅ 本页判这一条是三者里机制最具体的——它点名了被卡住的是未成文的机构知识,而那个 Kentucky 的例子本身就是一条可以拿去检验的形态。

⚠️ 他对"垂直化专业玩家"的位置给了一条顺带的说明

([00:44:35]–[00:45:37])被追问"把 Ohio 某个老文件系统里的纸整理出来,不像是软件能解决的事":

  • ⚠️ 他的答法是把这件事外包给客户:点名了在做自动化报税的一家公司(⚠️ 字幕作 "basis" 与 "N10 tax filing",不可确证)、以及法律侧的 Harvey 与 Legora。
  • ⚠️ "他们专门化的好处之一是,他们会开始搞清楚在某个特定情境下,端到端交付那个价值到底需要什么。"

✅ 本页标注:这是一条分工声明,而不是对上面那个瓶颈的回答——他指出有人在做,没有说那个未成文的机构知识怎么被挖出来。 ⚠️ 主持没有再追。


七、⚠️⚠️ 本页必须标出的一处对照:同一周的两家公司,对"看不看得见生产"给出了相反的前提

✅ 本库判这是本期最有价值的交叉引用,而它不在本期自身。

  • ⚠️⚠️ 本期的连续评估(第二节)整条依赖"我们在生产里看得见不完美的输出":"能在生产里发现那些也许不算错、但就是不完美的东西",而他把这个飞轮直接说成护城河([00:27:22]):"你一个月处理十亿页,你怎么围绕它做出一个飞轮。"
  • ⚠️⚠️ 而四天前本库摄取的 Legora CTO 那一期 的主线恰好是反面:"我们基本上看不到任何 trace……我这边完全不知道人们实际在干什么",原因是"他们手上很多数据甚至不是他们的,是他们客户的"。
  • ⚠️⚠️ 而两家在同一条价值链上:Legora 是 Reducto 点名的客户之一([00:45:37],⚠️ 字幕作 "Lora")。

✅ 本页给出的解释(本库判断,非任何一方陈述):可见性不是公司能力问题,而是位置问题—— - ✅ Reducto 在链条上处于"文档进、结构化数据出"的位置,它看见的是自己输出的保真度,而这个判断不需要知道客户的业务语义; - ✅ Legora 在上面一层,它要判断的是"律师拿这个结果做对了事没有",而那必须看客户的终端客户数据——于是被合同挡住。 - ⚠️⚠️ 可检验推论:越靠下游(越接近客观任务)的层级越能建连续评估飞轮,越靠上游(越接近主观判断)的层级越只能依赖买方自评。 ✅ 而这恰好与本期第四节他自己那条"客观要 zero-shot、主观要可引导"的划界同构——本库记下这两条是同一结构的两个侧面,而本期没有把它们连起来。

⚠️ 一条解析质量的下游效应,而这是本库此前没有的形态

([00:30:24]–[00:31:25])被问有没有"魔法时刻"的故事:

⚠️⚠️ "我们有一家法律科技的客户最后发现,当文档是由 Reducto 解析的时候,他们的客户与文档的交互量是原来的两倍。他们会问更多问题。"

⚠️ "而这显然不是我们卖的一个功能。他们只是发现回答质量提高了、引用的精确度提高了,以至于整体上客户更愿意参与进来。"

⚠️ 本页标注三条限定:① 客户未具名、② "两倍"无口径无基线、③ 因果链是客户方的归因而非受控对比。 ✅ 但本库记下这个形态本身是新的:此前关于解析/检索质量的材料都停在准确率,没有一条给出"质量改善 → 终端用户行为改变"这一跳。


八、组织与人(本页只收两条带机制的)

⚠️ 面试从第一天就允许用 LLM,而题目被设计成"不会用就做不出来"

([00:17:19]–[00:19:19])⚠️ 他说内部采用不是自上而下推的:"不是我们在给工程师下指标说你必须用 Claude Code。" ⚠️ 他给的扩散机制是两条:

  1. ⚠️ 示范:联创"大概是你会见到的最 LLM-native 的人之一";而"我们销售团队现在大量用 Devin,人们会给潜在客户做定制网站",原因是"他们就是开始看到——嘿,我在 Google Slides 上花了一堆时间,结果 Claude 做出来的提案比你费劲弄的那个更好"。⚠️ 他总结为"更多是把价值可能是什么展示出来,而不是别的。"
  2. ⚠️⚠️ 而第二条是制度性的,本页判这条是本期组织侧唯一的真增量:

⚠️⚠️ "我们从第一天起就在 onsite、或者说一般的面试里允许用 LLM。而我们的 onsite 其实是整整一天,你要跟团队待 8 个小时。"

⚠️⚠️ "而那些题目最后会变得相当难做出来——除非你正确地用 LLM。所以我觉得就其性质而言,最后能通过 onsite 的人,通常就是知道怎么有效使用编码工具的人。"

✅ 本页标注:这是本库 AI 与就业 页上第二份"雇主侧把 AI 写进招聘流程"的材料,而它与第一份的做法相反。 🔗 Retell AI 那期 是重新设计流程去防/测 AI 使用,✅ 这一期是把"会用"直接设成通过条件,并且通过提高题目难度而不是加监考来实现——也就是把筛选交给题目,而不是交给规则。

⚠️ 他举的例子(字幕作 Arth,⚠️ 他本人当场说"如果 Arth 在看这个,抱歉把你抬出来"):Berkeley 在读时加入,onsite 时约 20 岁,GPT-3 出来时他大一;⚠️ "我们给了他标准的软件工程 onsite,他大概 2 小时就全做完了",于是"我们把整套 ML 工程 onsite 也给了他"。⚠️ 单一轶事、自述,本页不作为能力分布的证据。

⚠️ "对手艺的痴迷"作为第一条文化价值,以及他怎么测它

([00:20:19]–[00:22:20])

  • ⚠️ "我们的第一条文化价值是对自己手艺的痴迷。" ⚠️ 他明确说这不等于欲望:真正看的是"如果你跟任何一个真的真的痴迷于'在某件事上做到极好'这个念头的人聊——厨师、运动员,随便谁——你总会发现他们对待日常有这种严苛。"
  • ⚠️ 他举的内部例子:早期那位 ML 研究员"大概把一些单独的 PDF 页面都背下来了"、"我不知道还有谁比他在 PDF 上画框花的时间更多";⚠️ "有一段时间我们的数据标注员比全职员工还多,但他还是那种会自己去看数据、真的较劲的人。"
  • ✅ 而他对工程师给了一条具体的外延:"我觉得工程师需要对客服这类事情有痴迷。不只是那个亮眼的功能发布,而是确保在生产里那些长尾情况被处理掉。"
  • ⚠️ 测法:"我很喜欢问人:有什么事情是你世界级的。然后你会看到他们聊到那个东西时眼睛亮起来的样子。" ⚠️ "可以是电子游戏都行——只要你把他们导向对的东西、对的问题,那种痴迷是会迁移的。"(⚠️ 无验证方式,本页记为招聘启发式而非筛选标准)

⚠️ 规模与阶段(全部自述)

  • ⚠️ "我觉得我们现在差不多开着 40 个岗位"([00:36:30]),招聘横跨产品工程、ML、平台与基础设施。
  • ⚠️⚠️ "我们年初销售团队是 1 个 AE……现在销售上有 30 个人。"([00:37:31])⚠️ "我预期短期内不会慢下来,我们作为团队还是觉得产能受限。"
  • ⚠️ Series B 后的变化:"假设事情顺利,公司里问题的数量其实从来不会变少,你只是随时间去做不同的问题。" ⚠️ 他自述的个人变化是放手:"有很长一段时间,我只要不是一直在 Slack 上就会焦虑,因为感觉我不盯着就可能出事。" → "你开始意识到公司在某种程度上有它自己的生命。"([00:24:20]–[00:25:20])
  • ✅ 一句本页觉得值得留的自我描述:"我一直发现自己在当前这个阶段的工作上很烂,然后三个月你做好了,然后你又开始做一份新工作。"
  • ⚠️ 节奏:仍然每周全员开会("工程应该对我们最重要的那些单子有好的上下文,反过来也一样");⚠️ "我的思考从每周更多转向了月度优先级和季度优先级";✅ 但明确说"不像大公司那种组织——我们没有一套年度的 OKR 之类的东西"([00:25:20]–[00:26:21])。

九、两条简短的、但本库此前没有记过的提法

✅ "每个问题最后都是搜索问题",以及对 RAG 这个词的辩护

([00:34:28]–[00:36:30])⚠️ 起点是他说 chunking 现在"也许没那么能引起别人的兴趣了",然后:

✅ "但很多问题归根结底都是搜索问题。不管你叫它 RAG 还是叫它别的,大量产品仍然是某种形式的搜索,再在搜索结果之上做某种形式的推理——这在我看来定义上就是 retrieval augmented generation。"

  • ⚠️ 他说排斥来自一个误读:"人们对 RAG 有一种反感,理由是'噢,我又不是在做聊天机器人'",⚠️ 而人们想到 RAG 时想的是"你切块、你 embed、你用余弦相似度检索去决定塞什么进模型上下文"。
  • ✅ 而他的归并论证是行为层面的:"我们很多客户还是会给 agent 一个文件系统,agent 爬那个文件系统去找相关上下文在哪,它在那个上下文上推理、把多份文档的信息拼起来"——"我的意思就是,那个过程不管是 agent 在做,还是清清楚楚地呈现在你的搜索产品里,都是你在搜索信息、把上下文拼起来、综合它,最后做出某种动作。"

✅ 本页标注:本库此前关于"RAG 死了 / 被 agentic search 取代"的材料(用 LLM 的实践 上关于 grep/文件搜索取代向量检索的几条)都把这两者当成替代关系,⚠️⚠️ 没有一条给出"它们是同一过程的两种实现"这个归并。本库记为一条可用的框架,但标注它是定义层面的论证、不含任何经验证据。

⚠️ PDF 这个格式的原始设计意图被用作问题的根因

([00:02:04]–[00:03:05])

  • ⚠️ "有几十年的公司在做 PDF 处理。我遇到过一个人,他做 PDF 处理的时间比我活的时间都长——字面意思,他做过最早那批让打印机打印 PDF 的驱动。"
  • ⚠️⚠️ "PDF 作为一个文件格式,最初的情境是为了让打印机忠实于原件。所以它根本不是围绕'agent 要来读它'这个问题设计的。"
  • ⚠️ 而他给的目标设定是自动驾驶类比:"我们很多时候把它类比成自动驾驶研究。车上的车道保持已经存在很久了,而说你的 Waymo 会完全端到端自主驾驶是完全不同的一件事——那是我们想拿 Reducto 达到的标准。"(⚠️ 本页记为目标陈述,不含进度信息)

⚠️ 本页记录的未收口处(节目形态的代价)

✅ 本页判这些是形态造成的,而不是回避——下列每一处的打断都紧跟着一个烹饪动作:

  1. ⚠️ "有没有具体的基础设施工具或框架"这个追问被打断了两次([00:12:11],主持中途改问"切片要切多厚"),✅ 最终他只答了"我们的 ML 团队在连续评估上花了大量时间",没有给任何工具或框架名。
  2. ⚠️⚠️ "护城河"这个问题最后没有被正面回答([00:27:22]):⚠️ 问题问的是"你训不到客户全部的数据,所以量涨了性能也许涨不上去,你怎么守住",⚠️ 而他的回答是连续评估飞轮 + 横向客户面带来的直觉,然后转向"竞争性市场其实挺好的,因为它非常讲绩效"——✅ "我们服务 Harvey 这样的领先 AI 原生创业公司,这就意味着如果我们不继续是最好的,他们自己就会去找最好的。" ⚠️⚠️ "训不到的那部分数据"这个前提他一次也没有处理。
  3. ⚠️ 主持随后给了一条概括并被他接受,但那条概括没有依据:"比起以往任何时候,这更少关于系统性的护城河,更多关于执行"([00:29:24])。⚠️ 本页标注为主持的框架、他只答了"确实如此"。
  4. ⚠️ 编辑这条产品线与 computer use / codegen 的关系只被点了一句([00:40:33]–[00:41:34]):"肯定有一些相似之处,这里也确实有很多工作更接近 codegen",✅ 而他给的落脚点仍是视觉结构——"真正真正擅长理解视觉结构这类东西,让我们也可能在编辑应用上做得很好",⚠️ 没有说明这个传导是怎么发生的。

相关页面