Yao Shunyu: Let Me Go a Little Crazy! Training Models at Anthropic & Gemini, Heroism Is Over

[00:00:09] Hello 大家好我是小珺今天我们的嘉宾是Google DeepMind研究员姚顺宇硅谷有两个很有名的姚顺宇/雨一个之前在OpenAI跳槽去了腾讯出任腾讯的首席AI科学家他之前也来过我们节目那今天我邀请的是另一位姚顺宇他此前在Anthropic 现在在Google DeepMind 我们从近期一系列的模型巨变开始聊起那接下来就是我对顺宇的访谈 Anthropic作为一个公司来说它能够实行这种就是比较top down的机制是一个很独特的事可是这对于其他模型公司很难吗很难比如说OpenAI就干不了就是Gemini也比较难大公司和startup 它打法本来就不一样因为startup重要的是make bet 就是我得我得赌一件事我觉得大家现在就是是每个人都是冲浪的人本质上是一个浪而不是你那个冲浪的人但是反正就感觉AI这个事本来也不太需要脑子 [00:01:09] 不太需要脑子真的不太需要脑子那需要什么我觉得这个这个行业就是最重要的特质就是靠谱就是做事细然后对自己做的事负责任这是最重要的特质硅谷不是有两个姚顺宇/雨吗你要不要先给大家介绍一下你自己然后给大家科普一下两个姚顺宇/雨的区别啊可以对就是我叫姚顺宇然后显然也有一个跟我几乎同名的朋友（姚顺雨，腾讯首席AI科学家，前OpenAI研究员）然后我们俩主要履历也有一些overlap（重叠）所以说可能看起来非常的难以区分对然后我是我以前是做学物理的然后我本科时候在清华那时候做凝态理论然后后来去斯坦福做理论高能物理然后和量子信息啊黑洞相关的一些方面然后离开斯坦福之后去伯克利短暂的待了两个星期的postdoc博后 [00:02:11] 然后就离职了去了Anthropic 然后在Anthropic待了一年去年9月底10月初的时候加入了Gemini 对然后如果大家非要区分的话我觉得最大的区分就是那个顺雨他一开始就是一直都是做CS 就是计算机相关的然后我其实从某种意义上来说是个半道出家对就是我之前是做理论物理为主的对你们是不是好朋友你们好像大学就认识而且是一级的对吧（对）他是一个什么样的人你是一个什么样的人评价一下他你也评价一下自己（哈哈哈）对对对我们本科就认识因为我们本科是一级的然后在清华但他当然他一开始就是学计算机的嘛所以他在那个姚班就是计算机科学实验班然后我是学物理所以我在机科班对然后后来他去了普林我去斯坦福这可能也是另一个有点令人费解的点就是好像这个普世世界里觉得斯坦福应该是学计算机的人该去的地方然后觉得普林斯顿是学物理人该去的地方但我俩正好反过来 [00:03:11] 哈哈所以说也可能产生了一些费解的事情然后我俩其实也还真的挺不一样我觉得他是一个比我有趣的多的人我觉得我从他身上也是在过去也是能学习到了一些和我很不一样的点比如说他可能花了很多时间去思考比如在AI方面他花了很多时间去思考就是人和AI的交互呀然后包括一些产品上的事情然后我觉得其实对我来说是一个很不一样的朋友然后我也从他那学到了很多东西你们之前在硅谷的时候多久见一次面啊你们现在是不是还频繁打电话多频繁我们在硅谷的时候见面确实挺频繁的可能每几个星期吧但是好像见面主要是为了凑一块玩哈哈哈玩啥就是真的就是纯玩就是可能出去散散步然后扯扯有的没的然后可能有时候吃个饭打个牌啊之类的对哈哈对然后他回去之后其实我们也是也还是经常会打电话 [00:04:12] 最近一次电话聊啥了好像就是前一两个星期啊你怎么知道的呃可能就是会过几个月然后就catch up一下大家过最近的近况吧对他是不是多次想把你拉过去呃嘶哈可能有这个意思吧但是但是我觉得不关键不关键哈哈哈你为什么不去啊我觉得对我自己来说我没想清楚吧嗯我觉得多半是我自己的原因然后我也没有去任何中国的地方然后我觉得主要原因是因为在去年的九月或者八九月这个时候我觉得那时候我离开离开Anthropic 然后离开之后决定要去哪的时候最大的动机是我想学一些不一样的东西嗯对我来说我可能就没有去考虑没有没有更着重的去考虑说能够去领导一个项目或者领导一个project之类的 [00:05:12] 我更多的是是那个时候更多的是优先去学习一些东西所以那时候我选择去了Gemini对我发现你们两个老被放在一起比较和讨论对你来说是困扰更多还是享受更多我没什么感觉然后因为我这个人也不太关注社交媒体所以我其实真的没什么感觉嗯因为那个顺雨他之前在去年的时候说 AI进入了the second half 进入了下半场这个成为了一个非常有名的观点你觉得今天的AI 在一个什么样的时期你能给它一个定义吗对我觉得对我来说我可能看得没有那么清楚什么叫做上半场什么叫做下半场或者说这个定义一直以来对我并不是特别清楚对我来说确实现在AI进入到了一个阶段就是我觉得大家都已经开始不那么担心一件事 AI是不是能够做得到而是担心这件事是不是被良好定义对我觉得这是一个很大的区别比如说我觉得一年之前 [00:06:13] 就是可能去年年初的时候那时候我在Anthropic 然后大家可能担心的事情还是说哎 OpenAI这个reasoning（推理）做的这么强我们有没有机会能够追上然后有多大的机会能够超越它大家还很担心这个事儿我觉得现在就是在任何这至少在Gemini OpenAI和Anthropic这三家当中我觉得没有哪一家会真的担心自己追不上嗯然后我觉得可能现在对大家更难的事情是是想明白要去做什么这个是一个我觉得是一个是一个bet（下赌注）但是也是我觉得也是一个很需要人的insight（洞察）的事情对那这也意味着模型的能力被拉平了对不对它变得同质化变得商品化所以模型没有很大的区别就是在好坏上没有很大的区别但是需要分化我觉得从用户的实际体验上来说这三家的模型是能够感受到区别的 [00:07:15] 但是难的一点是过去这个区别在纸面上也能看出来在纸面上是指什么纸面上就是比如说像公开的有很多种Benchmark（评估基准）这种测量的规范然后比如说大家以前能够去看SWE-bench 对对对能看SWE-bench 然后可能数学大家那时候会比像简单一点的 AIME 然后难一点的像IMO那个时候感觉就是你从纸面上就能看出来哎这个模型好像reasoning强一点那个模型好像coding强一点那个模型这个强一点现在就是纸面上大家其实都比较相近然后你去看那个纸面上的消息比如看SWE-bench 你会发现哎好像好的会比不好的可能高一个百分点或者两个百分点但其实大家都在80%附近那个附近数字高一点低一点其实是主要是noise（噪音）就主要是噪声而不是信号对但是从另一方面来说大家使用上确实还是能体现体验出区别的我觉得嗯就我个人了解到的信息而言 Claude目前仍然是比较通用的 [00:08:18] 这种工具使用类的 Agent表现最好的然后在纯粹coding的方面可能最近Codex稍微追上了一点把这个中间的gap变小了一点然后Gemini 可能在纯的reasoning 然后和一些比较日常的使用环境下可能目前还是比较好的然后在在coding和Agent上还处于一个比较在在接近的这个状态嗯这些能力他们是有意选择我优先发展哪个方向还是说它就是好和坏的区别就是它是能力问题还是意愿问题我觉得呢其实是有意愿的成分在的尤其在过去的情况下主要是意愿就是当大家能从纸面上就看出区别的时候那时候意愿肯定是占大多数的因为可能像Claude 就一直更看重这种使用工具的能力嗯然后包括coding 那可能OpenAI还有一段时间非常看重reasoning [00:09:19] 对当然它现在也开始看重coding了那那个时候肯定是意愿会占大多数因为你花你更有意愿的话就意味着你能花更多的精力去构建合适的基础设施合适的infra 构建合适的数据然后尤其数据它是一个从某种意义上来说很花时间很花精力的事情对所以说那个时候肯定是意愿占主导但是到现在这个时候呢我觉得两方面其实都有因为嗯其实因为纸面上大家都看起来差不多然后其实甚至你就做一些更内部的测试来说这个数字也都变得差别没有那么大了然后这时候更难的事情就是你该怎么去定义你的问题定义你想要的行为嗯然后在这个事情没有定义的那么清楚的时候模型的很多差异其实来自于一些其实是你想象不到的事对想象不到的事指的是我觉得当然想象不到的事 [00:10:21] 就是你现在去问其实我很难给你一个特别清楚的答案可能过一段时间之后回过头来看我才能给一个清楚的答案但是我可以举一个想象不到的例子吧就是比如说比如说退回往回退可能一年两年甚至三年的时候那时候如果你比如说去网上取这些预训练的数据的话你看训练模型就会发现模型在写代码那时候当然没有这种Agentic的写代码它都是写一段代码（嗯）那时候你会发现模型写代码会写得很好但是可能那时候大家不知道为什么但是这个里面意外的原因可能就是你从网上随便的去如果不做任何的数据的筛选的话自然的这个这个code data的质量就会比别的高一点因为你去看网页你会发现 GitHub的质量是显著比别的正常网页要高的在进入我们今天主题之前我想先聊聊我们最近模型的一系列的近闻就是你看最近大家都在讨论OpenClaw [00:11:21] 嗯你作为一线的研究员你对这个新的产品形态是怎么看的你周围有哪些讨论我觉得有趣的是我感觉这个事情在业外的讨论好像比业内的讨论更激烈哦业内没有人讨论业内有人讨论但是我觉得对业内人来说它并不是一个嗯特别令人惊讶的事哦怎么说就是可能在公司内部也有人已经做了类似的这种实验或者这种demo 只是可能并没有作为一个产品去很认真的宣发然后把它打磨然后发出去对然后当然事实情况就是你去看这个OpenClaw 最早版本的GitHub的那个code 其实那个code也就从某种意义上说写的也不是特别的干净但是我觉得它很重要的事是它给大家展示了这种可能性嗯那可能展示这种可能性之后 OpenClaw的作者自己也加入OpenAI [00:12:22] 然后那可能就是这些模型的实验室或者说一些大一点创业公司会很快跟上然后把这个东西打磨成一个真正可用的产品嗯（对）所以我理解其实在OpenClaw发布之前 Google就已经有人在做这个事情了只是还没有发布因为大公司的流程比较长对我我我的至少我个人所得到的印象是这样的所看到的是这样对所以这种类OpenClaw的这种产品形态背后本身说明了什么在今年初的这个时间点上我觉得其实我觉得技术上来说其实并不能说明什么就是说OpenClaw这个产品当然它依赖于模型能做的很多事情但是那些事情的能力其实并不是到今年年初才准备充足的我觉得可能在去年就是像Opus发布4.5（Claude系列）然后然后当然那时候Opus其实比OpenAI和Gemini 3 在tool use（工具使用）的能力上都要强一些 [00:13:22] 所以我觉得在那个时间点其实你做这个事这个事就已经是可以展示出来的然后其实它一开始发布也没有立即就火它就发布了之后过一段时间才火起来嗯所以说我觉得可能对我来说技术上它并不是一个并不是一个就说那么令人惊讶的事它是模型能力的自然溢出对对对我会这样觉得但是我觉得它可能一个对于大家的惊喜是说以前可能大家都没有意识到它让大家意识到了这件事可以做意识到什么就意识到了这个你可以哎让模型做很就是你可以控制很多不一样的模型然后做很多不一样的事情然后把这个事情汇总汇总之后做一个很长很长很长long horizon（长程任务）的这种这种工作我觉得可能以前大家并没有并没有广泛的对这个事产生共识呢这个事情给大家展示了这样一种可能性你看从去年初火的是Manus 今年初火的是OpenClaw 就是从Manus到OpenClaw 变化是什么是模型能力的变化还是产品的变化这也是个我其实一直没理解的事儿 [00:14:23] 嗯就是 Manus和OpenClaw之间的质的区别是什么是一个我其实自己没太看明白的事情说实话哈哈哈 OK 嗯就是或者换句话说就是可能OpenClaw这个事儿火了但是如果你要回头问我说为什么Manus做不了这个事儿我不明白Manus为什么做不了可能只是它没做对但是你看不管是Manus还是OpenClaw 它们都选择了 Manus卖给了Meta（注：该收购目前已被撤销，我们节目录制于撤销之前） OpenClaw卖给了OpenAI 这个现象说明什么呢为什么它们都卖了我觉得嗯我自己的感受是一个东西如果要嗯长久的生存还是需要考虑一些壁垒的壁垒是模型我觉得至少目前来说很多壁垒都是在模型侧但是未来会不会产生产品侧的壁垒 [00:15:23] 我觉得是说不定的就因为大家市场上就是这都老生常谈的话题就很多人就要谈论这个什么数据飞轮啊之类的事情目前来说我觉得没有哪一个场景真正的形成了数据飞轮甚至AI纯粹原生的应用场景我觉得目前除了Agentic coding 就写代码之外没有哪个场景是AI真正原生的场景变得非常成功因为从某种意义上来说 Chatbot的其实是搜索的一个延伸 Chatbot是搜索延伸对它为什么不是独立于搜索的它是因为因为你想大家其实和Chatbot最多的交互是我有一个问题啊就问这个Chatbot 然后这个其实是搜索本来干的事儿但是它带来的比搜索要远强的一个事情是它变得非常interactive（交互的）就是它有交互性你可以追问然后它甚至可以帮你总结出一些 [00:16:24] 通过它获取的一些信息帮你把它压缩成浓缩成回答你的问题的那个信息对这个是以前搜索给不了你的嗯（对）但它当然就不是完全一样的需求但是从需求从大的需求上来说是比较类似于搜索之前的需求 Manus和OpenClaw 我觉得都是现在最有名的壳但是壳最后都卖给了模型（注：Meta收购Manus已被撤销，我们节目录制于撤销之前）那是不是说明壳还是难以逃脱模型的掌心啊这个逃逸速度不够不够快是不是我觉得我觉得壳在目前这个情况下活下来有两种我大概能想象的方式一种想象的方式就是像你刚才说的逃得足够快就是我增长速度足够快以至于在模型公司反应过来的时候我其实已经占领了大量的用户心智然后在模型公司追你产品形态的时候我又自己演化出了自己的模型 [00:17:25] 我觉得Cursor就是试图在走这条路（嗯）那Cursor其实在这种AI原生场景下几乎是我能想到的创业公司里增长的最快的啊就算这样的公司它现在也很有危机感它有多有危机感反正我的感觉是对Cursor来说现在和Anthropic 已经进入了一个非常微妙的关系就是曾经他们是亲密无间的合作伙伴 Anthropic提供模型 Cursor提供产品后来Anthropic自己有了Claude Code Claude Code现在变得非常成功然后 Cursor现在又自己试图做自己的模型所以Cursor在努力的训它的Composer 所以说我觉得都不用说未来其实现在就是它们已经处于一种比较竞争的关系了（嗯）那如果在竞争中输掉的话我觉得是比较麻烦的因为代码这个事情 coding这个事情其实它本质上是一种服务于专业用户的专业需求 [00:18:25] 是一种效率工具效率工具很容易出现的一个场景就是赢家通吃我觉得这个是不管对Cursor 还是对Anthropic 还是对任何一些做做coding的公司来说可能都是他们比较担心的事嗯（对）然后这是刚才说的就这一条路（要快）就是就是对你长得够快你在你在别人还没想吃你的时候就疯狂长等它想吃你的时候你足够大另一种方式就是这市场足够的小小到模型公司根本懒得去管我觉得Midjourney就是这个例子就是这个这个市场小到可能虽然你说Gemini努力一把能不能做Midjourney 那个事可能花一些精力花一些钱花一些data是能做到的但是足够小以至于可能 Gemini就不是很会在那上面花时间了看不上对哈哈哈我觉得那可能也是一种活下去的方式对所以哪怕是Cursor [00:19:25] 今天也没有逃逸出模型的手掌心有谁成功逃逸了吗我觉得大的就我目前还没看到小的可能Midjourney是个例子当然肯定有别的例子只是我还没看到对小的我觉得会有会有例子 Lovart算吗我觉得他们有机会他们有机会反正就不能做那种通用的场景我觉得这是founder要自己要决定的一件事就是你要不要抱着1/10000的生存几率去赌一票大的嗯还是抱着1%的生存几率去先吃定一个小的事情如果是你你会怎么选哈哈哈哈哈如果是我我内心肯定是想吃一票大的但是我真诚的想是我觉得第一步是不能一步登天的 [00:20:26] 所以如果是我我会选择去先吃一个小的但是我会选择一个有想象空间的小的你说OpenAI为什么要收OpenClaw Meta为什么要收Manus（注：Meta收购Manus已被撤销，我们节目录制于撤销之前） Google为什么谁也不收啊 Google也收了 Google买了Windsurf的人 okay Windsurf 嗯我不理解哈哈哈什么叫你不理解说实话就是我不理解我觉得我觉得Meta买Manus这个事儿我觉得对他们来说最大的用处就是如果抛掉花了多少钱之外最大的用处是获得了一批很好的在亚洲的的产品团队在亚洲说明什么因为我觉得一方面就是显然大家都知道中国的AI人才储备还是很丰富的虽然可能目前从技术上纯技术上来说 [00:21:26] 中国的AI还没有真的追上美国但是显然AI中国是有很多好的人的不管是从纯技术上还是从产品产品上我觉得可能中国的本质上人才是比美国要更好对所以对它来说我觉得Manus成为了它在新加坡的一个一个锚点就它可以从那里吸引一些比如说从中国的或者是新加坡或者东亚的人才然后我其实没有特别看明白这个产品本身对Meta来说有多重要或者换句话说就是为什么Meta不能自己干这个产品但是不管是Manus和还是OpenClaw 它事实上就是诞生于外面的团队为什么不是硅谷的这一帮研究员做出来的呢你有没有反思过这个问题对对我觉得嗯对我来说这个问题其实我觉得一个公司一旦变大了之后它的负担也变大了就说我可能作为一个研究员 [00:22:30] 然后我们可以做一些很看起来很有趣很有特点的产品但是我一旦把这个产品去公开给公众那要负责的事情是非常多的第一你这个产品不可能说一上线然后告诉所有用户你得再去买一台电脑干这个事否则它就有可能会获得你电脑上所有的权限然后把你系统搞崩嗯这就作为一个大公司来说你比如Google Google是不可能提供这样的产品出去的对吧嗯然后所以你产品要花很多时间打磨然后你要确认法律上它没有一些风险然后用户上又不会损坏自己的品牌然后你如果把它送出去了你可能还要给它就是比较固定的一些资源去serve这个模型或者serve这条这条产品的线所以对对对大公司来说我觉得还是有挺多负担的但是对于个人来说无所谓啊就是我反正是一个开源的项目我代码垃圾又如何你帮我来一起写吧对吧哈哈哈对 [00:23:31] 我觉得不管是Manus还是OpenClaw 它其实指了一个方向就是这也是2026年的某种叙事的可能性你对2026年是什么怎么样思考和预期的我觉得其实有太多的可能性然后对我来说从模型能力上来说我觉得模型就是我有时候特别爱说这个口号就是我觉得模型做到 train with finite context use as infinite context（训练是有限的，但用起来像无限的）就是换句话说就是你用有限的这个这个context length（上下文长度）去训练它但是可以在使用的时候用非常非常长甚至接近于无限的context length 我觉得这件事儿今年是是有机会能够做实现的然后这件事情实现之后我觉得会解锁很多新的应用也会因为因为举一个最简单的例子就是你有可能可以让这个模型跟你持续的交互然后持续的获得你的信息然后它在运行的过程中 [00:24:32] 会持续的根据当前的场景和你的会话可能把那些它觉得不重要的信息扔掉然后就成了就是大家梦想中的个人助手对我觉得这个从技术上来说我觉得这件事是会今年是无论如何是会实现但是当然当然我觉得现在大家没有达成共识的是技术上怎么去实现这个事嗯显然是有很多技术路线但是现在我觉得更多是属于在尝试哪条路线能够跑通的同时可能有好几条路线都能跑通那我们到时候就就要去实验上去测在用户常用的使用场景下哪条路线的的效率是最高的对我觉得现在更多处于这个阶段而不是说大家没有想法的阶段就大家有想法但是要确定哪个想法是最后的想法站在这个2026年的Q1作为一个一线的研究员你觉得模型的进步速度在放缓吗我觉得完全没有（完全没有）我觉得完全没有 [00:25:32] 它的速度曲线对比25年 24年的变化是什么嗯这个很难量化的说因为就是你得给一个标准我才能量化的告诉你因为如果你给的标准是比如说我就看在某一个Benchmark上比如说随便SWE-bench上它每一个月涨多少个点儿那这个事儿是肯定会变慢的因为根据定义这个Benchmark最高就到100% 嗯所以你越接近那肯定是越跑越慢但是这可能并不代表用户体验这个模型的能力增长变慢了因为可能从50%到60% 它可能感觉哎好了一点但很有可能比如说从70%到75% 它发现好的比50%到60%那个还多嗯这是完全有可能如果是80%到90% 90%到100% 这个感受会更显著那也不一定因为可能过了可能到80%到90% 用户就发现没有任何区别甚至还变差了你说完全没有变慢你是基于什么标准我觉得是基于我个人作为一个研究员的感觉 [00:26:32] 就是我个人得到的感受是这个模型学东西的能力越来越强了以前可能让模型学会干一件事情需要动很多脑筋但现在可能不需要动那么多脑筋了最重要的是你是要把这问题定义清楚然后想清楚怎么去构建合适的数据（嗯）当然数据现在数据就更广泛指向环境之类也都在包括在内了然后剩下的事情好像很多时候是顺其自然的了对学习能力变强是为什么呀模型的学习能力变强了我觉得可能一方面原因可能有很多方面但我觉得可能一方面是因为预训练其实在过去的几个月里我觉得还是越来越强了的预训练对对模型的预训练其实在过去几个月里还是变强了（嗯）我觉得这个可能是一个从某种意义上来说比较有争议的事儿因为几个月以前我觉得就是很多人已经在讨论预训练的 [00:27:34] 这个Scaling Law（缩放定律）是不是已经到头了嗯我的体验是没有而且我的感觉是在未来的4个月也没有看到到头的迹象嗯觉得到头是为什么呢我觉得嗯我我我显然不知道大家觉得到头的原因是什么因为我自己没觉得到头但是我觉得我的猜测是一个人觉得一个规律到头了无非以下两种情况啊一个情况是他觉得这个规律的适用范围到头了啊就可能就可能从根本上讲 Scaling Law 就是没有办法无穷延展下去的 which有可能是对的啊但是这是一种猜测就是这个人可能觉得这个这个规律适用范围到头了另一种可能是这个人觉得这个规律其中的有一个条件不能满足了比如说他觉得数据就已经撞上墙了 [00:28:35] 那我完全没有把它延展下去嘛另外一种可能性但其实还有第三种可能性第三种可能性就是其实他这个工作哪里有一个bug 他自己没发现所以他觉得到头了哦我觉得从我的观点从我的观感上来说呢我觉得可能绝大多数撞到墙的人是因为第三种是因为有bug 是哪种bug 我觉得 bug是有很多种可能性的比如说一种可能性是你Scaling Law做的时候一些科学的假设没有做对比如说你选什么样的token horizon 就是每一个大小模型选什么样的这个期待的训练的数据量然后这个数据量这个数据是从哪里选然后有可能这些比较科学的选择没有选清楚是一种可能性但我觉得还有一种可能性就是纯粹就有个bug [00:29:35] 这个其实在业界我觉得也不惊奇很多时候修好一个bug 带来的进展是远大于一些很神奇的技巧的对然后当然还有另外的情况刚才给的这两种例子反正是我见到过比较多的情况那你们的bug怎么办你们怎么解决bug问题的我觉得对我感觉这更像是一个信念的问题因为当你遇到一个bug 你觉得它不能解除你就会说这个到头了当你遇到个bug 我觉得哦这个肯定可以解决那你就觉得这还没有到头因为肯定每个人都要遇到bug 我觉得我觉得这可能就像你说的就是其中有一些比较信念性的东西但对我来说更重要的一件事是做事系统就是当你一个事情和你预测的不一样的时候你能不能系统性的排除各种可能性这个我觉得是一个很重要的事 [00:30:37] 嗯这个是我觉得Gemini和Anthropic做的比较好的事就是尤其在预训练上就是说当某一个尺度上的行为可能和你想象中不一样的时候大家能够去去设计合理的我们所谓的ablation实验（消融实验）合理的这种实验能够看出来测你的一些想象中的可能的因素是不是真的因素我觉得这个做问题的系统性才是关键嗯你觉得模型能力还能提高那它的驱动力数据算力算法你觉得它的驱动力主要来源于哪个我觉得其实都有但是从某种意义上来说数据和算力两个事其实是很强关联的一件事数据和算力嗯对因为你算力上去了自然就会吸到更多的数据数据上去了你就自然需要更多的算力对然后算法上来说我觉得 [00:31:39] 算法作用往往是有一个相变的就是算法有一个阶段是你完全没有搞清楚该怎么做那个阶段就算法会非常非常关键因为你没有完全没有搞清楚怎么做的时候你可能就完全没有办法scale up 然后可能就卡在那了但是在某一个点你可能发现了算法当中最重要的一件事那它可能一下就变成了从完全不能做变成了能做然后之后算法的提升更多的是一种比较平滑的提升就是它可能从某种上提高了你计算效率或者使用数据的效率对然后我觉得就举例吧就比如说从语言模型的预训练来说那可能这个算法上的这个跳的过程就是就是发展出Transformer这个事情但Transformer发现之后更多的都是慢慢就是平滑的让它的效率或者你使用data 或者使用算力的效率变得越来越高了对所以现在的驱动力是算力和数据 [00:32:41] 我觉得在现在比较清晰的框架里面主要的驱动力是算力和数据清晰的框架是指比如说预训练和后训练不管是基于强化学习的后训练还是基于supervised learning 就是监督学习的后训练比如在这两个就是比较清晰的这种这种paradigm（范式）下确实算力和数据是主要的驱动力但是不可否认可能有别的方向可能驱动力失算了嗯什么意思举个简单例子比如说多模态生成嗯那个我觉得可能就是一个算法上来说没有太想清楚的事所以那个还是个科学问题还没有解决对但是语言已经不是科学问题了自然语言的生成我觉得目前这条技术方案撞到头之前我觉得在科学上是比较清楚的但是工程上也还有很多很多很多要做的事 [00:33:41] 你觉得预训练还能提高多少通过预训练提升模型能力还有多少多长的路可以走可以预期到人就是这样就是当你没有撞到头的时候你其实不知道这个路有多长我能我能看到的就是现在还没撞到头但我也不知道哪天会撞到头如果真的让我去估计一个时间线的话就像刚才说我觉得4个月接下来4个月是还是会继续有进展但是AI这个方向没有人能预测4个月之后的事嗯所以过去几个月你在看预训练和模型能力的时候你还是很兴奋的这是你周围的普遍的心态和状态吗我觉得是的这是在Google一个小环境里面还是说在整个硅谷的环境里我觉得很难说在整个硅谷因为硅谷是个太大的地方可能做产品的人对产品很兴奋对吧做产品来说对他们最兴奋的是可能有OpenClaw 嗯但是对做模型的人来说可能就是我们会对这种模型进展更更兴奋一些嗯我觉得呃 [00:34:41] 对于做模型的人来说兴奋是一个共识吗在过去4个月我个人认为是的哦我个人认为是的至少在我能接触到的范围内我觉得在 Anthropic和Google大家或Gemini大家可能想的更多的是我们AI会不断地进展下去很快我们就要被替代掉替代掉之后我们该干点啥呵呵而不是模型撞到头了该怎么办呵呵呵说到这个问题为什么在过去几个月 coding的发展速度是最快的为什么是这个场景啊我觉得coding这个场景首先coding这个事儿不只是在过去几个月发展最快我觉得coding这个事儿其实从Claude 3.5 (new) 或者外界有人管那个叫Claude 3.6（嗯）从那个之后一直都处于高速发展的状态然后我觉得那个是去年初还是前年底那个是前年的10月份 [00:35:42] 前年10月份对对应该是有可能10月份或者11月份但是差不多那时候从那之后我就一直都处于高速发展状态我觉得coding这个场景有两个最大的优势第一个优势就是它的reward signal（回馈信号）就是它的那个回馈的信号是很好定义的因为比如说你去比如说像software engineer（软件工程师）这种task 有时候经常情况就是我需要写一个code 实现一个feature 一个特征（嗯）这个特征需要的是某些输入会得到某些输出这就是一个很容易能够很容易能够测试的事情所以它的回馈信号非常清晰你输入和这个输出能够对那就说明你的实现是成功的不对那就说明不成功（嗯）但这只是一个例子就是在这种和写code相关里面 [00:36:44] 有很多很多很多这样良好定义的回馈信号然后另一个比较大的优势是 coding的数据有一个非常天然的基础这个基础就是GitHub GitHub上汇聚了过去几个大概的几十年很多优质的程序员所写下的代码然后从那些代码出发是可以构建出非常非常非常多环境我觉得这两件事从模型的角度上来说是为什么coding可以做得很好当然我觉得从产品上来说还有另外一方面的原因就是coding 这个产品的使用需求其实是从某种意义上说是比较单一的它不像你去做一个像社交软件或者游戏可能每一个人都有不一样的品味然后你可能很难就是能够满足每一个人的需求 [00:37:46] 那可能就是需要推荐算法但是coding这个事好的事情在于优秀的程序员写代码其实风格是比较类似的什么风格简洁干净就是对就是好的代码是（不脏）是有一些共同的标准的比如说像你说的就是这个代码简洁结构清楚适于未来的开发然后有合理的抽象当然还有别的很多标准但是我觉得好的程序员往往是有有比较共识标准的对这件事所以这件事从产品上来说其实让coding这个产品变得更简单了你现在的工作百分之多少会用Claude Code写代码它能帮你提高工作多少倍啊你问了一个我差点会被开除的问题 Google不能用Claude Code 哈哈哈哈哈哈啊对就是我觉得对我来说 [00:38:49] 一个保守的估计可能90%的code是模型产生的但是可能就是我需要花很多时间去去看这个code 是不是写得合适写得合理是不是真的是我想让它写的然后我觉得有了AI辅助工具之后可能写code的这个事儿最重要的地方变成了你怎么去设计你怎么去设计你这个code的逻辑然后它需要和哪一个文件相关联然后需要做某哪些事情然后你需要给这个模型可能给一些合理的context 就是说哎比如说这个code 你可以做一个reference(参考)去看一眼对真正去输出code 我觉得模型比人的能力强太多了啊所以说对我来说你要实际去数有多少行code是我自己手写的有多少行code是模型写的我觉得保守估计模型写的超过90% 不保守的可能就是99%或者100% 剩下10% 是它不能写 [00:39:50] 还是为什么你没有让它写保守估计90% 给我自己点面子哈哈哈哈哈我觉得它不能写而我能写的部分已经越来越越来越少越来越少越来越少了过去可能是什么样的是它不能写的我觉得很早的时候就是可能在一年半以前那个时候市面上其实说白了就是只有Claude一家能够能够真的写这种软件工程code 那个时候模型还是能体会到很多很多缺陷的比如说它有时候可能写code 就只关注这一个文件它就不会很关注那种多个多个多个文件之间的关联然后如果一个比如说一个class 它的定义其实藏在很多层以后或者说它其实没有直接被套在这个这个直接的树里面可能这个模型就找不着现在我觉得这个事已经越来越少了呵呵 [00:40:50] 真的越来越少了作为一个researcher 你的写程序的工作量能够是过去的多少倍因为从写code的角度来说是比较能难量化这个事儿但是如果说从比如说我做实验然后实现一些idea的效率上来说我觉得可能比起一年甚至一年半以前可能都是20甚至50倍的这种加速对因为现在模型真的变得就是可以很离谱就是你可以同时开好几个然后你好几个idea 然后同时的去试甚至有些时候这个模型可以帮你监控一些实验啊监控一些结果之类的所以说还是真的是一个挺挺大的效率提升对但是如果从个人工作时间上来说我觉得它好像让我工作时间变更长了这是为什么就是因为开发的速度变快了越试越想试有越来越多的想法要去试 [00:41:50] 所以说感觉以前你可能存在说哎你有一个东西比如这个文件以前没见过你可能自己看你搞的不是很明白那肯定你要去花时间去找那个人然后你约那个人可能就几个小时之后但现在就不是你就看到这个文件你不懂拿去问一下Claude或者Gemini Gemini可能5秒钟就告诉你结果你就接着干了哈哈哈所以说从工作时间上来说我觉得好像工作时间反而变长了而且工作的密度也变高了好Google已经不是那个Google了是吗不是那个可以养老的Google 不是那个work life balance的的Google 我感觉在GenAI（生成式人工智能）这个领域没有谁可以养老哈哈哈所以你现在早几晚几啊我一般可能早上9点钟开始到公司吗9点早上9点可能先起来看一下邮件然后看一看我前天晚上实验然后到公司可能一般10点左右然后啊晚上 [00:42:50] 如果我一个人在美国的时候我可能就会待到可能10点11点这样当然如果我家人在我老婆在的话我可能就会早一点回家但是在家反正也是干所以我觉得在GenAI这个领域没有谁是在躺着的除非就是你已经完全对技术没有兴趣了对自己没有追求了那你躺着其实也没有人管你但是我觉得大家还是比较self-driven（自驱）就是还是自己想干对你觉得其他的领域会出现更多的这样的Claude Code的时刻吗 coding之后会在哪里爆发你问了一个好问题我要是看清楚了我可能已经出去创业了哈哈哈哈哈对但是但是确实就是除了coding之外我们已经能看到就是对很多别的方向已经产生大的影响但只说那些方向可能并不是一个好的这种市场上的方向比如说好多现在的做基础科学的研究 [00:43:51] 比如做数学啊做理论物理好多人其实已经就大量的开始用AI工具因为过去你可能像我们做AI研究其实很像就是说你可能想到一个想法你想跑一个数值学物理的人又不是很会写code 光学明白怎么打开这个编译器把code跑起来可能半天已经过去了现在就没有这个烦恼了就是你现在想试 5分钟之后code写完了你就可以开始试了然后甚至像Gemini Deep Think发布之后有很多这个基础科学的研究人员就把这种比如说数学推导啊数学证明啊然后甚至就是去看这些不同的这种文章然后归纳这些事全都交给模型了所以说已经我觉得对除了coding之外的方向产生了影响当然就是那些基础研究你可能很难就是变成一个万众瞩目的事情除非你就真的发现了 [00:44:51] 一个以前人都没发现的很妙的理论比如AI产生了爱因斯坦理论这样级别的东西那可能会变成万众瞩目但那个时刻可能还没到来但是影响是已经在产生了哇 AI好神奇啊它为什么首先上来做的都是人类觉得最难的那部分工作我觉得这是一个特别好的问题就是我觉得过去的嗯在我人生的阶段里大家往往会觉得最智力上有挑战的工作反而是那些比较理性的事情比较客观的事情嗯比如说数学比如说写代码比如说做AI研究还有科学研究对就是越是这些事其实AI越容易做好因为你一旦想清楚这个事怎么去评价你就知道怎么训练人为什么比较难呢（我觉得）你看人都是智力分配最高的那部分人做这些工作对但是可能未来就不是这样了 [00:45:51] 哈哈哈我觉得未来未来会怎么样未来其实会发生了一个改变就是那些AI 就是有很多AI其实没有那么容易做但是反而是人可能做比较好的比如说做产品经理我说实话觉得做一个好的产品经理是一个我现在想不明白该怎么训练AI去做的事这是为什么没有标准没有标准（没有刻度）就是什么叫做一个好的产品我其实想不太明白没有一个很客观标准你一定是做出来了之后给人用了你才知道它好那大家才会说它好对我觉得那个就是一个回馈信号很不明确的事那个我就不知道该怎么去训练AI做对程序员什么时候会被彻底取代吗会有会有这一天吗嗯我觉得这一天会来 [00:46:52] 但是它不会是一瞬间的来就不会是程序员都还在过了一个晚上第二天程序员全被开除了不会是这样的一定会是一个渐变的过程但是大家现在已经看到这个渐变的过程了因为有一些公司已经开始开始裁员了对我觉得从某种意义上来说 AI是一个从某种意义上来说它当然是一个很好的东西但是从某种意义上来说它可能也是一个很不幸的事就是AI是一个很centralized的technology（中心化技术）它会让少部分人变得更强但会让大部分人失去他们的独特价值对所以说我觉得对于传统的软件工程来说最后变成结果可能就是现在1/1000的人干了过去所有人的工作拿着现在100倍的工资那你对程序员有什么建议 [00:47:54] 我觉得哈哈哈我觉得可能接受新事物吧就是我觉得很重要我觉得未来程序员可能很重要的一件事是怎么和AI去有效的协作嗯做比如说有很多事情是AI可能做的不是那么好的事儿比如说怎么去合理的设计一个事情的实现方案然后怎么样设计让它可能跟这个公司未来的发展比较契合那这些东西可能你很难去告诉一个模型让它理解这些事儿那这些事儿可能还需要人去做但是可能像具体的就是很具体的就是像过去很多程序员做的工作是你的经理告诉你实现这个方案下周五之前给我我觉得这样的工作未来可能就不会不会再存在了那1/1000的程序员会是什么样的程序员他们的特质是什么 1/1000是个虚数我真的不知道是会是1/1000 还是1/10000 还是1/100000 也可能是1% 你不要那么悲观 [00:48:54] 我是一个著名的悲观主义者所以说也不要太那什么然后我觉得未来好的程序员首先他肯定是从技术上来说他一定是会是非常强因为如果你技术上弱那没有什么道理 AI不能取代你但技术强可能不会是唯一就不会是一个必要条件它可能是个充分条件另一个事情我觉得会很重要的就是你得能够理解你的这部分工作在一个大的组织或者一个大的公司里该去怎么怎么适配进去这件事情（嗯）这件事情可能也是一个重要的嗯然后然后当然还有可能别的很多事情比如说这个人的规划能力是不是足够强他规划能力强的话他肯定可以同时把这个大的一个很复杂的事情拆解成很多相对较小的事情然后交给不同的AI去做但是现在看这三种能力是重要的可能AI还不能完全做不代表6个月之后不能 [00:49:54] 可能6个月之后你过来问我我发现最后一个事AI已经能干了那就只剩下两个事再过6个月可能剩下两个也能干了那可能我就我的回答就会变得更悲观所以说没有人能预计6个月之后发生什么我只能说从现在的观点来说刚过去的那个春节很多人关注另外一件事情是Seedance Seedance会让Google焦虑吗我觉得其实有可能有但是这个焦虑的情绪目前还没有传导到我这儿可能让Google DeepMind 负责多模态生成的团队会有一些压力但是如果你要问我的话我觉得我可能不觉得他们有什么可焦虑的就是我觉得并没有体现出什么范式上的改变更多的是我觉得字节在不管是这个产品的效果还是可能在数据上啊之类的这些细节会做的非常非常好我觉得确实是 [00:50:56] 字节过去在多模态生成一直以来都有比较强的优势但是我觉得至少我个人没有体会到它是一个范式上的变化那可能就不足以说让大家非常的焦虑吧对但是肯定是有压力对 Seedance它的产品能力来自于模型能力还是产品能力啊我没在字节干过所以我也不知道具体的细节但是你要让我猜我觉得可能模型还是占大头的嗯模型能力的好来自于什么来自于数据因为算法可能没有本质创新我觉得算法首先就是因为刚才多模态属于咱们说的就是还属于那个科学问题多模态的生成属于科学问题对多模态生成还属于一个比较科学的问题（多模态理解解决了吗）比生成肯定是要更系统有更系统的理解了但是比起text token来说肯定还是没有那么的 [00:51:58] 范式还没有那么固定我觉得生成上可能就是因为它是一个还没有范式上还没有固定的事可能每家用的技术都会有一些大的或者小的区别然后嗯现在更多的只是能看到说效果上来说可能字节和Google DeepMind属于在效果上来说做的比较好两家嗯所以它可能也是来自于细节做的更好对你如果要让我猜我会猜数据数据你要让我猜我会猜数据但是就我也没在字节干过所以也是我硬猜的哈哈哈（嗯）你怎么看从Google去字节的吴永辉（字节跳动大模型团队Seed负责人）啊我何德何能哈哈哈评价永辉我觉得我觉得我当然过去没有和永辉一起工作过所以我其实真的不是很能给什么很好的评价很客观的评价吧就说但是我觉得我去了Gemini之后看到的更多的是永辉好的一面就是我觉得他是我通过去看他 [00:53:01] 偷偷去看他以前交过的代码以及他带过的项目我的感觉是他是我见到的少数层级非常高然后人也很senior 但是还有很强的技术能力我觉得是非常非常少见所以我觉得我觉得我可能是还没到能够评价永辉的这个这个水平呢但是要让问我说的话我觉得永辉是非常非常强的你说站在2026年的这个Q1拍一张快照你觉得中美的模型能力差距是在放大还是缩小差多远我觉得嗯如果现在拍一张快照去看过去一年的发展趋势或者过去一年半的发展趋势吧显然这个中美之间的gap是越变越小了但是最后这个gap会不会完全弥合甚至中国超过去那我觉得是一个不清楚的问题 [00:54:04] 我觉得对中国的AI的研究员来说研究机构来说也是一个机会然后我觉得一个很真实的事儿就是中国确实在实际的算力资源上来说是占很大劣势的但是这个很大的劣势可能反而逼出了一些有趣的事儿比如说中国的模型公司其实对distillation（蒸馏）别人很在行对最近Dario（Anthropic联合创始人兼CEO）不是点名了3家公司蒸馏它我觉得其实可能是一个蒸馏这个事存在是一个心照不宣的事实但是我觉得蒸馏它也有不同的方式就是也有硬蒸和和聪明的蒸两种不一样的选择嗯什么叫硬蒸硬蒸就是最举个最简单的例子 [00:55:04] 就是我从Claude里面取出一堆它生成的Token 然后强行在上面做训练这个如果干这样的事我就觉得首先商业上也不是很道德然后智力上来说也比较愚蠢因为干这个事儿的公司其实本质上来说它体现出来的一件事儿就是它其实都不知道自己想干嘛它能干的唯一一件事儿就是抄别人然后让自己的模型数据上能看的好看一点对但本质上就说明它自己都不知道该干嘛这是硬蒸但是其实蒸馏也有一些很有趣的科学问题就是比如说我是不是有一种可能就随便举个例子就是有没有可能是我生成我自己生成数据的这个链条当中用到了别的模型作为辅助或者说我自己模型生成的答案 [00:56:04] 用别的模型作为它的评价者这个其实是一个我觉得商业上来说比较灰色的地带但是从技术上来说其实很有意思因为你想其实从某种意义上来说可能中国的实验室成为了做Multi Agent（多智能体）训练的先驱哦而且是真正的Multi Agent 因为它如果从不同家的模型里用这种比较聪明的方案把他们融汇到一个训练系统里的话每家模型它可能是是分布很不一样的它的语言的分布是很不一样的这个是真正的Multi Agent 它可能比起比如说我用了好几个Gemini一块做是一个技术上更有趣的事所以说我觉得对我来说聪明的蒸我不知道这个商业上最后会不会变成一个很明确错或者很明确对的事儿但技术上其实很有意思 [00:57:05] 你这两种蒸分别说的是谁能不能后期把名字哔掉（可以）哈哈哈哈哈我首先没有在中国的lab（实验室）干过所以我不知道确切的是谁但是我的感觉就是 XXX 应该是硬蒸了啊然后XXX可能曾经硬蒸过但是后来可能慢慢也在努力向软蒸的方向转化我觉得比较明显可能蒸馏的比较少的是字节我觉得字节是我感觉到这个模型还是比较有特点嗯特点体现在哪里啊比如说这个模型你说它有多聪明呢我觉得豆包是肯定没有Gemini和Claude聪明的但是豆包首先比如说豆包的语音生成非常非常强哎这个很难吗在技术上确实豆包是做的最好的因为我发现我生活上的问题我只想问豆包因为它很快但其他模型为什么不优化这个产品功能呢 [00:58:05] 我觉得还是跟它的用户群体有关系在美国我觉得大家的这个想法更专注于怎么能够提高工作效率你生活没有一些困惑吗我生活中有首先我个人确实是一个生活上比较无聊的人所以我生活中没有很多有趣的困惑可以去问豆包我生活中更多的困惑都是技术上的困惑问Gemini这种聪明的模型就是最好的哈哈哈哈哈对我没有什么半夜去打豆包情感电台的需求不只是情感就是很多比如说你做饭嗯你可能会遇到一个什么问题你可能及时需要一个需要有人告诉你但是你又没有这样的人嗯那些我觉得可能更多是数据上的问题然后可能更多的只说美国的公司现在主要的主要的优先级是在智能或者工作效率上未来有天 [00:59:05] 会不会变成这些日常的事情我觉得是有可能的事实情况是你如果去问这种日常话题其实你能发现Gemini 每一代到另外一代会做的也越来越好嗯其实我身边很多朋友包括我自己以前也是就是我以前在Anthropic的时候可能写code会去问Claude 但我可能日常查个什么东西我就会去问Gemini 对你用过豆包没有我其实只用过一两次我发现你们都不怎么用嗯首先是不是鄙视链（有智力的鄙视链）哈哈哈没有没有不至于不至于就是我觉得首先就是就跟在中国的人试图用美国的模型会有一些复杂的事儿一样哦我在美国用中国的模型其实也是挺复杂的第二呢就是确实也没这个动机尤其我觉得我可能生活中工作是工作休闲的时候就是找不一样的工作 [01:00:06] 所以对我来说我的最好伙伴就是Claude和Gemini 但是可能对别人来说并不是这样所以可能也只是我个人的问题我自己用豆包的那一两次是因为有人给我展示豆包手机哈哈哈哈哈对那你怎么看豆包手机我觉得是一个很好的想法我个人觉得效果上来说其实做的也不错当然我不知道的是技术上来说它的优化做的有多好就是说它我觉得它实现一些任务的实施从效果上来说是没什么问题但我不知道它会有多大的消耗如果这个消耗非常非常大那可能是一个技术上需要解决的问题嗯因为你并不希望什么让你的模型去给你订了一张高铁票结果花的钱比高铁票还贵这个肯定是一个不可以接受的事对所以说可能技术上来说我个人不清楚它有多成熟 [01:01:08] 然后我觉得产品上来说对大家来说还是一个挺不能说惊讶吧但是让大家觉得挺兴奋的事吧然后我觉得可能苹果以前也想干这样的事只是苹果可能自家的模型一直不太行苹果好像不是很在意它的AI战略现在我觉得呢苹果一定是在意AI战略的因为曾经Siri手机助手是苹果发布会里一个非常非常重要的闪光点但是自己的模型没赶上趟现在可能要通过和Gemini合作来试图做这样事至于现在它是不是重视首先我也不知道你要让我猜我肯定觉得是重视但你要让我解释它为什么从外界来看没那么重视我的唯一猜测就是如果你外界来看就显得很重视还做不成那就显得很蠢啊挽尊啊对哈哈哈（我不在意）那我们说一下豆包的模型啊你刚才说豆包模型比较有特色 [01:02:10] 你能具体一点一个是它的语音做得很好这是第一点我觉得语音做的很好是我能感觉到最有特色的事就是我觉得语音这个效果可能是客气地说可能是全世界最好的之一不客气地说我觉得就是全世界最好的嗯这很难吗嗯我自己没做到那个地步过所以我也不知道是不是难但是我觉得可能是一个很费功夫的事不管从数据上还是各种优化上来说它是个产品的事还是模型上的事它一定会是模型的事它有可能也包含一些产品的部分但一定是一个模型的事啊对然后我觉得这是一方面然后另一方面另一方面我自己感受就不多了因为我其实用的机会没那么多那可能就是更多的是来自于就是亲朋好友的反馈也就是说哎这个豆包这个模型就是fun to talk 就是聊起来很有趣哈哈对但我觉得那个更多的是一些主观的反馈我觉得它的那个一个是语音 [01:03:10] 然后一个是它生成的很快也是一个很重要的因为我很多模型它都在给你展示思维链但是我就说你们生活上的琐事我不想看它的思维链对这个事我觉得技术上并不难只是可能大家目前还没有花更多时间在这个上面然后事实情况是如果你去尝试Gemini 3.1和Gemini 3的话你会发现 Gemini 3.1 在完成同样一个问题的时候已经会比以前快很多然后废话少很多了所以说我觉得这个不是一个嗯在我看来不是一个技术上的难点它更多只是什么时候去重视去做这个事我觉得可能就是现在现在美国的这几家还都处于在努力把智能的上限往前不断推进而字节呢当然它也肯定是在推进上限的但是我觉得它可能就是在用户的优化上也做的很不错最近还有一个话题就是中国的机器人很火 [01:04:11] 在春晚上我不知道你对这个有没有什么观察看过一些表演也在亚马逊上搜过一些价格确实很惊讶它居然这么便宜哈哈哈买了吗没买哈哈哈我买了也没什么用但是确实我以前会我不知道我以前脑海里觉得这种人形机器人然后当然就是软件层面其实没什么但主要是硬件我觉得硬件上做的这么成熟可能怎么也得是个什么大几百万美金啊这样的但是好像我去看了一下价格比这要便宜很多我觉得这还是体现出中国在硬件这个产业链上还是很有优势的但是我并不知道它作为一个它作为一个机器人硬件来说我觉得确实是非常非常强然后从软件上来说没太看明白我觉得机器人的模型也是一个目前非共识比较大的事情对怎么说就是说它 [01:05:11] 我觉得机器人的模型可能更多的处于嗯feature engineering（特征工程）的时代就是你让你有一个给定的环境给定的场景你去优化这个场景大家是知道怎么做的嗯但是做RL嘛做强化学习构建合适的虚拟环境还是虚拟的这种这种数据然后你去做训练是可以提高的但是它没有很强的泛化性我觉得这个是就是有没有泛化性其实是很多AI方向它的一个分水岭就是一个确定的场景一个很单一的场景能不能做好这个事不是最近这几年才解决的十几年前就能干就是像语言也是语言在这个基于Transformer这种类似架构之前的时代里并不是说完全做不了对吧那时候你也可以训练很强的模型去做翻译嗯你可以训练一个很强的模型去做语义分析 [01:06:12] 但是你不能做的事儿是我可以水平的提高所有的能力嗯这个我觉得是一个分水岭然后我觉得language model（语言模型）在在Transformer和GPT之后跨入了那样一个阶段跨过了一个就是可以水平的提高所有能力然后你可能在一个点上的训练它会把这样能力抽象的泛化到所有相关的事情上但是机器人我觉得没到那个阶段更多的还是在那个阶段之前就是我有一个单一的场景单一的的事情然后我能够为这个事情去做优化所以你怎么看硅谷的这些机器人团队啊还包括Gemini内部也有很多机器人的人嗯你会怎么看那个方向有点这这算什么这是你们的子方向还是你们的平行方向还是什么我觉得过去是一个挺平行的方向但是现在机器人我觉得大家也在尝试就是能不能利用语言模型 [01:07:13] 作为一个基底模型然后在那个上面去训练这种类似比如像VLA（视觉-语言-动作模型）啊特别是多模态模型对对对然后嗯所以现在来说就是变成了和语言模型这个这条线比较相关的一条线嗯然后我觉得我个人的感觉是他们未来会变得很重要但是目前还没有找到自己的路但是他们做的事真的很有意思我非常推荐大家去看看机器人的实验室比做语言模型的实验室要有趣的多做语言模型的实验室感觉就是正常的办公室但机器人他们是真的就是会有人去操控这个机器人采集各种数据然后去看这个机器人在什么在货架里去取各种各样的货品之类干这样的事情觉得是很有意思的一件事你去的是哪家啊我去我在Gemini自己的实验室不是Gemini 就是那个Google DeepMind的自己的实验室去看过然后还有那个Dyna [01:08:13] 我也去看过他们是个叠衣服的机器人对他们就是可能场景更单一一点就是我叠衣服是一个机器人可能做一些别的事情就比如说倒水啊之类的这样对你直观感觉机器人进展相当于大语言模型的哪一年还没有到GPT-1的时刻对不对一定没到我觉得一定是没到的对嗯就是相当于大家还没有没有想明白怎么去scale up 我觉得对我来说不管机器人还是多模态生成都没到这个点那接下来进入今天的主题我们还是对你非常的感兴趣然后聊一聊你是怎么从一个学物理的人进入AI的世界的嗯你从小在哪儿长大你是怎么长大的我我出生在宁夏然后一个很小很小的城市叫那个大武口看就是你这困惑的表情已经说明了这个城市有多小嗯这个城市过去的存在是因为一个煤矿 [01:09:13] 也是因为石炭井一个煤矿然后有了这样一个城市对所以我在那出生但是我小学的时候跟我父母一块去了上海然后所以我小学的后半段和初中高中是在上海然后我上本科就去了北京就是刚才所说的那些就是上本科在北京然后博士在美国对你从小就成绩很好是吗你是物理竞赛保送然后在清华和斯坦福读的是理论物理对我不是物理竞赛保送的哈哈哈哈我觉得我小时候挺菜的哈哈哈哈啊首先我读的初中和小学都是无名之辈哈哈哈我觉得我我当时读的初中好像就是竞赛不是一个你该考虑的事儿就处于这样一种这么一个初中里那个叫上南中学东校又是一个大家听了很困惑一脸一头雾水的学校好既然都说到这那小学是哪个小学啊小学叫啥来着(德州二村小学) [01:10:13] 我的context management（上下文管理）能力太强了我已经不记得叫什么了其实哈哈哈嗯嗯对然后对就是就是那个初中就是嗯一个班里面一个小的环境还是有一些想要好好干事的同学的但是总体来说那个初中我觉得是比较躺平的状态对然后我觉得就是可能学习还可以（还可以是什么）还可以就是当时的状态就是上海高中有所谓的那时候有所谓的四校有什么上海中学然后华二交大和复旦的附属中学对然后当时的状态就是能上这四个学校但上不了这个四个学校里最好的班但是我当时特别想搞竞赛因为以前都没搞过竞赛你初中开始搞竞赛我初中没搞哦我初中没搞过竞赛没搞过竞赛为什么想搞竞赛因为没搞过所以想搞怎么植入的概念（哈哈哈哈我这个人）我这个人的个性就是 [01:11:13] 总是爱干一些自己不太会的事哈哈哈哈哈对然后当时没搞过竞赛但是知道有这么回事所以觉得义务教育不是义务教育就是上大学之前得干一把所以但是呢那个成绩也没好到那个份上所以去四校就是最好那四个学校是进不了搞竞赛那个班的我当时就发现有一个稍微差点的学校那个学校就是格致中学啊稍微差一点的学校但是那个学校有一个竞赛班然后我感觉这个竞赛班本来按照现在的话说就是underdog 哈哈哈哈哈厉害用当时的话说我感觉就是光脚的不怕穿鞋的哈哈哈哈哈我觉得嗯可以一搞所以就其实当时那个那时候就是那时候上海还有这个所谓的退休生的制度 [01:12:14] 就是你可以在考中考之前就去和某个学校签约然后你就提前向预定那个学校的名额然后就直接去他们那然后就很自然去了然后去搞了竞赛高中所以你其实是在上海四校的普通班里面和这个格致中学的竞赛班里面义无反顾的选了格致中学的竞赛班当然我也不能我不能说我做选择的时候这个上最好的四个高中是那么板上钉钉的事虽然后来的分确实够了那时候还没中考呢对对但是当时就觉得就算能上我也应该去一个underdog的地方赌一把为什么因为想干这个事啊你想干竞赛的目的是什么我觉得当时最主要的事是想体验我觉得没干过一定要找机会干一下为什么一定要干一下这个第一就是觉得确实难吧啊就是确实比就有一种对难的兴奋感对就是确实至少当时没搞的时候 [01:13:14] 大家给我的印象就是感觉这个事比你不搞竞赛学的那些东西要有挑战性的多了嗯感觉干这个事的人确实强不干你也就只是这个平庸石头里最光滑的那一个所以我当时觉得要干所以就去干了当然干了之后也实际上带来一些好处就我后来回想起来如果当时没去搞竞赛可能就进不了清华了哦你是有加分还是什么当时其实那个竞赛的保送生制度已经比较锐减了就只有进国家集训队才能保送我那高中反正我觉得我当时没进国家集训队这个水平的所以就别说了但是呢就是我在考高三竞赛之前阴差阳错的去清华参加了一个夏令营然后阴差阳错的在夏令营的最后一天听说了他们在搞自主招生但是主要是面向北京的学生我就疯狂给招生办的老师发短信 [01:14:16] 说我要跟他们一块儿考他答应啦然后他就答应了我们去考你们还是你就答应了我和我们这高中一块去的那几个人去考就上海去那个夏令营的那几个高中同学去考哦你有什么理由说服他给他发短信我已经忘了这个短信具体怎么说了但这个短信大概说的意思就是你给北京的同学考为什么不给上海的考哦理直气壮是吧你当时觉得他们在开后门是吗我也不是觉得他们开后门就是觉得人家有这个机会凭什么不给我们大家都在一条线上竞争嘛就你们当时是同学啊然后所以就发了这个信息然后还人家就真让我们去考了几个人我记不太清了可能有上海去那个考场里可能有七八个人的样子是你发那个短信可能可能别的高中也有别的同学发但我们高中是我发的哦就是都是上海高中去北京参加那个夏令营的同学 [01:15:16] 参加夏令营的同学然后就让我们考然后就签了这么好说话对所以我从那件事得到的人生最重要的道理就是胆子要大哈哈你不争取是永远得不到的争取了也有可能得不到但不争取就绝对得不到你当时发那短信的时候忐忑吗你当时还高中哎我已经不记得了当时觉得自己这是个很大胆的事儿吗没有我当时满脑子想的都是现在就得争取再不争取明天就争取不到了哈哈就是我在听说的那天就赶紧去疯狂发短信疯狂发给谁发发给招生办的那清华招生办的老师就发给一个人还是多个人不记得了应该是一个老师对他很快回了吗嗯嗯嗯我觉得清华的就say yes了我不知道他们自己有没有讨论了但是反正最后是说了是同意 [01:16:18] 然后就一起考试了对所以我所以我为什么我感觉我一直对清华还还是挺有感情的就我感觉这个学校是是愿意给大家提供机会给大家提供平等机会你那考试考得怎么样嗯我当时出来的时候觉得考挺崩的因为有半道题没做出来但是我后来发现别人没做出来更多就果然就招了哈哈哈哈哈对对你那一波上海同学进了几个啊好像两个自主招生是减分还是什么是降到一本线降到一本线哦然后你高考考的好吗后来高考果然没考到清华的分但是就是除了清北之外的学校都能上哦所以为什么网上都写你是保送的我觉得就是大家没在那几年上过学的人很难很难理解清楚那几年到底发生了什么 [01:17:18] 因为在我的两届之前还是拿了省一等奖就能保送的拿了省一等奖就能保送了你们那时候呢我们那时候就是拿了省一等奖进了省队然后再代表省队去考国家的比赛然后进了国家集训队才能保送我是进了省队去考了国家比赛但我没考进国家集训队对所以说我那届我是没有保送生名额哦你搞竞赛搞得好吗我觉得挺菜的就是难道不是没有干到最好就是很菜吗然后我显然没有干到最好啊所以就是很菜你家里人对你搞竞赛这个事情是什么态度啊我觉得我爸妈最好的一点就是他们不太管我他们可能曾经也试图管过我后来发现管不住哦怎么管不住就是我也不听他们的哦我觉得可能大多数中国家庭都是 [01:18:20] 孩子和父母商量已经算是很好的了我一般都是通知哈哈通知了啥通知哦我去自主招生了嗯然后包括中高考填志愿也是我爸妈甚至可能都没见过我志愿单哦他们比较佛是吗他们我觉得就是当你没有办法理解别人在干什么的时候别指手画脚就是最好的我觉得我爸妈这个道理懂的很好嗯哈哈哈哈哈那你比较叛逆是吗我觉得我是比较我个性是我很care我想做的事如果这件事是我自己想明白了要去做你就别拦我然后我也一定会尽最大努力做到最好但如果这个事我不想干逼我干也没用我也不会干对 [01:19:22] 你的胜负欲强吗挺强的对但我觉得我更多的是在跟自己跟自己较劲吧不太愿意和别人较劲哦对当然就是如果就是正好是我觉得这事儿很重要你也觉得这事儿很重要那我肯定是要干得比你好呵呵呵好那你到了清华就更神了去学的量子物理为啥呀对我当时做那个凝聚态理论然后为什么选这个专业阴差阳错现在回过头来说当然能能编造出一些听起来很合理的理由但是摸着良心回到当初我觉得就是阴差阳错就是当时我们在机科班然后机科班有一个非常好的传统就是首先机科班它虽然在物理系但不限制学生干什么机科班实际上2/3的学生都不会做物理啊然后对于你为什么会进这个班 [01:20:23] 呃当时清华的物理系全都是机科班现在可能不是了反正当时是然后它另外一个好的传统是它鼓励学生在在实践中学习所以它鼓励学生尽早的去进到科研的实验室里去然后去在科研中学习然后我当时想很想做理论然后是因为觉得这个难吗感觉就是你对难有一种着迷可能也是一种病我之后可以再讲讲这个这个病带来的不良后果是什么哈哈哈对然后然后那个对然后我想搞理论然后当然机科班或者我们叫学堂班有一个更小一点班然后那个老师就推荐说哎高等研究院是个很好的地方清华高等研究院就是杨振宁先生创立的那个研究院是个很好的地方然后我就去那找老师然后正好有一个那时候还很年轻的老师叫叫汪忠是我本科的老师嗯那时候他也没几个学生 [01:21:24] 然后我俩就聊我当然啥也不懂但他还挺耐心还给我了给了我一些这个paper让我去读然后读我就跟他讨论后来又发现凝态理论尤其当时做的那个方案就是跟拓扑绝缘体然后这些比较相关的方向其实是一个很适合本科生上手的方向就是它需要的背景知识不太多它只需要你可能懂最最基本的就是你得会量子力学会统计力学会固体物理也就是其实非常非常容易学的基础知识但是它可能很考验你对这些知识理解的深度所以对于本科生来说其实是一个特别好的方向就是你能够很快的上手去做一些实际的项目然后我们就一块做了一些工作其中有可能在开放量子体系里面的那个工作现在看来还是一个挺重要的工作对然后从某种意义上来说 [01:22:24] 我觉得现在回头来看做那个工作做那段时间的科研其实和现在做AI特别特别像就它更多的是你有一个想法你有一个理解然后你可以在那个阶段就是你可以做一个数值的实验去验证你这个想法和理解是不是对的你发现AI其实也这样 AI也是你有一个想法你有一个理解你去设计一些实验验证你的理解是不是对的然后你设计一些模型上的训练的这个pipeline（流水线）来把你的想法实施出来对所以说其实这两个是很像对能不能讲讲你这个非厄米系统的研究啊可以讲我尽量说人话但是也有可能实际上说了鬼话所以要是不想听的人可以跳过哈哈哈哈哈滑一下进度条到时候可以在进度条上设置两个戳对然后对非厄米系统是这样就说量子力学一个最基本的假设是 [01:23:26] 一个孤立系统它的演化被幺正演化所描述幺正演化是个鬼话对不起幺正演化的意思就是它是一个线性的过程然后这个线性过程它可以被一个算子叫做哈密顿量来描述啊哈密顿量从某种意义上来说它有有点像这个体系的能量但不完全是就是有点类似于所以它决定了这个体系随着时间的演化然后如果是一个孤立系统的话这个哈密顿量会是一个厄米的矩阵厄米的矩阵就是你转置一下然后做一下共轭它和原来是一样的但是呢真实的系统绝大多数都不是孤立系统比如说你我作为人肯定要和外界有信息交互有物质的交互材料也是一样就是你一块材料放在那除非你抽特别特别真空的你总得和衬底有交互你得和外界环境有交换所以真实体系绝大多数时候都不是孤立系统然后孤立系统 [01:24:26] 它就不会被一个幺正的过程去描述然后它所对应的哈密顿量也不会是一个厄米的哈密顿量就是这个非厄米这个词的来源它本质上是为了研究开放量子系统就和外界有交换的量子系统它的行为然后当时发现一个很困惑的事是我们一开始是试图研究这个开放量子系统里的一些拓扑现象然后就发现手算出来的这个理论的结果和数值死活也对不上啊然后更确切地说就是手算这个结果是假设了这个体系是一个周期的边界条件比如它在一个环上或者在一个这个轮胎的表面上然后数值的话就会因为就和实际的情况比较类似嘛它就会算一个开放边界的比如说一个方块这个材料上的行为就发现这两个结果死活也对不上然后就试图理解这个事后来就发现大家过去用来描述厄米系统的一个一个基本的的范式就是所谓的这个布洛赫波 [01:25:26] 就假设物体的本征态都是一些波的线性组合这个正弦余弦波啊这种这种波的线性组合这个假设其实在非厄米系统里面会 break down（发生故障）就是会变成错的事实情况就是后来我们就发现在非厄米系统里其实它的能量的本征态都会有可能会聚集到这个体系的一边边去对然后我们就系统地建立了这套这套描述的方法然后就是建立一套体系去描述一个开放边界的非厄米系统它的本征态该怎么去描述进而描述它的一些随时间演化和一些动力学所以这个是当时这份这个工作然后后来就有很多因为因为它其实是一个一个范式上的更新嘛所以后来就有很多很多follow up的工作但是后来其实我换方向了所以就没有太在这个方向继续做了你为什么不沿着它做 [01:26:28] 很难抓住一次范式的变化是不是很难抓住一次范式的变化是的是的这就是人性的弱点就是我感觉我总爱挑战一些自己不会的事哈哈哈尤其当时就我不知道我当时的感觉是在那个方向可能那个工作从再过几年回头来看就会是这个方向最重要的工作后面你再去做一些工作可能确实会让你更有名获得更多的引用写更多好的期刊的文章找到一个好的教职但是感觉作为一个科学生涯来说就没那么令人激动了所以我当时就想换个东西做换一个自己不太会的东西做对然后所以就读博士的时候就换了一个方向去做高能理论高能理论对高能理论物理对所以你本科和博士也是不一样也是不一样的还不是从物理跳到AI 其实你本科和博士看起来都是物理其实方向也已经发生了很大变化对是两个几乎没有任何联系的方向 [01:27:28] 哦你这个很神奇还包括你选竞赛去那个格致中学也很神奇对这是你的什么人性我觉得就是说难听了就是爱折磨自己哈哈哈说好听了是挑战自己哈哈哈嗯被折磨开心吗我觉得如果为了被折磨而被折磨那这个人就是有心理疾病但是如果一个人是为了学习更多的东西丰富自己的经历和能力而被折磨我觉得是值得的你本科那个老师汪忠老师也是个underdog是吧算吗不算哈哈哈人家做的挺好的怎么可以这样说他哈哈哈（在那个时候）刚说他很年轻嘛没没没他很年轻但是他我对他的印象一直都是他是一个很sharp的人就是很能看问题试图理解问题理解很清楚的人确实可能不像很多老师那样是 [01:28:32] 就是很有名气在社会上或者很光彩夺目至少那时候不是现在已经很有名气了那时候还没有那么有名气但是我觉得从能力上来说我觉得他是很强的对然后其实他一开始是他读博士时候是和那个守成老师张守成老师学习所以说能被守成老师挑中的人基本都不会太差嗯他对于你博士换方向说过什么吗没说过什么我觉得他是一个他是一个不爱干涉别人的人哈哈哈哈哈我不知道他内心是怎么想的但是我觉得他是一个不爱干涉别人的人诶量子物理整个是一个什么样的世界观啊它跟嗯我觉得我觉得最大的区别就是我觉得嗯有很多和经典物理有很多很多不一样的地方但是我觉得它们两个是一个对应的概念是吧 [01:29:32] 经典物理和量子物理他俩是一个在不同能量和时间或者空间尺度下的理论就说本质上我们这个世界都是量子的当然就我们现在也不知道比更小的尺度上会是什么对吧就更小的尺度上有很多不一样的想法比如说弦论是一个想法然后看看其他想法量子引力也是个想法之类的对但那些都没有办法验证被验证的小尺度上的有效理论就是量子物理最小最小的尺寸被实验上能够验证的最小尺寸的有效理论就是量子当然这里面包括量子力学和量子场论然后经典物理是当你所看的这个空间尺度和比较较大的时候这个量子物理会慢慢慢慢退化成经典物理其实它更多的是在不同尺度下的有不同的有效理论对这个这个事儿其实在物理上是一个很深刻的想法就是所谓的重整化群重整化群说的事就是说 [01:30:34] 在描述一个体系的理论在不同的能量尺度下可能看起来是完全不一样对然后哪怕他们可能从根源上来说都是一个大一统理论当然在现在没有什么真正的大一统理论了如果存在的话他们哪怕在根源上是同一个根但他们在不同尺度上可能看起来也是完全不一样所以经典物理和量子物理更多是两个不同尺度下的描述讲到量子物理有几个词好像是相关的比如说蝴蝶效应比如说量子纠缠你能不能讲讲这些我觉得这个可能是大家能听得懂的然后我也不懂物理大家不要骂我我也不懂量子物理对我觉得量子纠缠确实是一个大家比较耳熟能详的量子物理比较独特的事情然后呢就是很简单啊就是说我有两个粒子比如它属于一个纠缠态然后我可能它们实际上相隔很远但实际上我可能对其中一个做一些测量或者微扰它也会影响到另外一个的状态 [01:31:34] 这个是真实存在的这是真实存在的对什么样的会有量子纠缠什么样的两个物体有很多有很多就是有很多实际的情况就是实际上当你足够看得足够足够细足够足够微观的时候绝大多数的粒子可能都处于纠缠态但是实际上来说你可以比如说制造一个自旋和另外一个自旋你先把它俩靠在一块儿然后把它俩坍缩到一个纠缠态上然后你可以把其中一个拉得很远后来就成了一个纠缠就是一个距离很远的纠缠态然后甚至好像我记得几年以前还有人专门去做把一个细菌和一个什么什么东西制备在一个量子纠缠态里什么叫制备在一个量子纠缠态里这个是可以人为操作的这是一个可以人为操作的事为什么怎么操作一般来说就是通过一些一些测量和和演化算符的作用能够把它制备到这个状态上 [01:32:34] 但是这里面难的其实是实验上怎么实现这个过程就是你可以想象就是说你做一些量子测量和一些和一些所谓的量子门的操作其实是比较难的就又回到刚才那个问题就是每一个体系它其实都不是孤立的你可能这两个自旋你觉得哎我这样子制备一下不就到纠缠态了吗那我再把它拉开不就完了但是实际的问题是这两个粒子其实活在我们这个世界里会不断有别的粒子撞它一下或者外面的热量还扰动它一下它一下就状态就没了所以难的是怎么具体实验上去实施这个过程对然后纠缠的另外一个粒子可能更耳熟能详我其实应该提那个例子就是薛定谔的猫薛定谔的猫那就是一个更耳熟能详的例子就说它的状态其实是叠加了某一个放射源发出粒子和猫死了这是一个状态另外状态是放射源没有发射粒子猫活着这两个东西的叠加状态 [01:33:34] 其实比如说你去测量一下那个放射源发现放射源放出粒子了你就知道猫死了不管这猫和这个放射源离多远对所以这是纠缠但是蝴蝶效应是一个是一个另外的事然后蝴蝶效应这个事嗯蝴蝶效应就是耳熟能详的部分其实反而是经典物理就是大家经典物理听到的蝴蝶效应就是那个著名例子就是什么可能南美洲一个蝴蝶扑棱一下翅膀半个月之后什么北美洲刮了个台风但是它从更数学的表述来说它就是说在时间起始的时候你如果做一个很少的很小的扰动然后你去测量这个扰动产生的影响在未来有多大你会发现这个扰动的变化是指数级变大的对这是它数学上对经典蝴蝶效应的一个描述但是之前大家比较费解的一件事就是 [01:34:35] 这个事情在量子体系里怎么可能存在因为量子体系刚刚说了就孤立孤立量子体系是一个幺正演化它是一个很线性的过程所以说从某种意义上来说就是你如果一个状态就是一个矢量和另外一个矢量开始的时候夹角不太大那经过一些演化之后这个夹角应该不会变然后所以总会存在这种就是初始状态变得离得差别很小在未来啪变得就是指数级变大好像在量子力学上看是哎不太可能实现的事但刚刚又说了其实我们的世界是在微观是量子然后在宏观就变成经典了但它俩是一脉相承的怎么可能这有那没有啊这是大家试图理解的事那当然这个后来大家就有一些更好的理解就是说其实你讨论这个量子里面的洪荒效应的时候不应该讨论两个态之间的这个这个变化而是应该讨论一些就是所谓的local observable（局域可观测量）就是局域的观测量的变化那个其实是对应了经典物理里的你的看到的那些变化 [01:35:35] 那你读了4年的量子物理以后你当时在想什么你觉得物理对你的帮助是什么在你大四要毕业的时候我觉得本科期间读物理最大的帮助就是第一想问题要想清楚就是读书不在于读的多而在于读的深你读的多不代表你能够发现新的东西但如果你对一件事有和别人不一样的见解那个才是对这个社会来说更有价值的事这一件事然后另外一件事就是别太相信理论别太相信纯理论因为得出了这个结论啊因为当时那个事发现的主要原因还是因为能做数值就一开始是因为数值和理论对不上才仔细的研究那个问题然后发现了这个事那你博士为什么去读了高能物理也是一个理论啊这也就回到了刚才这个话题就是总爱挑战很难的事有时候也是会带来一些不好的结果的 [01:36:37] 什么不好的结果比如我就感觉我觉得我这个博士就是对我自己来说学到很多东西成长很大但是于这个世界来说没有产生什么贡献哈哈就高能理论这个方向就是足够难非常非常难然后嗯但它不好的事情在于它其实不是特别可以验证没有什么客观的评价标准因为高能理论已经发展到了就是实验完全追不上的这个阶段了实验完全追不上你在理论讨论的那些不管是能量尺度还是这种微观的尺度对它是怎么进步的呀它的进步依赖于什么呀如果不是实验一个进步的来源是来自于数学上的自洽性嗯就比如说你提出一个框架来来描述这些事情那你能和现有的已经 [01:37:39] 被验证的更低能标下的理论相自洽就比如说你研究弦论那可能自然大家问题就是弦论能不能在低能情况下回到量子场论进而回到经典物理那这个自洽性是一个判定方法我觉得这个是很合理的就是很科学的一件事当然也有一些不科学的因素就是当这个领域完全没有实验没有客观标准的时候肯定不会只有一个框架出现肯定不会只有一个自洽的框架出现这个时候谁做的好谁做的不好其实就依赖于领域内一些老登的主观判断你是被谁伤害了是吗我也没有被谁伤害只是我在那个领域待时间越长就越觉得这件事蠢就是人这一辈子也没多长为什么要把自己的时间浪费在伺候老登身上 [01:38:40] 对所以感觉是花了5年学了很多知识买了一个大教训这个教训是这个大教训就是要（要做实验）哎就是要做有比较客观评价标准的事嗯或者从另一个角度来说或者从另一个角度来说就是要做对这个世界能够产生影响的事所以其实你本科还是比较顺利的对吧在量子物理这个研究领域很快你很快就有了非常好的学术成果而且是范式级的变化但是你很快觉得没有吸引力了所以你想在博士去挑战一个更难的事情对然后在博士期间其实是比较落寞的至少从结果来说是这样的哈哈哈外界看不出来外界看都是非常光鲜的履历博士在Stanford 对我觉得我觉得从实际的科研产出来说我觉得没有人会说我博士期间的文章不好但是摸着良心说 [01:39:40] 对这个世界有多大的影响我觉得几乎没有没有影响几乎为零对所以对我自己来说我自己很不满意的啊但是我觉得确实也没有不满意到说我会担心有人说我在混日子确实也没在混日子就是你还是能达到所有的外界标准的对这是怎么做到的呢就是这个还真的是很多事情冷暖自知对吧对是的我觉得达到外界的标准或者达到一个小的圈子的评价标准是像训练模型一样就是一旦有了这么一个小的圈子你知道他们的评价标准之后做得好是很容易的就是其实你哪怕不认可这个标准你是可以达到的嗯嗯但是你还是知道你是不认可的因为有时候你哪怕不认可你达到了我也可以蒙蔽自己就继续往前走但我后来就发现我蒙蔽不了自己骗不了自己嗯对 [01:40:40] 是哪一年发现的我觉得可能从博士最后的两年吧就会有这样的感觉但是那时候确实也没有想好没有想清楚如果不做这个该去做什么那可能就花一些时间去了去了解一些不一样的方向比如说一开始我可能更多的是去是去了解是量子计算或者量子信息这样的方向然后拿了postdoc offer 就是博后的offer之后感觉这个事更紧急了因为在学校里的时候你还可以一个学生的心态离开学校之后就是自己的career（事业）你得给自己找一条路那当时就是觉得可能量子计算和AI是两条我觉得给年轻人给小登机会比较多的所以你博士后的方向是啥博后没有方向博后其实就是理论物理这个方向 [01:41:40] 博后是一个很独立的职位就是你自己想干啥干啥对它更多的是从某种意义上说有点像搞慈善啊啊谁搞慈善啊嘿嘿就是有一些可能不管是在意科研的国家组织还是个人组织它会给学校捐一笔钱或者给学校批一笔钱啊学校用这笔钱来招一些博士后再一个系里面就做研究然后把自己的研究广泛的告诉系里的别的人觉得它更多的是一种一种社会氛围的这种这种工作对然后所以其实没什么限制就是你其实想干什么就干什么但是我其实也没做多长时间的博后我实际可能到伯克利待了两三个月但官方来说就只待了两个星期官方来说是什么意思就是我我其实在入职之前已经去那了因为我反正人就在湾区嘛我在入职之前就去了但是我入职之后其实只待了两个星期就辞职了这两个星期发生了什么这两星期啥也没发生 [01:42:40] 我本来都不准备入职的但是伯克利人就是太好就是嗯没事就是等事情定了再说能来多久就得来多久哦你告诉他们你其实在跟Anthropic谈对我告诉他们其实我觉得我可能会去做AI了我要不就别入职了嗯但是伯克利不是不止伯克利我觉得就是湾区这两个学校的老师都人很好就他很照顾你他就觉得你还没有完全谈定那还是先把现在的工作先拿着你觉得物理对你后来做AI 有什么帮助吗我觉得硬实力上其实没什么帮助就是纯工具性的技能上来说其实从物理到AI的的转化是非常非常少的但是我觉得可能非要问的话我觉得可能主要的主要的不不能说能力吧就是性格吧可能是可能做物理人会更想刨根问底更想理解一个事儿 [01:43:40] 然后更想做事很系统因为我们习惯了这种很系统性的不管是做实验的方式还是做理论的方式所以我觉得这个可能是一个比较好的地方但是我也不觉得这个事是做物理人独特的就是为什么做计算机的人没有这个特性呢我觉得我认识很多做计算机的人也有这个特性那很多学化学的人也有这个特性学生物也有这个特性所以我也不觉得它是做物理独特的对但事实上就是可能比较有趣就是这个领域里面确实有很多尤其就是语言模型这种比较就large scale（大规模）的这种AI 确实有很多物理出身的人然后做的很成功对尤其Anthropic这个公司很多人在描述这一代AI的时候都会说是黑盒你能用科学的角度来理解一下这个黑盒吗就人工智能的运作原理我觉得这世界上所有东西都是黑盒就是哪怕像物理这种大家觉得很理解的东西 [01:44:41] 其实也并不是真的有一个从它微观的行为一路演化到了宏观体现的这种理解像不管是刚才说的量子力学还是量子场论其实都是描述那个能标下的行为本质上这个系统还是一个黑盒你还是不知道它最微观的地方是什么样的动力学 AI也是一样就是黑盒不黑盒其实都是一个相对的事我们确实对语言模型没有理解到神经科学手术刀级别就不是说我理解这个行为能理解到说这个行为是由于哪一个neuron 哪一个人工神经元的哪一个激发产生的这个行为不会有这个没有到这个层面理解除非就是在一些很稀疏很小的这个网络里面就是像Anthropic 有这个所谓的Interpretability 就可解释性团队他们可能会做一些类似的工作但是在实际能够使用的语言模型里都没有达到这样的理解但是也不代表我完全没有理解比如说Scaling Law 它就是一个描述了那个尺度下模型 [01:45:41] 随着模型大小和数据是怎么在perplexity 就是这个指标下变得越来越好嗯所以你说是完全没有理解吗那如果说 Scaling Law 不算是理解的一个小部分的话那是不是我们也说我们其实对这个世界也完全不理解这个世界也是一个完全黑盒所以Scaling Law是一种科学规律它是一种经验规律经验规律对但是呢经验规律和科学规律它之间的界限是很模糊的比如说我们回头去看这种热力学的各种不一样的定律第一定律第二定律什么克拉伯龙方程乱七八糟这些东西在当年被发现的时候也都是经验规律但是只是说后来哎随着时间的发展我们慢慢知道了它的微观机制那它可能变成了一个科学规律对我觉得可能像Scaling Law 或者类似的这样的东西它目前肯定还是很惊艳 [01:46:41] 但是未来当技术它变得比较固定然后大家开始越来越多的理解它微观的过程的时候会不会变成一个科学规律如果这个定义是存在的话我觉得是有可能的能不能用科学的表达来解释一下所谓的智能涌现首先这个话就不太科学所以自然也没有办法用科学的话来表达一个不科学的事智能涌现吗就是我觉得智能涌现对我来说它更多的是一种主观的感觉而不是一种客观现象就是当很多人说智能涌现的时候他脑子里想的可能是以前的语言模型只能做某一个方向的事儿比如只能翻译只能做分析只能做什么但现在模型好像哎可以做所有的事儿但是这个事儿 again我觉得像是对我来说它更多的是一个技术上的涌现而不是一个行为上的涌现 [01:47:43] 说是我们通过研究发现了该怎么去做这种大规模的的训练然后能够水平的提升所有能力我觉得这个是一个更本质的事儿至于智能涌现这个事儿其实我觉得嗯每个人可能心里的定义都不太一样对你的定义是对我来说就是没定义呵呵呵对我来说这个唯一质的区别就是有没有发生一个技术上的改变使得我们可以做scale up 可以水平的提升所有的能力这个对我来说是一个良好定义的事你最后是在量子计算和AI之间选择了AI 这个是怎么发生的变化对我觉得还是花了一些时间去了解两个方向的瓶颈在哪我觉得好处是他们都给年轻人机会好处是都有机会但是量子计算对你来说好像是离你的主线更近一些在那个时候对不对哎这就是为什么要去了解一下细节 [01:48:44] 因为了解细节之后发现不是的是反过来的因为量子力学哦不是量子力学就是量子计算我觉得它现在的主要瓶颈其实在实验上并不是你怎么去设计那些算法或者设计那些算子更多的是你怎么在实验上实现它那个事反而是我不擅长反而是和我过去很多我有兴趣的事其实是比较不相关的然后反而跟我相关的事儿是更多像AI 就刚才说的就是更多的是你有一个想法然后你可以用一些数值去验证这个数值在AI里面可能就是训练一个模型或者怎么样对然后这个反而和做物理很像啊它甚至是就是为什么我之前一直爱把这个和18世纪的这个物理学做比较就是它对更像那个时代的物理就是那个时代就理论和实验不分家没有什么理论物理学家实验物理学家你就是搞物理就是搞物理的你自己可以做实验然后也可以做理论推测我觉得AI就有点像那个时代所以其实 [01:49:45] 从理论物理跨越到实验物理的距离比你直接跨到AI要远要远嗯其实要远而且从兴趣上来说也更远你不喜欢实验物理（我觉得）你不喜欢做实验我觉得嗯确实不是我的兴趣所在嗯虽然我不自己不愿意做但是我确实很有兴趣知道别人的实验做的怎么样哈哈哈哈哈 AI不用做实验吗用但是它是更多是像数值对它不太像那个就是你实验室去搭一个光学平台然后什么你还要我觉得实验真的是一个就可能因为是我不懂我没有达到那个境界所以我有些事在我看来挺玄妙的比如说其实大家都知道这个光学平台怎么搭但有的人就能给你搭出来有的人就是耗了6年都没搭出来这个是动手能力我就是没搞明白呀哈哈哈哈哈我有时候觉得这事有点玄妙 [01:50:45] 哦嗯所以还是数值数值是要清晰很多对对对对我来说做数值实验或者像AI 就是训练模型啊然后研究各种不一样的技巧来看某某些细节这件事对我来说反而是嗯是我能想明白它为什么要这么干嗯但是在搭台子这个事上我就是一头雾水你做过是吧我当然就是大家可能都做过基本的就读物理的人肯定都做过基本的实验培训但是更多的就是有很多做实验的朋友然后不管去看他们的实验室然后看他们怎么做实验的还是跟他们聊这些怎么设计实验我就感觉很多事我其实不太能够理解但是他们确实有的人就是做的好有的人做的就是不好所以你说现在从事AI研究像17世纪从事热力学研究其实在表达虽然大家没有办法很清晰的从科学上去解释和理解这个事情但是并不会阻止它发展 [01:51:47] 对就是它更像是在为什么比较那个时代热力学就是那个时代大家其实不理解什么是热的微观理论就大家不知道热是什么东西就像现在不能理解对就像现在大家不能理解这个language model（语言模型）里面哪一个矩阵元是在干什么其实大家也不理解但是不妨碍你有一些好的经验定律比如热力学的各种定律和现在的各种Scaling Law啊所以说从这个角度来说是就从这个从这个方向的角度来说是这个层面上来说它是类似然后从研究人员的角度来说就是刚才说的另外一个问题就是它理论和实验其实不太分家那你是怎么去面试Anthropic的你这个Anthropic的历程是怎么展开的我觉得其实主要还是因为有前同事在Anthropic 哈哈对前同事就是Anthropic [01:52:47] 其实有很多做做物理出身尤其是做理论物理出身的人为什么呀他们从人的选择上为什么会选择这一波人我觉得当然就是很多嗯很多人可能会找一些原因说哎做物理人擅长这个或者擅长那个但是就我个人的视角来看我觉得主要的原因还是connection 就是联系就是因为Anthropic的创始团队里面其实有当时有三四个比较比较技术的人然后其中有两个现在还很在技术一线领导的人他们俩都是做物理出身的然后他们可能招的一些人也是做物理出身的所以就这样一直延续下来但其实到现在这个阶段就在我之后其实也几乎没怎么再招完全没有AI背景的人了啊对所以说也是一个我觉得也是一个时代的产物对然后我反正是当时我决定去做AI了所以我就试图去联系一些地方然后 [01:53:47] 你只找了 Anthropic吗没有我还找了OpenAI和GDM 就Google DeepMind 但Google DeepMind 因为它那时候速度太慢了哈哈哈所以就没就没有最后没有出现在考虑的范围内但是速度太慢了是指他们面试的速度慢哦但是后来显然后来 Gemini这个事就获得了长足的提升后来动手就非常快哈哈对然后Anthropic 就是反正 OpenAI呢 OpenAI也联系了但是OpenAI 可能没有找到特别合适的事和人然后Anthropic是因为我当时联系了后来就是我的第一任那个manager 我第一任经理然后他以前也是做这个理论物理的然后他当时就说我们在尝试做强化学习尝试做这种大大规模强化学习有很多科学问题要去理解那个时候24年八九月的时候那个时候 [01:54:47] 其实强化学习还没有像现在这么成熟那时候大多数人其实都不太知道怎么做因为o1其实还没发布呢那时候o1只是对对对对就是只是大家都知道有但是大家都还没看到结果但Anthropic当时其实不知道怎么做的当时是大体上知道但是有很多细节需要仔细去研究所以他就跟我说哎有这么一个事你要不要来面试一下然后我觉得哎可能是一个好的机会你当时怎么认知强化学习啊没认知哈哈哈你大概知道pre-train post-train对对对我大概知道这个流程但我其实不太知道具体的这种工业级别的语言模型是怎么训练的嗯只能知道就是像学术界是怎么训练的对然后所以其实现在谈那时候的认知在我现在看来就是没有认知对然后嗯更多的还是我当时觉得这个事是一个不确定的事 [01:55:50] 然后是一个好的机会所以我就去干了嗯当然也有些面试的准备和面试过程对怎么准备的聊啥我当时跟谁面 Anthropic后来我的一些同事当时面的然后面试题也不太难反正哈哈哈对但是对我来说我当时也不知道怎么准备我就去把我能找到的那些课自己能学的学了一遍然后能做的作业做了一遍然后自己手搓了一套就是那个Andrej Karpathy 他有一个著名的那个项目叫好像叫nanoGPT还是叫什么反正就是他有一个可以在一个Google这个Colab Notebook里面就能训练一个很小的GPT模型然后我就手搓了一下那个然后就去面了对然后很快拿到了offer 然后就对然后就拿到offer 然后你第一个方向就是大规模的强化学习也当时其实是有两个组来两个组的manager啊来跟我聊 [01:56:50] 一个是做evaluation 就是模型评测然后另外一个是做强化学习我是选择了强化学习你当时选择强化学习是因为它更加的不明朗对嗯嗯然后那时候其实Anthropic也不像现在是一个大公司了那时候公司其实也很小多少人我去的时候我们的那个大的team才只有10个人左右或者10个人或者11个人大team叫什么叫Horizon 对然后那个时候那个大team 也就是这个大team的平行team 有什么那个大team其实后来几乎就是强化学习的方方面面都在这个team了对但那时候那他的整个大组就是一个强化学习整个大组首先这个创业公司你也很难说这个组的目标是什么因为他可能曾经也有过很多不一样的目标但只是那个阶段可能主要的目标是做强化学习对然后当然底下也有做更数据的组 [01:57:53] 更做环境和infra和基础设施的组也有更做这种research和算法的组然后我去的那个组是比较偏research和算法的组嗯那时候Anthropic多少人啊那个时候可能七八百的样子吧总共但是整个的公司七八百对你一进去对这家公司印象是什么呢我觉得我觉得我对Anthropic的印象其实还是挺挺consistent（一致）的就是我觉得进去之后这家公司的印象就是执行力非常强就是它它其实是一个比较top down（自上而下）的公司对然后所以很多事情决定了之后就会全力去做然后公司其实员工之间的的氛围也很好就大家都不会藏着掖着然后尤其刚去时候很小嘛 [01:58:54] 所以就是大家也都认识所以就氛围很好然后我觉得如果是做只是做语言模型相关的事的话其实现在回头来看那是一个非常非常好的学习机会就是你能够接触到这个模型训练的方方面面然后都能找到对应的人去问那个时候的Anthropic已经有了现在我们都知道他那个非常坚定的bet了吗有的有的这个bet来自于哪里为什么会有这个bet 我不知道它完全的来源在哪我自己能看到的一个显然的来源就是前一代模型 Claude 3放了之后 Twitter上那时候可能还没叫x呢 Twitter上有很多人在讨论说那个Claude 3好像写code比GPT-4强啊那个年代 [01:59:54] GPT-4还是一个和大家gap很大的模型所以能有一件重要的事比GPT-4强就很厉害了所以是试出来的我觉得至少是其中一个原因就是是很快的对这个市场做了反馈对这也是我觉得这公司很强的一点就是它execution执行力非常非常强一旦给它一个信号让它觉得是很reasonable（合理的）这公司该做的事那就会铺上去它没有那些大组织那种冗余为什么它的coding定会比GPT-4要好不能说哈哈哈哦是有原因的是有原因是有原因的对但是个随机的原因不是我这么选择所以有了这个结果的原因是一个纯技术原因但是确实我不我不能确定一开始是随机试着的还是故意选择的你要让我猜我肯定会觉得是随机试着的哦纯技术的原因 [02:00:54] 是有某个人做了某个事情是确实有某一个团队做了某个事情是自上而下的还是自下而上的我觉得最开始可能是自下而上的但是后来就变成了一个自上而下的事就是要快速捕捉到一些市场对就内部和市场的信号对对我觉得这个是要赶快要扑上去对对我觉得这Anthropic是非常非常强的一点它非常非常的reactive 反应非常快它执行力来自于哪里来自于Dario这个人来自于他的某种特质我感觉就是嗯Anthropic 作为一个公司来说它能够实行这种就是比较top down的机制是一个很独特的事为什么呀因为实行top down其实有有一个很难的点就是你做技术的决策人必须也得是公司本身的决策人嗯首先就是你技术上得能服众 [02:01:54] 那下面的研究员才会你才能够就是信服下面的研究员去做这个事另一方面就是你得是公司的决策人你得能为这个公司负这个责任那Anthropic有这个条件就是说它的技术上的leader的领导人其实是公司的cofounder 是你指的是谁不是Dario Amodei 就是像 Jared Kaplan 和Sam McCandlish啊然后像他们俩就是公司cofounder 嗯他们自己做这个决定那是人家的公司所以他有权利做这个top down的事那Dario作为CEO 他会say yes和no吗我不知道他们决策层的讨论里面哈哈哈OK Dario起到了什么样的作用我只能说就技术leader是有决定权的我只能说对我当时的工作来说我接触的最多的就是Jared 可是这对于其他模型公司很难吗很难比如说OpenAI就干不了 [02:02:54] <b>‌Ilya‌在的时候难道不行吗 <b>‌Ilya‌在的时候有可能可以但是‌Ilya‌后来一方面嗯我也不知道因为什么原因他好像就是失去了这个做决策的能力然后他就走了所以就其他公司呢其他公司我觉得都比较难就是Gemini也比较难但是我觉得Gemini就是另外一套打法不太一样就是说嗯我觉得就是大公司和startup 它打法本来就不一样因为startup重要的是make bet 就是我得我得赌一件事我如果想要赌就意味着有风险所以就意味着我能够去很快的做一些决策然后很强力的推进一些决策嗯那可能在这种情况下 top down我觉得是一个很有优势的事所以我觉得Anthropic从组织上来说是比OpenAI更有优势但是作为大公司来说它可能就是另外一套想法因为大公司的想法可能是我不仅能尽量减少做赌的成分 [02:03:55] 而是我能在方方面面都有储备然后任何一个事成了我都能跟上然后如果有事我自己做成了我可能还能领先这可能大公司的心态所以说在Gemini Google是一个很传统的就很bottom up的组织就是公司层面可能有一些比较良好定义的框架来看你的工作是好是坏来引导你做一些公司需要的事儿但是本质上还是你自己来决定自己做什么所以你觉得Anthropic能make bets（指对coding下很重的赌注）是因为它的独特的文化组织和文化对这个听起来其实应该是其他公司也能做的但是却非常奇怪的发现其他公司很难做而Anthropic可以做到对我觉得还是需要技术的或者公司的leader有公信力吧这个其实挺难的我觉得你说的还不是CEO有公信力是技术的1号位有公信力对对我来说我觉得技术的1号位有公信力很重要 [02:04:57] 但是与此同时 CEO可能没有成为一个阻力对这个难吗啊这个我觉得就得看你这个这个cofounding的这个team 有没有足够的互相信任嗯这个也很关键我觉得Anthropic这点也是在startup里很强的就是他cofounding team 没有一个人离开公司他们如果你看他们过去那是一群真正一起打过仗的人就过去他们源自于他们都是以前OpenAI的员工嗯对然后他们甚至好多人都是就是在一系列关键的文章上的合著者因为你像 Scaling Law这个paper 是Jared Kaplan然后Sam 然后当然还有Dario 然后还有一些可能Tom Brown也在吧我不太记得Tom Brown在不在然后GPT-3的paper就是Tom Brown在然后Benjamin Mann在然后Jared Kaplan和Sam也都在 Dario也都在所以他们是一块趴过战壕的人 [02:05:58] 我觉得互相之间的信任还是很关键嗯有很多公司可能就是干着干着连这个小集体都团结不住了那你怎么能指望这个大公司能团结住呢你在说OpenAI是吧嗯哈哈哈你加入Anthropic 公司正在做的最重要的项目是什么你参与到那个大项目里面了吗对就当时做就是为了做大能做大尺度的强化学习然后能够用它来提高coding的能力这个就是当时最重要的事嗯然后我们当时做这个这个组当时的研究重心就是这个事这也是这个组为什么后来就慢慢变大然后变得越来越重要的原因然后最终带来的结果就是就是大家一块train了这个3.7 Claude 3.7这个模型哎你说内部叫有一个3.6 这个是不是内部叫就是外界的 Claude 3.5其实有两个版本一个可能是6月的版本另外一个10月版本然后呢 [02:06:58] 你也可以看出啊 Anthropic这个公司曾经也是没啥产品能力的居然管两个模型叫一个名字哈哈哈哈哈所以后来外面人为了区分管那个3.5后面那个版本叫3.6 所以Anthropic跟随着外面的这个习惯就叫3.6了管这个再新的模型叫做了3.7啊所以就是你去看实际的这个公司的产品时间线其实是3.5 3.5new 3.7 怎么会有一个3.5new 这个是怎么想的你这哈哈我只能说那个时候的Anthropic 可能真的是没有什么产品上的想法所以你第一个项目是3.7还是3.5 3.7 3.7 还是3.5new 3.5new 其实我没参与几乎没参与但是3.5new 就已经看到了coding的迹象是吗你刚才刚开始的时候 3.5new的时候已经看出 Anthropic的模型在agentic coding会比别的模型强了这个是为什么不能说哈哈哈哈哈 [02:08:01] 所以你进去的时候刚刚好就是他们知道了这件事情就是管理层也知道了这个迹象对然后他们要make bets的时候你这个运气很好啊我觉得我觉得对我觉得我进去的时候是大家肯定已经看到了这个事儿能做成且重要但是不太清楚怎么去把它做成然后我去的时候是跟大家一起去研究怎么把它做成对所以方法是大尺度的强化学习对这是从大的角度来说是但是当然就是有很多技术细节是需要去研究的这里面有什么knowhow啊哈哈哈有好多NDA（保密协议）的内容呢哈哈哈 NDA会写的这么详细的吗其实原则上来说原则上来说员工是不能在在职期间和离职之后透露任何跟公司内部相关的信息的当然实际上来说就是大家可能心里都有一个度就是说如果这个技术没有公开的话肯定是不会公开去谈的 [02:09:01] 但是我觉得虽然我不能公开去谈但是我觉得把简单的事儿做的比谁都干净是最关键的什么叫干净啊你刚才也用过这个词对就是就是我觉得有很多花里胡哨的技巧比如说做强化学习最简单的algorithm（算法）就是Policy Gradient（策略梯度）但是不代表这是唯一的algorithm 它还有别的算法比如说各种复杂的这种搜索算法之类的东西但是是不是这些复杂性是必须的然后这些复杂性可能给你带来了一些efficiency 也就是效率上的提升但它可能给你带来一些比如说基建infra上的困难那你怎么去trade off（权衡）这些事这些事其实做研究需要去理解的就是怎么去balance这种不同的因素然后选择最好的那条最稳定的那条路对然后我觉得很多的knowhow [02:10:02] 其实都是在这些这些细节怎么去处理这方方面面细节对那那个时候怎么来描述coding很重要呢我觉得它认为是大语言模型的一个分支一个重要的分支还是什么呢我觉得每个人可能想法不一样对我来说它重要的原因有二一个原因就是一个原因呢是Anthropic一直在讲的事就是说coding本身也是做语言模型研究的一部分如果你能够把coding做得很好那可能会让你的研究效率有翻倍的提升嗯就是形成一个研究上的飞轮了这是一方面原因对我来说另一方面原因是因为coding其实是模型使用工具和环境交互的一个很好的抽象首先这个抽象刚刚已经说过就是这个抽象的好处在哪比如说这个回归信号清晰然后数据充分然后其实你是很难在别的场景下找到 [02:11:02] 能同时有这两个特质的使用工具场景所以对我来说这是一个好抽象在这里面做的一些研究可能是对更通用的那些使用工具和环境交互的能力的一些有用的有用的lesson有用的课那时候Cursor是什么状态啊那时候Cursor还是一个纯产品公司我觉得从某种意义上来说好像在我去Anthropic 这个之前的那段时间里 Claude和Cursor都属于比较underdog的状态然后somehow在3.5new就是3.6 外界的3.6这一代的时候首先是这个模型能力上去了然后Cursor又发现这个模型真的能够做这种Agentic coding的工具了它就是一个壳对但是这个壳包着这个模型一下子让公众体会到了不是公众 [02:12:02] 公众是指就是软件工程那个圈子当时嗯体会到了哎这事好像是真的是效率工具了所以后来就是这个一下就起来了所以那时候 Anthropic就意识到 Cursor是未来的竞争对手那就不知道了该问Dario哈哈哈哈哈好 3.7是怎么做出来的这个是一个分水岭对于Anthropic来说是一个分水岭式的模型我觉得对于Anthropic的后训练来说是一个分水岭就是在3.7之前后训练都是处于一个比较嗯比较小规模然后可能就是修修补补模型的这种一个状态大家不重视后训练是吗也不是不重视就是一开始大家其实很长时间大家都没有搞明白后训练该怎么scale up 哦但是在那个阶段不管是OpenAI还是Anthropic 还是包括像中国的DeepSeek对他意识到了这个事该怎么去scale up 然后该怎么scale up 就是你得找到合适的环境这个环境它的回馈信号足够的清晰 [02:13:04] 这个环境本身也是一个很强的数据源然后在这个上面其实能让这个训练非常稳定这事就能做成对我记得那个时候其实大家都不知道 OpenAI的保密项目是什么就知道它叫草莓叫Strawberry 然后嗯大家觉得会带来一个新的范式新的范式就是后训练强化学习但是更多的就不知道了对其实我觉得我去Anthropic的时候大家已经比较清楚这个事该大概该怎么做就是大概的这个方向是怎么做然后当然后来就是后来随着我对这个领域知道越来越多之后我就发现其实那个时刻其实OpenAI做的方式和Anthropic其实还是差别挺大的怎么说啊就具体这种算法和使用数据的方式其实是不太一样的虽然都叫后训练和强化学习 [02:14:05] 嗯虽然都叫这个但是当然就是我觉得那些不是不是本质区别就是大的方向来说它们是同一个就是找了一些找一些这种很回归信号非常清楚非常客观然后数据本身又比较干净然后对模型来说是可学习的然后在上面做稳定的强化学习训练大的方向来说都是这个方向但具体实现其实是差别比较大但后来事实也证明就是具体实现其实每家方向都不一样但是都能做成嗯而且当时OpenAI的目标也不是coding 当时我了解到的叙事是说预训练作为第一个范式已经金矿快挖完了所以我们现在开启第二个金矿就是后训练和强化学习然后来让Scaling Law继续对我觉得很长时间 OpenAI都是这个这个想法我不知道他们现在想法有没有变我觉得对我来说我的想法经历过摇摆在3.7那个时代我其实觉得我我当时也抱着这个预训练已经快 [02:15:08] party is over（狂欢结束了）这种感觉然后就在你要入职的时候是吧就我刚入职然后当时在做这种3.7相关的这种实验的时候我当时也曾经抱过这个想法但是后来随着了解越来越深入我就觉得发现其实还有做的空间的啊然后嗯预训练Scaling Law这个事它也不是告诉你要一直变大啊它其实本质上是一个很系统的框架能够告诉你做什么样的事是更有效的对嗯然后所以后来就发现其实还有很多做事事实情况是后来Anthropic 和Gemini的预训练也一直在不断的进展 OpenAI自己卡了很久哈哈哈它现在又重视预训练了吗它应该已经重视预训练挺久了就是最近可能刚刚有点进展所以预训练和后训练作为两个范式 [02:16:11] 都没有达到它的平台期我觉得都没有但是你说要去预测到了多少这个做不到对就我觉得我觉得到达平台期有有两种两种可能性一种可能性是技术本身到达了就是你明明还有想让模型要干的事但是这俩技术就死活教不会了另一种可能性是你想干的事到平台期了我觉得现在就是后者啊就是我们现在知道了哦有一个Chatbot 你可以教它干这个然后又有一个coding 你可以教它干这个后面就不知道了对就不知道该教点它啥好就是说这模型还是一个非常聪明的小孩对你其实可以教它很多东西对但是我们人类作为老师现在还不知道下一个东西该教什么对对或者说该怎么去合理的教它用现在的这些范式说到3.7 还有什knowhow 这是几个月做出来的 [02:17:11] 这个最后林林总总从开始训练到发布可能花了四五个月的样子吧对就是从你刚进去就是从开始大家为了这个事做研究那可能花了两三个月然后后来开始训练到训练结束中间磕磕绊绊很多事情要处理啊然后有很多新的基础设施其实基础设施真的是很重要很花时间然后又可能花了可能两个月这样子你在其中做的重要的工作是什么我觉得我也没什么重要的哈哈哈哈我觉得我对我个人的贡献我觉得我个人对任何一个模型的贡献我的陈述都是我觉得我自己对那个事没那么重要我觉得我更多的是我很幸运有机会在那个时候加入了一个重要的项目做了一些事嗯因为从某种意义上来说我觉得AI在现在最近这几年 [02:18:14] 这个事本身是一个不可阻挡的事它不在于你这个人去干或者不干你不干也有别人一样能干出来的啊所以我觉得在这个时代其实所有给个人贴金的事其实都有点炒作的嫌疑但是确实我觉得对我来说我是很幸运能在那个阶段加入一个重要的事然后哎学习了一些知识好的那你在幸运的在那个阶段在Anthropic 这家公司的大尺度强化学习的这个团队里做了什么我觉得3.7那个时候可能主要做的还是就是在做这个Agentic coding这件事儿这件事儿怎么把它scale up 或者怎么去准备就是怎么去制备各种各样的环境和data 包括算法上会遇到什么样的问题当时主要的研究都在这部分这里面有什么tips吗现在来看没啥特别有用的tips了哈哈哈我觉得 [02:19:15] 说到说技术的tips 其实这个事儿是一个大家很一方面很愿意听公司又不让你说但实际又没啥用的事儿为什么因为很多算法设计其实并不独立独立于算法它是非常强的依赖于你的基础设施举个简单例子就是有些公司它可能就大家经常讨论一个问题就是说在强化学习时候这个sample（采样）就是给你产生这些这些trace（轨迹）这些token(词元)的那个机器和trainer(训练器) 用来实际训练这个模型然后改变这模型权重的这个机器这两个机器可能会有不一样但是不一样有一些原因是因为数值上的不一样有些原因是因为使用了这种异步的训练架构所以说它自然就是从根本上来说就不一样那你不同公司可能这个不一样程度是不一样所以你算法的设计也会不一样有些公司它可能这两个difference 这两个区别非常非常大那你算法可能最大的部分就是在于 [02:20:16] 怎么控制这个然后怎么让这个训练稳定对于训练的这个实际的效果啊之类的权重就会稍微小一点但有可能有的公司它的基础设施建设就特别特别好这两个差别没那么大那你可能就可以花更多精力在这个训练的效果上所以说很多这种小的tips是其实是没有什么用的就很多knowhow其实是没什么用的我是因为我确实也发现了就是很多别的lab就不是在这三家lab里的人可能很想知道哎 Anthropic怎么做这个或者Gemini怎么做那个但其实我有时候不愿意回答一个主要原因是因为我觉得本质上我回答这个问题也是在误导他就是现代的AI训练是一个大的系统你其实要了解这个系统的方方面面才能有一个全局的认识什么事是因为什么而变得有用了而不是说这个事本身有用从3.7到4.5又发生什么呢 [02:21:17] 这个预训练和后训练都有对然后嗯当然就是一个就是scale up上做的更多了然后data 不管是data还是训练的这个算力都更大的尺度了但是我觉得从范式上来说就没有没有特别特别大的改变到你离开Anthropic时候他已经多少人了接近2000人了吧扩了一倍多啊嗯所以你在Anthropic时期刚好是他就最剧烈转变的一个时期啊我可能就是踩在了它还是个小公司的尾巴啊其实我觉得进去之后过了可能三四个月这个公司就已经开始哎就人一下就变多了文化有变化吗还是经历一些比较混沌的阶段吧然后尤其可能就是在我离开的那段快离开那段时间我觉得文化上还是经历了一些一些混沌 [02:22:17] 因为从外面啊来了一些人可能跟本来的文化有些冲突哦之前的文化是我觉得之前就是比较简单对就很简单就是它更像是一个小作坊大家都是朋友然后大家都知道对方在干嘛然后也没有人特别特别会就是做过多的这种个人宣传啊还是怎么就是做一些没有用的事也没有人做没有用的事大家都是有很多事要处理然后公司那时候可能紧迫感也更强一些吧然后后来可能就觉得这样人多了嘛这样的文化肯定会受到一些冲击带来了什么风气啊我觉得确实有一些人我个人不是很喜欢当然不代表他们真的不好就说我个人不是很喜欢就是可能我不太喜欢在这个领域里面说很多话的人就是那个我觉得idea is cheap [02:23:19] 想法是便宜的很多想法其实很显然所有人都知道难的是怎么把实现怎么把它变成一个一个小的可实现的步骤把它做出来我觉得我不太喜欢那些一天中很多时间花在在Slack就是Slack 是美国用的一个办公的这种软件然后在Slack上花很多时间在那讲一些大道理我觉得就是没啥用哈哈哈你后来为什么突然离职了你是完成了什么阶段性的工作吗当时酝酿了多久当时我觉得可能酝酿了一两个月一个多月吧一个月多一点好快对对我觉得一个方面是嗯就是是我其实不是太特别认同Dario反华这个事啊我觉得他作为一个公司的CEO来说 [02:24:19] 对他个人来说他做什么样的观点我觉得都无所谓但是作为一个公司的CEO来说我觉得把这个观点推到这么极端的地步是一个非常情绪化的体现对然后这是一个比较小的原因但大的方面有很多公司像刚才说的公司的文化上有些冲击啊然后包括我自己可能也想去学些不一样的事情就说Anthropic 它毕竟非常的专注然后你可能做如果你很想做和语言模型相关的方方面面然后做这种使用工具啊这种Agentic 然后coding这种事那在Anthropic其实很好能学到很多东西但是Anthropic有很多不做的事比如说Anthropic完全没有人做这种多模态生成你想学没地儿学然后Anthropic可能也没有花太多的精力在这种更底层的工程的基础设施上对所以可能想要学习更多的东西也是我当时离开的一个动力 [02:25:19] 反华占百分之多少比例因为Dario的个人原因我在公开场合说40% 但是这个数字反正就是听听就好这个数字就是告诉你它不是主要原因但它确实是一个很大的原因就没有控股不是个控股原因对不是个控股原因但是是一个majority holder（多数持股人）的原因你这个选择也很神奇因为大多数人在一个它还是一个underdog的时候加入会更有感情会愿意陪公司走更长时间但你反而跳去了Google 因为很多研究员一进Google 他会觉得Google给的scope（管理范围）不够嗯所以他会反而想跳去像xAI 或者Anthropic这样的更小一点的组织你这个行动好像也是反的对我觉得其实取决于你自己想要的是什么如果你很想要的是我有一个很明确的像你说的很明确的scope [02:26:19] 然后这个事和我的最后产品的模型息息相关我一定要把我其中的一个想法送到这个模型里去那可能Google是一个很差的地方因为毕竟有那么多的研究员有那么多已经成熟的组织做这件事情是有很复杂的这个过程但是我觉得Gemini很如果你想要的是你有研究的自由有探索的自由然后想去能从更广泛的人类学习我觉得这个世界上可能找不到第二个比Gemini更强的地方所以所以就是我觉得本质上还是取决你要自己想要什么但是我觉得很多人离职不管从哪离职换到另外一家之后可能会觉得不开心的主要原因是因为没想明白自己想要什么比如说你要是到了Google 但是跟我说你刚开始想的是我有要有研究自由然后更多的动机是学习 [02:27:20] 然后你去了之后发现还是想要有产品impact（影响力）那你可能就会很难受哈哈你不追求impact吗你在你也个说这个现在这个AI是一个非常大的系统然后是一个很大量的人协作的一个东西你在里面追求什么我觉得分阶段就是我觉得在Anthropic 经历了太多这个和产品息息相关的事之后我可能也想给自己换个脑子去学习一些不一样的东西但是你说有没有哪一天我可能又换回这个脑子又想去产生一些产品的影响力也是有可能的产品影响力怎么量化这个内部都很清晰是吗不好量化就是我觉得因为发论文的时候还是有一作这种作者主导作者现在呢嗯其实没有办法量化实际情况就是没有办法量化这也是为什么我觉得在这个时代其实谈每一个人个体的影响 [02:28:20] 是一个很很虚无缥缈的事情觉得本质上还是这个组织做了这样一件事或者这个世界需要这样所以产生产品impact是个主观感受在模型侧至少是这样的在模型侧至少是这样对然后当然实际上你可以我觉得可以细节谈的是说你自己做过哪些事情具体的技术的贡献然后在技术上产生的效果这个是可以客观的去谈论的但是比较主观的事是你说这个效果在最后的产品里占了多大的比重这个没有人能说清楚哦 3.7上你能描述一下吗你做的什么样的技术性的工作对模型是产生影响主要还是跟Agentic coding 的环境有关的工作然后也有一些算法上算法上主要是怎么让这个训练变得更更稳定说实话就是但是我觉得算法上肯定是有一些提升 [02:29:20] 但是也没有达到特别理想的效果说实话啊比之前的算法肯定是要好的对但是那个我觉得也不是我个人的贡献我觉得也是大家集体的贡献哈哈对我每次问你你都会说这是集体的贡献嗯不是一个个人英雄主义的时代对我觉得个人英雄主义时代对于language model来说可能过去了什么时候是啊就是在Transformer的那个时刻对就是在那个技术还没到scale up那个点之前那找到了那个技术的人可能是一个英雄或者找到那个技术的一个小团体可能是个英雄找到那个技术之后可能很长一段时间从模型侧来说都是我觉得更多的是集体主义就是这个集体能不能一起工作能不能为了一个目标一起花自己的时间花自己的精力这个是最最重要的事而不是每一个个人提供了什么样的东西说集体主义的原因是因为其实能力是来自于AI 是吗 [02:30:20] 说集体主义的原因是因为我觉得AI这个方向本质上是简单就是我觉得没有哪个除了可能跳变那一下那个idea可能是得有一些很深刻的洞见在之后的那个过程中很多想法其实是非常trivial（微不足道的）就是非常愚蠢的就是谁都能想谁都能干只是你运气好撞着这个机会去干了而已包括你在描述Anthropic 做coding好像它也是某种随机性但是你要抓住它对对但是就是我觉得做coding 可能还比做模型侧的这些技术上的东西可能还更稍微有点公司英雄主义就是说你能不能足够快的赌这件事嗯那确实还是一个Anthropic很强但如果今天没有Anthropic做可能别的公司也做了我觉得是的就是一个必然的事所以它都是AI在涌现能力只是看你能不能抓住那个能力不管是公司还是个体对对我觉得就是在这个可用的语言模型大尺度的语言模型出现之前 [02:31:21] 那个时候很多事情是一个非必然就是有没有一个人能够发明一个东西一个语言模型能够大尺度的做训练以及GPT这个范式能不能被发现出来那是有很多不确定性嗯但是你说比如那个时候你说如果没有Google Brain 那可能Transformer就不会被发现可能要过很多很多年才会另外一个有钱又有人的组织发现那可能就是一个很大的影响但是进入那个阶段之后尤其到现在已经反过来就是你任何一个组织想要停止AI进展是做不到的 Anthropic有就是Anthropic很担心AI安全那Anthropic有没有这个能力阻止AI发展它没有你阻止发展你停止发展别人会发展你的话语权还会变小对其实现在是其实更多是这种这样一种状态世界在推着我们前进而不是我们在推着这个世界前进感觉未来我们会更加难以阻止AI [02:32:22] 哈哈我觉得已经阻止不了就是我觉得试图去阻止AI里的一件事发生可能本身就不是一种正确的想法这也是就刚才聊到因为刚才聊到Anthropic嘛就说Anthropic其中一个很重要的动因是所谓AI安全我觉得它在AI安全这件事上就是它创立的时候动因对啊现在跟它有什么关系现在的关系比较复杂就是说一个自然的问题是大家可能会问一个做AI安全的公司为什么现在开始训前沿模型了 Anthropic的的解释是说我首先得拥有一个最前沿的模型我才有话语权来推进我的AI安全所以说它其实一直以来的想法是说我要做这个世界上最好的模型大家不得不听我的来推进我的安全政策 [02:33:22] 但其实从我个人角度来说我觉得这个想法是非常幼稚就这个事现在看来它是不会发现不会发生的更有可能发生就是大家都有很好的前沿模型而你没有办法阻止任何事发生可能对于这个事来说现在更多关注的更多该想的事是如果你真的想要避免AI AI带来一些危机什么才是一个更自动化的事举一个自动化例子就是比如说核武器就是那核武器也是一个可以大家觉得哎可能有毁灭世界力量的事但核武器最后最终受到控制的方法就是Multi party control 这个世界上大家有很多个有核武器的国家他们互相都有毁灭对方的能力所以通过这样一种制衡才稳定住我觉得你要阻止AI干一些不好的事可能最终是需要一种类似的机制来实现的而不是希望 [02:34:22] 寄希望说一家公司制定一个法律来干一件事嗯对而且它自己制定它也只能管得了自己嗯你刚刚也提到 Anthropic有个可解释性团队是吗这个它的可解释性到达哪一步了在一些比较简单比较稀松的的的神经网络里面它们能够做一些有趣的研究比如说哎看看某一个输出了或者输入的的文字或者图片它内在的表示是长成什么样的然后你可能把那个表示什么反一下之后它会能输出一个什么样的东西做一下这样的研究你刚才还提到一个观点就是AI本质是简单的你能不能描述一下这句话这是一个结论对我觉得这是这这甚至不是一个结论就是这是我的一个statement（陈述）是我的一个陈述它可对可错哦然后我对这个这是你的观点对我对这个我对这个陈述的的解释是 [02:35:24] 我觉得它本质上简单的点在于它能做实验就是它和比如说本质上难的东西比如说物理它的区别在于那个东西你没有那个能标下的实验数据你就是理解不了那个能标下的理论但是AI不被这个所bound（约束）你理解不了没关系我也可以往前发展而且就是我现在事实就是能够做任何我能想到的实验只是可能说我需要一些时间去把这个计算量提上来或者把这个基础设施准备好但是没有什么本质上的困难对所以我一直说就是觉得AI就是没有给人感觉它碰壁的原因就是首先很多东西你都能试其次现在不是说大家已经想空了脑袋没有什么想法可以试了更多的情况下是有太多的想法得一个个试花时间嗯 [02:36:24] 感觉人好渺小啊在这个实验面前是的所以说我觉得很快可能AI就会开始自己做实验了很快是多快 4个月内我觉得未来的6-12个月 AI就会自己做实验我觉得当然就是这话不太良好定义对不起我说了一个很模糊的话就是嗯 AI自己提高自己或者自己来加快自己的发展过程这件事其实已经在发生了对吧就像我们刚才最早的时候聊过就是它已经开始帮我们能够去实现一些我们想要的东西然后加快我们实验的速度但是我觉得未来六到十二个 sorry 它目前还做不到的事情是什么是说它能不能从头到尾的把一件AI研究的事做完就比如说它不仅能写这个code 它还能跑这个实验跑这个实验还能看到这个结果看到这个结果还能分析这个结果分析这个结果知道它哪儿做的不对然后提出新的假设设计新的代码 [02:37:25] 跑新的实验这条链条目前还没有完整但我觉得这条链条可能是下一步会慢慢变得完整的基于你的各种原因在你离开决定离开Anthropic那一刻你对这家公司未来的预期是什么呀我觉得我离开的时候我对这公司其实挺悲观的但后来显然是我过度悲观了呵呵呵为什么悲观我当时悲观的原因是因为我觉得我当时离开Anthropic的时候 Anthropic其实嗯主要的收入来源都是API 就是卖Token 然后这是个差生意是个差生意因为这个生意只有对一个公司是好生意就是Google 因为这个这个生意最后就是得打价格战就是eventually（最终）就是要打价格战打价格战你没有完整的这个链条是没有什么太多优势的啊但是后来Anthropic显然在产品方面就是 [02:38:28] 我觉得确实有是有很多巧思做了很多好的事儿不管像是Claude Code也变得越来越好用了然后Claude Cowork 然后和各种各样的这种和工作和效率相关的事情都慢慢汇聚起来了所以感觉它现在反而变得比我当时觉得你要问我OpenAI和Anthropic哪个会先死当然就不会真的死就是哪个会先变得没那么重要我当时会觉得哎可能是Anthropic会先变得没那么重要但是后来首先OpenAI被Google揍了一拳然后Anthropic自己又上道了所以现在看来好像Anthropic更占优势一些哈哈你后悔过没有嗯不太后悔我觉得对我个人来说我个人的动机还是想要去换一个地方提高自己我觉得对这件对于想做的这件事儿来说这个选择没有什么错误你也提到Anthropic的产品有很多巧思特别是今年像Cowork这些这个来自于哪里啊我觉得我没看到Cowork的发展过程 [02:39:29] 所以我不知道然后Claude Code 我觉得人产品还可能还真的是有一些个人英雄主义的机会是研究员还是产品经理 Boris Cherny 那个我觉得Claude Code的几乎至少这个事的开端吧是他自己想要做这个事提高自己或者同事的工作效率最后变成了一个对所有人都会很重要的事 Boris是一个什么样的人我跟他没有太多的个人接触我更多的只是看到他的工作在公司的时候他是个researcher是吧对但他主要是在产品那边所以Anthropic是有专门的产品部门的以前没有分的那么开后来有单独的对 Anthropic感觉是很懂AI的产品呢对我觉得我觉得这就是为什么刚才刚开始说的时候觉得这个产品经理可能还是目前挺难被AI取代的哈哈哈嗯好的产品经理哎他好像不是上一代那种产品经理 [02:40:31] 他不是那种feature的摆放啊什么的他好像是知道怎么跟AI协作的某种产品经理对我觉得上一代产品经理可能但也不全是上一代也有些就是交互交互方式级别的变化但每一次交互方式级别变化其实就带来一很大的产品比如说就是可能这个抖音就是一个交互方式级别改变的产品那它一下就带来了很大的嗯打开了新的方向然后我觉得可能Claude Code也是一个这样级别的产品 Claude Code和Cowork都是Boris 我不知道Cowork是谁做的 OK我已经离开了 I see 那说说你到了Google DeepMind以后的工作吧工作重心发生变化没有嗯还是发生了一些变化的然后我反正我自己主要在站外就是做ML coding 然后和一些比较long horizon的事就是这两事 [02:41:31] 其实刚才都都大概提了一嘴就是ML coding 其实它主要就是想要实现刚才说的这个完整的AI 自己训练自己的这个历程那当然这个过程当中有很多实际的问题有很多实际的细节要去解决就是我觉得大的方向上来说大家其实是比较有共识是该怎么去做但是还是回到细节就是细节上有很多要处理比如说怎么样去选取合适的data 怎么样去还选取合适的回馈信号以及它又带来新的基础设施的挑战然后现在就是要把这些事情要慢慢慢慢摸清楚然后像long horizon 就是刚才说的另外一件事就是说想要能够实现说这个模型能够在还是那句口号 train with finite but use as infinite 我觉得想要把这个训练的长度一直一直一直变长可能并不是单个这个训练的 [02:42:32] 这个语段的长度一直变长可能并不是一个很现实的方案但是很现实的事儿是你如何在有限的context下去做更长的工作其实你其实去想人其实就是这个样子人的context其实很短很短你现在问我昨天晚上吃什么我是一点也想不起来了啊你可能还能想起来哈哈哈我是一点也想不起来了因为什么因为它对我现在这个场景来说不关键对吧就是我现在知道昨天晚上吃什么又能怎么样所以我选择把它忘掉所以人本质上context是很短但他能够选择性的遗忘然后让他选择性的对去retrieve（检索）就是去把这些重要的跟当前场景相关的信息再抓回来所以说我觉得那个可能也是一个对我来说很有趣的这种方向这两件事其实是有点有点相关有点互补的为什么这两个事其实都在模型使用工具和和环境以及不同的模型不同的人交互的这个大的范畴内在这个范畴内大家就过去完成的那个节点 [02:43:32] 就是Agentic coding 就是又是工具又和环境环境就是这个虚拟机或者你自己的电脑里这个做交互然后这个事儿其实它横向就会长出不同的使用场景那做AI research 其实就是横向这个场景里的另外一个场景啊这个场景它其实不仅横向上是一个新场景它在纵向上也让这个这个事情的尺度变得更长因为你可能完成一个代码的补全之类是一个很快的事但你做一个完整的AI研究或者做一个这种计算机科学的研究那是一个很长的过程对所以说它其实就是像一个T字形一样就是横向有延展纵向也有延展 long horizon（长时序任务）是不是还是个科学问题啊嗯有科学问题也有工程问题我觉得它的科学问题更多的是 [02:44:32] 怎么把不同的方案尝试一下以更科学的方式尝试之后来找到一条最后我们要走的走的这个方案这个有哪些方式嗯我可能不能说太细的但粗的来说从有一些方案是从pre-train的角度从预训练角度来说有一些方案就是类似于这种稀疏的attention sparse attention（稀疏注意力机制）那这个比如DeepSeek也有一些工作然后学界也有很多工作然后从后训练的角度也有后训练的方案比如说像外界比如说你每天用什么Cursor这些他们就是很强的context management（上下文管理）管理这个context能力比如说它可以让这个模型去选择我把这个中间某一段觉得不重要就扔掉了然后那一段重要就存在某个文件里到时再取回来这两种大的来说这两种方案都有人在研究当然它具体实施细节是不止我刚刚说的这些例子 [02:45:32] 刚刚说的这些例子就是比较公开的例子那具体实施细节当然就每个公司还有自己的小秘密哎我觉得其实也就是最终也都会然后我个人是比较花很多更多时间在后训练的这部分的方案上因为当然首先因为我自己本来就没有花正式的工作时间在在预训练上预训练对我来说更多是一个就是兴趣我想学习的事但我自己其实没有在那上面做太多的工作然后另一方面是我觉得后训练的这个方案其实更符合我自己对这个事的理解就我对这个事的理解就是刚才一直在说的这件事就说能不能用短的context去训练但是能做长context的事预训练这些方案其实本质上还是需要你有长context 训练它需要数据里有对嗯对对所以说所以它不太符合我对这个问题的哲学 [02:46:32] 哦对所以你现在看可以吗用短的去训练长的我觉得可以是一定可以但是我们不清楚哪个方案最有效 Gemini的长文本做得很好为什么呀有些技巧哈哈哈哈哈哈有一些让我很惊讶的技巧哈哈哈哦这是预训练的事是吧长文本做的很好一定是两边都有的但是我只是说对我来说预训练那边那个技巧还是挺让我惊讶的哈哈哈对 OpenAI做的没有Gemini好在长文本上但是也有说法也不一样就是有些人也说Gemini 3这一代长文本反而变差了一点啊之类的对 Again 你加入Gemini的时候感觉大家对Gemini的预期不高没我对Gemini当时预期已经挺高的了哈哈哈你那是几几年几月 [02:47:32] 我是去年的9月底那个是Gemini 放Gemini 3之前你对它的预期高啊其他人呢我觉得业内的人当时对Gemini都还是印象不错的吧就是我觉得之前一直觉得Google很有危机在OpenAI的冲击之下我觉得大家的感知可能在Gemini 2.5这一代产生了变化因为2.5是一个明显你能看出来Google开始上道了啊在当然之前就是Gemini的 1.5啊也有一些就是小的事情某一个具体的方面做的已经算很强了就是很明显它已经不是很落后但是2.5是真的真的一代就是我觉得开始有人开始用的模型反正我自己其实也用过2.5 用的挺多的你是看到2.5去的Gemini 我去Gemini跟这没关系主要还是我知道 Gemini它大概是一个什么样的氛围 [02:48:33] 就是有很多人在做不一样的研究啊然后我也知道一些人其实做研究很有意思然后很多Gemini工程师我觉得技术是非常非常非常强的我觉得我是从他们身上学到了非常非常多然后嗯对我来说那是原因但是我觉得从大家的感知上来说可能我觉得业内的人在看到Gemini 2.5之后就可能就已经意识到了说Gemini是要赶上来了那对你来说不是你加入了Gemini的一个信号是吧不是我加入它的一个信号那你为什么加入Gemini 那就刚才说的就是主要是因为我当时想做事其实我想要去有但你知道 Gemini的人强对吧对对那个是因为就是他们来来找我的时候肯定也会让我去去和他们的人去聊嘛那从聊的过程中其实是能够其实能看出来状态怎么样哦是他们来找你 [02:49:34] 对但是我觉得最后就变成双向奔赴了所以哈哈哈你当时OpenAI不是选择吗如果你想从Anthropic离职对OpenAI也是当时的选项 OpenAI当时应该还是比Gemini 那从势能上要强吧在那个时候但是不过那个时候是不是各种那个内部的内斗内斗开始出现了我觉得对就是OpenAI确实也是我当时的一个选项然后当然还包括像xAI之类的然后我觉得 OpenAI最后没有去的一个主要原因还是我对它的文化至少当时来看我对它的文化是有比较大的担心的就是我觉得用粗话来说就是感觉踏实做事踏实做事的人没有Gemini多也更没有Anthropic的人多对哦这个我很care 哈哈哈对所以一种文化和人的亲近感让你去了Gemini 对然后你又赶上了到Gemini 3的那个转折点是吗嗯 Gemini 3应该对它来说是一个很大的转折的 [02:50:36] 一个时期是吗我觉得从实际的效果来说我觉得是两件事让Gemini产生了一个大的转折就变成了一个市场里举足轻重的 player（玩家）的玩家是Nano Banana Nano Banana和Gemini 3 两件事连着就是你我觉得如果只有Gemini 3 可能也不会有现在这么好的效果因为当你的市占率连 10%都不到的时候你这个模型好一点坏一点其实等它传播出去就是太慢了但是Nano Banana做到的一件事是首先市场上这件事很爆很爆款然后大量的人去下载了Gemini的APP 然后Gemini 3又紧接着放把这个部分留下来了所以现在它变成了一个举足轻重的玩家觉得可能就是没有Gemini打这么一拳那其实OpenAI的位置很爽就它市占率已经高到你其实模型上干点啥对它来说可能影响都没那么大啊甚至说实话 [02:51:36] 我觉得就是真正普通人用模型的时候对模型的这个能力的感知其实是很弱很弱的绝大多数人甚至都不用o系列模型绝大多数人都用普通的那个ChatGPT的对所以说我觉得对于Genimi来说这个一个Nano Banana把量打起来然后Gemini 3又把人留回来是一个很关键的事它有事实上抢走多少ChatGPT的用户嗯我不知道现在具体的比例但是我的感觉是 Gemini可能市占会在20%左右吧但是我确实没有仔细去检查过现在的数据这是从事后归因来看这两个因素共同促成了Gemini今天对于OpenAI的冲击那你从内部视角肯定能更前置的知道为什么就发生了什么 Google会有这样的变化对我觉得我觉得首先就是Google的这个技术储备 [02:52:37] 一直是够嗯人够对一直是够的然后组织上来说后来变得越来越清晰了就是有一个更好的框架来让大家干一起干这个事了所以说可能会慢慢慢慢有些进展对然后我觉得从某种意义上来说我作为一个局外人从某种意义上来说我觉得OpenAI是救了Google一命哦就是因为大家以前一直都担心说这个聊天机器人会不会完全把搜索取代掉对如果这个事真的发生了 Google其实很难受但是好在呢就是OpenAI先把这个事做了然后让Google意识到了这个事很重要但是它又没有把这个事做到底又没有把这个事做到极致又完全没有完全把search搜索干掉可能就吃掉了一些份额结果让Google自己把聊天机器人也追上来了那现在难受就是它了 [02:53:37] 你要万一比如说有一个公司就假如说啊在一个虚构世界有一个公司不仅做了chatbot 而且还一路高歌猛进越做越好真的一把就把你搜索吃掉了完全没有给你反击的机会那就很难受了那chatbot没有吃掉搜索是因为OpenAI干的不好还是为什么呢还是因为这个干不掉搜索我觉得两方面其实都有就是说首先嗯目前的chatbot这种交互方式其实不会完全吃掉搜索因为它比搜索强就像刚刚最早时候说过它比搜索强的一点是说它有很强交互性你可以追问然后它可以帮你把一些很复杂的信息去浓缩这是它很强的地方所以这部分使用场景它确实会把搜索的人抢掉但搜索里还有一些非常愚蠢的场景就是你有一个特别简单的事你根本不想浪费这个时间在聊天机器人身上啊比如说我就是我就搜买大米 [02:54:37] 我就一搜买就完了就我还非得去问ChatGPT 我还得非得问哪个好然后它还在那转圈圈圈圈转半天然后给你个链接你再一点再跑到网页再去买对吧没有那个必要所以说从事实的使用上来说它目前的形态并不足以把搜索完全吃掉对然后当然从另一个角度上来说它可能在聊天机器人这个事情上也没有做到登峰造极就它还真的让Google把它给赶上了现在还不算赶上吧在产品上我觉得在产品上不算赶上但是在模型上已经是赶上了但是要投资人投OpenAI 他们会说他们下注的时候是认清楚 OpenAI其实是个产品公司的时候它的护城河其实是产品和品牌那从今天来看的话似乎Google还没有在这件事情上能够赶上不能说超越OpenAI吧赶上OpenAI吧 [02:55:37] 对就是我觉得这其实是反正这都是我作为一个局外人观察者的视角来说你今天是点评家哈哈哈观察者的角度来说我觉得Google传统上在产品就是有点慢是一直都比较慢啊然后所以你说OpenAI会不会在产品上有优势我觉得是有可能的对然后Google特别擅长的一件事是什么是找到一个极为简单的产品形态大家都长一个样它就疯狂给你卷技术你就卷不过它哦对就那个事是Google擅长的因为搜索引擎就是这样的一个事儿搜索就是一个典型的就是大家都是一个框一个键但它就是比你搜的快搜的比你准你拿它一点办法也没有嗯所以这就是为什么就是感觉一直以来 Google都处于一个做的很好但 [02:56:40] 华尔街都不太认可的状态大家总觉得这公司壁垒到底在哪也没有什么产品的巧思也没有什么留存的机制但它就活到了现在哎所以它技术好的原因是啥我觉得还是就人好吗我觉得还是氛围吧就说是一个特别特别重视以前就是特别重视工程师后来就是特别重视研究的这样一个氛围所以它很适合那种通过技术能力溢出的产品能力的产品对如果从这个角度来看的话那你觉得OpenAI的位置是稳固的吗现在我觉得现在谁的位置都不稳固哈哈哈哈哈对我觉得就是AI的形态还有很长的路要走嗯没有到什么终局之战这个地方的感觉呢对感觉国内已经有点儿这意思了对我不理解就是为什么不理解我很费解就是那国内觉得我们在争夺一个super app [02:57:42] super app就是此消彼长的呀我觉得condition on聊天机器人这个事儿（把聊天机器人作为条件来构建）就是super app 那可能可以争夺一下但是问题是你这个形态是不是super app那个形态会不会别人就是哪天出了一个完全不一样的形态然后你的功能变成了那个东西一个子集这是很有可能的是吗我觉得没有什么我觉得我看不出什么不可能为啥chatbot不是那个终极形态但是这么多年我们也就看到这个了对就是都是一个对话框我觉得在这个事上我确实没有什么没有什么理性或者量化的标准来说明更多的是你觉得这个事很蠢就是这个模型明明有那么多的能力但居然用的方法是chatbot（注：本次视频录制于2个多月前，此时Agent的形态还未明朗）就是不太make sense 知道吧所以需要一个产品经理来解放一下模型的能力哈哈哈人类到现在只通过chatbot去跟AI沟通 [02:58:44] 让你觉得很蠢是吧很蠢就是那应该用什么去跟AI沟通没想明白要想明白我就干了哈哈哈哈哈哎你没有告诉我 Google内部到底发生了什么变化然后有了外界看到的模型能力的突飞猛进对就是刚才说就一个我觉得组织上更清楚了然后组织上一旦清楚的话组织变化了吗对尤其像预训练现在变得非常非常清楚就是谁负责什么事情然后每一个点每一个这个节点上谁是负责人这些事情都很清楚以前是混沌的吗以前最早的时候很乱我没有最早时候在那待过但是就是同事根据同事或者我以前认识的人的描述以前还是更混乱一些的嗯对对然后现在就是至少预训练也是变得非常非常清楚然后加上这个这Google 一直有的这种就是比较强的技术背景然后它做事也比较系统所以觉得预训练在Google 是一个非常非常可控的事嗯可预测的事你就你能够 [02:59:45] 你能知道下一代不会差哦可能你还会知道它会有多好通过Anthropic这种自上而下的管理它也嗯不错那Google是这种自下而上的它依然是自下而上的是吗它比以前肯定要更自上而下了比起最早的时候但是它比Anthropic来说还是更自下而上了一些就好像不同的文化都可以是吗对就是对于模型的训练对就是就是我觉得大公司有大公司的打法 startup有startup的打法所以大公司是你刚刚也说它是一个完全不一样的叙事它是一个不一样的方法 Google是什么方法现在我觉得Google更多的说是像这种比较确定性的事比如像预训练已经是一个比较确定性的范式了那可能Google就会更像把它做成一个工程项目 Google的工程管理能力又很强所以说它就能慢慢把它做好嗯什么叫工程项目工程项目的意思就是你其实是 [03:00:45] 其实是非常非常非常top down（自上而下）的一个组织然后很清楚我们下一阶段要做的是什么事情然后去做这个事情中间需要有哪几个节点被处理掉然后哪怕是做研究也是说就是有一个很清晰的框架告诉你怎么去验证你的结果是好是坏 evaluate（评估）你的结果是好是坏对所以这个是是Google很强的事情在过去的任何的一个大的工程项目上所以说预训练其实我觉得就是现在进入到Google Google的舒适区里了啊然后后训练当然就是有很更多的不确定性那可能后训练现在来说还是更bottom up（自下而上）一点就大家可以更广泛的试你说pre-train也是一种RL 为什么这么说我觉得就是你很难从纯技术的角度说 pre-train就是预训练或者说这个监督学习 SFT和RL的本质区别是什么因为预训练和SFT [03:01:45] 当然预训练和SFT本质也没啥区别就是你无非就是把你拿到的那些数据当成你的ground truth 然后你就把那个当成你的expert 把那个当成你的专家输出然后你朝那个专家输出的的分布上靠强化学习可能就是更宽广的一个级别一个级它就是说我首先就是这个这个本来输出的东西也不是一个给定的专家而是我自己产生的一些东西然后我里面也有好的结果也有不好的结果然后好的结果要往上靠不好的结果要远离它之类的这样东西所以说从某种意义上来说 pre-training和SFT是强化学习的一个子集但是呢这两件事确实在现在这个时代是有区别的当然我觉得对我来说它的最大区别在数据上就是pre-training的数据更多的还是要distribution够好就是分布足够的广或者足够符合你想要覆盖住的那些范围但是数据的质量 [03:02:45] 并不需要非常非常的高但是后训练呢是反过来就是说它分布上来说可能要远窄但是它在有的那些数据质量上会要求非常高嗯对所以我觉得目前来说对我来说它俩最本质区别还是在数据分布上的区别而不是在算法或者训练范式上的区别那像不同的lab 它是怎么分这个组的呀预训练和后训练有不同吗还是都一样 Anthropic 和Google比较类似两个都是就是预训练是预训练一个组然后后训练是后训练一个组嗯 OpenAI可能比较混沌最早的时候我一开始的时候它是分三个组就是它有预训练然后它还有强化学习就是Strawberry草莓组然后它还有一个post-training组然后我的我没在那干过但我的理解是它的post-training其实是就不是它的那个RL组就Strawberry [03:03:45] 和它的post-training 其实是别的公司的post-training和产品哦然后它可能是以这种不一样的方式给它切了它把后续人当产品做就是它的一部分后训练其实是和产品是在做产品它是不是只是名字没改过来呢也不完全是因为绝大多数公司的产品其实不太训模型了它更多的是把这个需要的这个特质模型特质告诉训练模型的团队但是它好像就是它的post-training 从某种意义上说自己又是产品但自己又能训模型这是不是它对于产品的理解就是需要训练模型的人来做产品对对对有可能有可能是件好事对但是它后来也这个组织变化很多所以我现在也不知道他们组织成啥样了你们最近发了几个模型然后我看到你也都参与其中 Gemini 3 Deep Think Gemini 3.1 Pro 那我觉得可能 [03:04:45] 只能说是有幸参与哈哈哈哈哈对 again就是感觉都是集体工作哈哈哈哈哈哎你为什么现在都变成了明星人物每次都被拎出来单独写一下我不明白我觉得其实不太好每次看到之后我都感觉明天该怎么去办公室见同事呢哈哈哈哈会有异样吗在办公室就还好我觉得同事可能还是人比较好就是他们可能也不是特别看重这些事啊但说实话我是觉得我参与过的任何一个项目不管是在Google还是在Anthropic 没有我都会发生都一样会发生效果也不不不会变差我这是我觉得大家现在就是是每个人都是冲浪的人本质上是一个浪而不是你那个冲浪的人嗯浪是AI吗对就是AI 这个这个事情本身是是这个浪它会往前走不管你冲不冲这个浪 [03:05:46] 这个浪都会拍到岸上只是说有人可能就冲了这个浪有人就可能晚了一点没赶上那个浪尖好你有幸的参与了这两个工作的什么主要可能就是一些有一些那个就是算法上设计的小的细节然后就会一块讨论呀然后有一些有一些数据上的东西但是数据上的东西我觉得可能对之后的工作会影响更大一些这几个模型有范式变化吗嗯我觉得没有哪个没有哪个变化大到了从不知道怎么做大尺度的强化学习到大尺度强化学习那个级别的变化没有哪个变化大到这个地步肯定都是会有一些小小的变化这几个小小变化你能讲一讲吗就这几个新的模型肯定都是会有一些小小的变化 [03:06:49] 最近我感觉模型已经发麻了国内一堆模型国外也是很多模型 OpenAI你们嗯国内GLM（智谱）字节 DeepSeek一直期待还没发（注：目前DeepSeek 4已发） Kimi 你能不能给大家划划重点啊我觉得从某种意义上来说都没那么值得关注哎大家在争什么现在感觉群魔乱斗我觉得有一些争的事情呢其实现在看来已经在这个时代已经没那么重要了就是因为过去带来的惯性是大家会争各个Benchmark的第一名证明自己模型的基本能力很强啊这个事情呢其实到现在已经到了就是公众关注那些Benchmark都有点打满了其实你想最早大家关注这个SWE-bench 随便大家都打到80多幸亏没有人超过83 因为最近OpenAI刚放一个post说超过83 [03:07:50] 那个有的题目都是不良好定义的幸亏没人超过吧谁超过谁尴尬反正啊然后大家以前Reasoning就是打完AIME打IMO 打完IMO打什么想不成RKGI啊这些 Benchmark然后RKGI 嗯在Gemini 3 之前大家可能最高的都忘了那时候可能十级这样子吧然后大家就哇登天难然后Gemini 3给变成30多了然后Claude 4.5还是4.6变成哎 4.6应该是变成60多了然后Gemini 3 Deep Think一下打到80多所以这个也打满所以现在就是感觉光靠打这种公众认知的模型能力其实已经没啥太大的意思了啊然后嗯所以从这个角度上说我就是本质上就是没有什么太多的重点啊 [03:08:50] 虽然大家发的很快哈嗯发的快也说明其实这道题对大家所有人来说都变简单了大家都知道knowhow了没有什么秘密了已经对对就是还是说还是这个就还是那个冲浪理论嘛就是还是这个浪在往前走大家下一个可能在寻找的目标是什么下一个范式级的变化是什么还会有吗啊我觉得我刚才自己聊的那两个事是我觉得ML coding和long horizon对然后这两个是我觉得我觉得嗯是是我觉得是一个可能没有到范式级变化但是我觉得是对于Google来说会很有价值的事情因为首先ML coding是因为 Google首先自己是一个AI research大户然后它自己又是AI research最全栈的就是它不仅有这些训练模型这些这些部分 [03:09:50] 它还有设计硬件的部分从硬件接到模型的部分这一整套东西如果能被加速或者说被更好的管理那可能对这个公司来说是很有价值 long horizon就不说了就所有人都知就所有人都很都都都觉得很重要对所以说我觉得那个可能是对我来说不能说是范式级别的绝对是不到范式级别但是一个我觉得是很有价值需要去在未来几个月之内能够能够看到曙光的事然后嗯我觉得范式级可能就还是那些更非确定性的东西就是什么多模态生成那个我觉得可能会有一个英雄吧或者会有一个英雄集体吧哈哈哈然后嗯对像那种可能会有一些嗯还有聊比较多的continue learning（持续学习）世界模型呢我觉得continue learning和这种long horizon 刚刚说long horizon没有本质的区别 [03:10:50] 因为嗯因为大家以前觉得这两事儿差别很大是因为 continue learning会改变模型的一些权重然后你做这种比如说像开放开源了大家做很多这种这种context management（上下文管理）是不会改变变模型权重的但其实你想这两事儿没有本质区别因为context里那些词自己的KV不也是一种权重吗所以说你觉得这两个方案就是最后谁能谁能更有用在长久来说更有用我觉得是不清楚的但是他们本质上都是为了做刚才lone horizon 这种类型的事情然后世界模型一万个人有一万个世界模型啥意思就是定义不清晰就是首先我不知道什么叫做一个世界模型其次就是每个人在说他们做的世界模型的时候可能也在说不一样的事儿比如说Gemini做的世界模型可能就和比如说像李飞飞她们做的世界模型就不是一个事嗯唉描述一下区别是 [03:11:50] 我不是特别了解像外面像李飞飞啊她们这些lab做的事情到底是怎么样的但是嗯 Gemini的世界模型更多的是一种是一种end to end（端到端）的这种级别的训练它想要的结果是说我一个比如视频生成是大家能够给定一个描述然后生成一个视频但它想要的达到结果是我不仅能够生成一个视频我是能够生成一个场景什么叫一个场景场景就是说我生成了这个时刻的状态然后我还可以再给它一个condition 一个条件这条件是我在这个状态下做了一样什么样的动作然后它下一个时刻状态会变成我上一个时刻状态和动作的函数啊然后它是end to end去训练这样的能力对所以说这个可能是一种方案然后我我首先也不知道大家最后想要的到底什么结果然后我也不知道大家对自己世界模型的定义到底是什么所以我觉得更多还是一种探索状态 [03:12:51] 刚才我们一直没有聊到一个组织是xAI 我们刚才聊了Anthropic 聊了OpenAI 聊了DeepMind 那xAI呢 xAI我是不明白哈哈哈作为点评家来说一下他们怎么最近这么动荡我觉得他们一直都挺动荡哈哈哈那为什么最近这么动荡我也不知道啊然后我其实我跟xAI接触的没有那么多然后我接触的一些人现在也走了其实我也不知道他们发生了啥哈哈哈你刚才说Anthropic的时候你说技术的一号位能make bets 是非常重要的那在Google这样的一号位是谁啊这个英雄是谁啊我觉得英雄可能在不同的阶段是不一样的人嗯但是英雄的背后都有一个人就是Sergey Brin 就是Google的那个cofounder 哦对就是我觉得最终很多很多大的决定 [03:13:56] 可能不是由他来决定怎么做但是最后拍那个板得他来拍嗯现在也是 Demis Hassabis呢我觉得可能更多的在一线出现的是Koray Kavukcuoglu 对就是是 DeepMind CTO 然后他现在也是那个Google的SVP 哦Demis在负责什么我觉得Demis可能管了更多那种就是偏science的事情就比如说那个药物的design Isomorphic Labs啊那些事情对对对哦Gemini 他管的不多至少从我的视角来说我看到的更多的人是Koray 当然有可能就是那那公司那个管理层的事其实有很多是我看不到的部分那我就不清楚了你刚才也提到AI是整个是一个系统嘛嗯你对于怎么系统性的做AI 有什么认知吗现在经过了你这两年的工作有几方面吧 [03:14:56] 一方面是从从整个系统来说它需要一种比较科学的态度就是你要清楚地像Scaling Law 你要清楚地理解自己做了什么样的预设然后我在做一个改变的时候其实有哪些因素是和它相关联哪些因素是不相关联的对然后这是从组织情况下来说从人的情况下来说其实需要人很reliable 就是需要很负责任的人其实每一个系统就每一个评价的框架都是很容易被hack（钻空子）的因为你总可以做一些事让你的指标看起来很好看但是一个值得信赖或者踏实的人他其实是会想自己做的这件事如果效果好的话是不是真的比如说在大的尺度上效果好是不是我中间漏了哪些因素对其实把事做系统听起来是一句话但真正做起来是很复杂的事就是有很多细节有很多阻力会它其实是违背人性的 [03:15:57] 哦因为每个人个人的人性可能都是为了让我自己做的东西能够体现的更好但是对一个公司或者一个组织来说最有利的事是把整个公司的系统系统性做的非常扎实非常严谨这个能不能举点例子呀好像有点抽象对它确实有点抽象这也是你说没有那么多的个人英雄主义的一个表现对就人要变成一个更可信可靠的一个他是一个系统的组件我可以举一个一个可能也是比较鬼话的例子就是比如说做强化学习你可能可以做一个算法出来效果比别人好但是可能更关键问题是你要去问比如说在真正的大的尺度下我是不是能够保持稳定性是一样好的然后以及我比别人的东西效果好是不是因为我用了不一样的data 以及我是不是用了更多的training的flops [03:16:59] 是不是用了更多的sampling的flops 然后我具体在真的这个生产的这个最后这个大的跑的这个production run（最终的大规模训练）里面到底哪个才是我的限制因素然后我该看选哪个指标这个其实可能都是需要研究员自己对于这个系统怎么运作有一个好的理解然后以及对公司负责任才能做到否则就是你很容易做到一件事就是你可能比如说你在考虑training的时候是比别人好的但你考虑training加sampling时候比别人差你总可以选择你只是有training 但这就很糟糕对所以这个就是既需要你个人的负责任又需要说组织所建立的这个体系里能够能尽量的发现这些有意的或者无意的这种边界的事情但是你作为个体的话你不知道怎么样是对全局最好的呀其实是需要我觉得如果一个研究员做不到对全局去考虑的话他就不是一个好的研究员 [03:17:59] 在现在这个时代嗯就是这个我觉得这个和你就是在学术界做research 是很不一样的事哦因为在学术界做research 本质上是一个人吃饱全家不愁的状态这我为我的项目负责对吧我为我的可重复性负责但是在一个公司里你其实更多的时候是我得为这个公司负责这是两种完全不一样的心态那你这种自觉性从哪里来的不知道哈哈哈哈哈我觉得我可能就是拉不下脸哈哈哈拉不下脸是什么就是你对一个公司负责任是你和这个公司的契约的一部分其实我觉得没什么道理不这么做这么做是没有原因的所以这个人英雄主义会破坏这种整体性我觉得如果只是为了个人英雄主义而做事的话很有可能是会破坏整体性 [03:18:59] 当然实际可能你能力很强然后你真的成了一个英雄那也是有可能因为你也经历了两个组织了你觉得什么样的组织更能够激发智能在这个时代我觉得其实这是一个很有争议的事就说因为刚才也聊了就是不同组织可能有些比较比较自上而下有些比较自下而上那一个自然问题说比如说这两种组织哪个更能够激发创新过去的观点就是自下而上是激发创新必要条件因为就是你得每个人有自由嘛有自由才能有创新但是完全自下而上你发现其实也不行因为它就乱那就是Google之前的样子是吗对至少在我印象里在我了解到的印象里是这样就是它就乱就是大家甚至都不知道我做这个事有什么用那可能也不好所以就可能要需要有一个人或者有一个小的集体能够把这两件事稍微融合一下嗯 [03:19:59] 这就是为什么我觉得其实一个组织运行的好不好看起来是组织的问题但其实归根结底是技术leader的问题嗯就是这个技术leader有没有特质能够把这个组织运行的很稳定因为最好的那个状态往往都是最不稳定的一个状态就很容易往不好的那个方向塌缩的对所以得有一个leader来控制这个事那你觉得都是技术leader来做这个事情而不是CEO来做这个事情那当然每个公司的CEO 可能有不一样的职责但是得有一个leader 我觉得至少得有一个leader 他能有两个特质才能去做这个事一个特质就是说他自己有救火的能力不是说他光嘴上说要做什么要做什么而是说有一件事真的遇到困难了他能自己下场去带人把这个困难解决掉当然绝大多数时候可能一个leader 是不会有时间去做这个事儿 [03:20:59] 但他至少有这个能力第二个重要特质就是他得能够理解别人就哪怕一件事可能是他不做的事但他能够理解到为什么别人做那事重要能够容得下别人那可能是另外一个特质你觉得Google的TPU 在哪些方面表现的比GPU更好劣势是什么我觉得从纯硬件的角度来说很难说哪种硬件真的好或者坏尤其是在这种大规模商用的情况下因为本质上来说 GPU和TPU 在使用上来说最大的区别就是刨掉硬件的区别来说使用上来说最大的区别就是 GPU它有比较好的开源生态 TPU没有但这个事其实在大规模商用的时候并不是一个问题因为比如Google自己用TPU 那自然会花时间去搭这个基础设施而基础设施就是是一个你可能比如说你只跑1000张卡可能是一个很大的负担但你跑一个几十万张卡的集群那搭一个基础设施也不是一个多大的事 [03:22:01] 然后从实际所以就是从实际上这种大规模商用来说没有哪个孰优孰劣但是这两个确实有一些设计理念上的区别比如说GPU 至少我可能后来这几代GPU 没怎么用过像比如像Hopper那代GPU H系列GPU 它的设计是说我一个Pod（节点）里面可能没有多少张卡比如说就8张卡然后这8张卡之间可以两两互联 NV link（英伟达高速互联总线）非常快所以这一个pod几乎就是没什么没有什么communication的bandwidth（GPU之间的通信带宽不足）但是TPU它可能就反过来它就是说我抛弃了卡与卡之间两两互联但是我能尽量的把尽量多的卡放在一个大的这个架子里面它就是有这种这个三维Torus的这种设计（3D Torus 拓扑设计）所以它就一张卡就只有在三个方向连3个最近邻的但是它整个集群可以连成一个大 Torus 然后如果你的compilers（编译器）或者你的那个sharding（数据的分片策略）的逻辑写得足够好的话你是可以利用这样的东西 [03:23:02] 其实就等效来说你会获得更大的储存空间然后也会减少很多通信的bound 劣势是什么呀我觉得一个劣势就是它肯定是比起GPU来说至少在小的scale上来说比起GPU是更加更加固定的一种结构吧所以说它的易用性或者它的通用性可能没有那么强最近硅谷有很多neo lab出现你怎么看这个趋势为什么他们都出去从这些模型大厂跳出去成立neo lab 我看不太懂哈哈哈我的感觉是绝大多数的neo lab都会死然后那个我觉得就是可能有一些lab是真的有好的人的然后像有些lab 可能确实也开始在做一些事比如说像thinking machine 还是在deliver一些新的东西的然后但有些neo lab就是 [03:24:04] 请帮我把名字哔掉哈哈哈比如说XXX那个XXX 我就完全不知道他们到底要干嘛然后这俩人其实已经远离这个专业好久了我觉得26年国内会非常的看重C端的叙事谁成为那个super app 你怎么看你觉得这个这好像在硅谷没有人讲这个事儿对就是因为美国enterprise就是这个就是公司然后或者说效率软件这个市场太大而且利润也太高所以说对于美国来说其实C端之前就只有ChatGPT一家做然后其实也没啥油水没有什么利润所以说就是现在大家可能重心都会先放在这种效率软件或者enterprise上然后所以中美的趋势已经发生差异化了我觉得不只是AI 也就是过去的整个互联网都是都不一样就是中国很强的就是C端就是它能够想出一些哎非常非常复杂的产品的的性质或者结构 [03:25:04] 然后用一种很你觉得很间接很不自然的方式把这个利润滚起来比如说什么叫很间接哈哈哈就比如说像抖音这种东西它并不是说你看视频我看一个视频收你两毛钱对吧它说你可以免费看视频但是我可以偷偷加广告我可以偷偷做直播我可以偷偷做电商但是这个做效率软件没这事做效率软件非常直接就是我让你帮你写code 我成本一个月150 卖你200 我挣50 就是非常直接的事嗯对我觉得美国在过去的体现就是在这种很直接的产品上能够把技术做到极致但是一直没有哪个产品让我觉得就是复杂到说让你离不开它你又感觉不到它在挣你的钱但它实际上挣了你的钱你这么说我突然觉得Meta就应该抄字节做 [03:26:05] 对但我觉得Meta没字节强因为Meta它也找不到自己的生态位然后美国又没有一个做这件事情的公司豆包这个生态位还没有人找到那Meta就抄豆包呗它也不需要那么强的模型能力啊但我觉得还是美国做产品的本质上做C端产品的人不行比中国来说差远了这是过去十年的积累是吗对嗯因为过去十年在美国的这个正反馈都来自于做ToB的很多enterprise的事情或者就是在美国这地方挣钱太容易嗯挣钱太容易的时候你就不会费脑筋去想怎么挣钱哎不是很多人来都要找你聊聊吗有什么好玩的人啊哦不很多国内的人来科技公司来我觉得都挺好玩的然后确实发现国内的人做产品可能还是想法更复杂一些更复杂一些 [03:27:05] 对就是想的更这个想的这个回路更长一些对跟美国还是风格不太一样美国是美国就刚才说了嘛就是做了什么就拿这个卖钱对啊就是简单啊就是这个事儿就是需要这个能力有了这个能力之后就是要比别人便宜我就能挣得比你多拿我一点办法也没有好中国呢中国感觉都是这种什么一开始不挣钱但一旦它开始挣钱你就拦不住它啊就是它是真的能形成那个那个自己的那个那个圈儿的就是它真的把那个圈儿转起来的时候你再想往里插就插不进去了你觉得美国公司现在看懂字节跳动没有我的感觉是没有还没有它都这么大了哦你说是不是重视它那肯定是重视的就大家肯定都知道字节是一家被严重低估从它的市值上来说是被严重低估的公司 [03:28:05] 这是我觉得大家很明确的事然后我觉得也很明确就是说在消费者市场这一端其实我觉得没有哪个美国公司能和字节竞争的但是它毕竟是一家中国公司至少从公众意识上来说它毕竟是家中国公司所以看懂它了吗我不觉得大家看懂了但是你看Meta 其实也在主动的从字节挖人嘛嗯你在AI行业有什么偶像吗或者欣赏的人虽然你在AI行业很短没没没啥就是我感觉我来这行业的时候个人英雄主义时代已经过去了所以也没有什么英雄有时候你甚至觉得旧时代英雄有点蠢啊对所以说真的没有什么你觉得谁比较蠢这个还是不说了吧 no comment哈哈哈哈哈哈 [03:29:08] 对我觉得和做物理时候还是不一样我觉得做物理时候还是存在着一些我觉得真的比我聪明太多的人比如我我读博的时候我那个年轻老板就是我觉得他Douglas Stanford 我觉得他就比我聪明太多了我觉得他可能也是看到他我才觉得自己在那个领域也没什么用有他了还要我干嘛呢对吧哈哈你跑到AI来降维打击一下是吧也没降维打击但是反正就感觉AI这个事本来也不太需要脑子不太需要脑子真的不太需要脑子那需要什么我觉得这个这个行业就是最重要的特质就是靠谱就是做事细然后对自己做的事负责任这是最重要的特质你说那些东西有多需要脑子我觉得都是一些本科生就能干的活可是你说AI没有个人英雄主义现在一个AI研究员的价格炒的多高啊 [03:30:09] 跟球星转会一样我不知道是好事还是坏事对我个人来说我当然很高兴我受益于这个对吧呵呵呵但是嗯实际上来说我并不知道这个事是不是一件好事你觉得为什么价格会变得这么高我觉得可能一方面是大家觉得这个事很稀缺吧但是他实际上可能确实也没那么充足就是因为训练一个人虽然这事没那么难但是你训练一个人是需要一个环境的就是你得有那个机会去接触这件事你才能学会这件事你没有那个机会你就是再聪明也没用那可能过去能撞到这个机会的人没有那么多所以说在市场上来说可能是比较稀缺从这个角度上来说嗯但我觉得另一方面也是可能对人的炒作有点过分了对非常喜欢神话个体现在对我觉得真的就是再说一次 [03:31:10] 这是个集体主义的事哈哈哈那很多人也会很好奇因为可能很多公司也想招AI的人那你觉得最重要的还是要靠谱这个有什么衡量指标呢就怎么能够快速的判断一个人靠不靠谱做事细不细每个人都有一些自己衡量的方法我当然也有一些自己的trick（诀窍）就是我我以前反正有出一道面试题然后那个我大概讲一下这个应该不涉密所以我应该可以讲嗯那面试题其实很简单就是说我需要这个人在24小时之内然后完成一个强化学习的项目从0到1 就是他要自己去选用什么样的模型我告诉他有的资源是什么样的然后他自己选用什么样的模型用什么数据用什么样的算法然后把这个模型训出来 24小时之内就是我给他让他24小时去完成这个事 [03:32:11] 然后24小时结束之后他会跟我有一个小时的讨论然后这个事儿呢其实在AI时代没有那么难没有AI时候这是不可能的没有人从24小时之内把它做出来但有AI之后其实特别简单因为AI能帮你全套做但为什么还要做这个事儿呢有两个原因有很多原因啊其中设计成这样的两个原因一个原因是因为我觉得在这个时代去还去考察别人比如说代码写得好不好其实没用因为绝大多数人都不用自己写代码然后他更重要的是他能不能有效地利用AI 那这个是一个方面的考察这个问题第二方面是这个事其实有一个陷阱就是如果你全盘让AI做了但你最后没有试图好好理解 AI为你做了什么那在那一个小时的讨论里面会露馅儿那是一个那个是一个会挂人的地方对所以说那个考验的另一件事就是说你有没有真的和AI形成了协作还是说你就全权扔给他那个是我觉得我个人很看重的事 [03:33:11] 那个其实也是他就是这个人是不是做事靠谱的的一部分当然这个就这个这个题目的设计本身也有一些比较阴暗的巧思就是说为什么设计成24小时就是为了看这个人有多看重这个机会能熬夜对哈哈哈如果他足够熬夜他就能撑住这24个小时如果他撑不住那只能说他可能对这个机会也没有那么看重哈哈那对于比你更年轻的人你觉得他们现在来AI 还是一个很蓝海就是很有机会的地方我觉得纯做语言模型已经不是一个蓝海了我觉得晚了就是末班车已经发车了末班车已经发车末班那班是哪一班啊我感觉我入行就是那个末班车啊然后可能有确实在我入行之后当然还有些新的人但我觉得他们就没有机会能接触那么好的机会了就是能在一个还没有那么大的团体里做一件事情那么可能就很少能遇到这样的机会了 [03:34:12] 对然后但是我觉得就是AI 它是一个很很大的方向语言模型只是其中的很小很小一个很小一个部分还有很多别的事情比如刚刚说的多模态生成那可能还有很多机会机器人那可能更机会更多然后包括更夸张的就是有比如说你能不能用AI 去帮助一些真正的科学问题比如说帮助这个做量子调控啊之类的那可能就是更蓝海那都是blue sky的事了对所以说我觉得对于足够年轻的人来说可能做现在最热火的事并不是一个正确的选择做现在没有人做到的事可能更多的是一个好的选择对你自己未来会怎么发展你会在Google很久吗我觉得应该不会哈哈哈哈哈哈这么公开的说吗我觉得应该不会我觉得我还是会尝试去挑战自己的 [03:35:14] 对然后要折磨自己对要折磨自己但是我就是可能需要找到一个值得折磨我自己的事如果AI不是本质的难的话你会不会做的觉得无聊啊你对你的挑战在哪啊它虽然不难但是你知道和不知道还是有一个gap的就是你从完全不知道这其中细节到慢慢理解这其中的细节理解它怎么运作的之类的这些事情我觉得还是需要花时间花力气的然后当你理解之后我觉得对这个事儿也是会对你未来做比如不管你是做产品相关还是说往往别的AI的方向去发展我觉得都是都是长期来说会有帮助的你未来想在哪里去发展我觉得都有可能哈哈哈没想好该怎么折磨自己你应该不会再跳去另外一个大公司了吧应该不太会了嗯你觉得你在Anthropic上学的和在Google DeepMind学的有什么不一样我觉得还是挺不一样我觉得Anthropic 就是你可以把一个事儿了解 [03:36:16] 把一条线就是language model 这条线的方方面面的了解的很透它给你这样的机会然后在Google 它更多的是一种横向就是它有很多不同的方面有很多不一样的人然后也能见到不一样的视角也能见到不一样的研究方向就是你都可以看见对 Anthropic是因为它bet的足够的坚定所以你能理解的更纵向对你有想过用AI去解决物理问题吗（你们那个理论物理）有人在干所以我觉得不需要我去干哈哈你对这个没有本质的兴趣我觉得这个事儿首先我觉得目前对我来说不是最高优先级我觉得如果哪天我觉得我把我手上最高优先级的事解决了我又没有找到别的事干我可能会去干这个事你现在最高优先级是什么我现在最高优先级是就是把我刚才说的这两个事情哦ml coding和long horizon（能够能够把它）把它至少推进到一个就是和同事能够把它推进到一个比较 [03:37:16] 我觉得比较稳定的状态吧那个我觉得是我的最高priority 当然可能之后也会有别的priority 但是自用AI做物理我觉得是一个已经有很多人在试着做的事儿然后多一个我不多少一个我不少不如就让别人先干你有特别崇拜的物理学家吗也没有有但是有点多不知从何说起哈哈哈哈哈物理学家有人工智能科学家没有但这个跟人的成长经历有关吧就我觉得就是一个成年人是很难真的崇拜一个人的那一个儿童可能会崇拜过谁啊我觉得就物理学其实还是有很多就真的挺强的但是就是大家都说的那种什么 100年前那种人就不说了就什么爱因斯坦海森伯格这些就不说了然后包括大家后来都知道什么像Frank杨就杨振宁这些也都不说了 [03:38:16] 然后像我之前做topology（拓扑）这个体系的时候其实有一个他后来也拿了诺奖就是那个Haldane（2016年诺贝尔物理学奖得主之一）就是你会发现这些人他有些异常的远见就是他在他那个时代显得格格不入但是你看Haldane 最开始做Haldane model和这些分数量子霍尔效应相关的事的时候离最后大家搞明白这些拓扑物态过了好几十年嗯在那个时候他能够觉得这事重要然后一直在自己在推进这事我觉得这是一个很不容易的当然我觉得你要非要在人工智能找一个类似的人我觉得可能Geoffrey Hinton（杰弗里·辛顿）是吧就是在大家都觉得这事可有可无或者不那么确定的时候他一直在这个方向做那我觉得这可能是一个英雄级别的人物在他之后呢 AI在那之后我觉得我觉得可能也有一些英雄的集体就是比如像Transformer 就 Noam（ Noam Shazeer） [03:39:16] 和那些那个 Ashish（Ashish Vaswani） Niki（Niki Parmar）他们那可能是一个英雄集体（Transformer论文的八位作者）你讲过一个特别让我印象很深的话我在这个行业又没有什么导师又没有什么旧友我想喷谁喷谁这可能就是不做AI的好处吧哈哈哈不做AI出身的好处吧对就是真的没有什么负担就是没有哪个老登是你的亲属所以你觉得他傻他就是傻就可以直接说他傻没有无所谓的啊你以前也这样吗我觉得我做学生的时候还挺收敛的哦但我后来发现收敛没用对自己也没好处对别人也没好处还是更直接的表达自己的想法是最关键的我觉得直接表达自己的想法是一个短期一定会有人恨你但长期大家会欣赏的事情 [03:40:17] 你最近听谁说话特别蠢把这个名字哔掉谢谢我觉得XXX一直挺蠢的哈哈哈而且蠢的始终如一哈哈哈他有没有可能是那个对的人呢我觉得他说的话用Pauli的话来说就是not even wrong 因为不良好定义你很难说他说的是对是错对就是有一天可能有一个不一样的范式发生了他就可以跳出来说哎我当年说过这个这个这个这个但是你就发现可能如果范式是另一种状态他也能说一样的话这就是我为什么很讨厌这种很vague（模糊）很模糊的人的原因因为一个事模糊就是没有意义的你为什么觉得他说话很模糊没有正确的定义就是是一种模棱两可如果它有正确定义的话我可以解释它为什么有正确定义但它没有正确定义的话我没有办法解释它为什么没有正确定义 [03:41:17] 因为它真的没有正确定义哈哈哈 XXX呢我觉得起码就是我觉得 XXX还是一个很良好定义的事就是他是要做XXX 然后他的方式可能更偏这种更传统的这种这种neo network的model的方式而不是更end to end的这种方式我觉得至少它是良好定义的至于它是对是错那我觉得是未来会检验的事情就大多数老登其实都还好就是我觉得我觉得人年纪大了不一定会变成老登的人年纪大了会变成两种状态一种状态叫做德高望重就是他会可能少指手画脚还会花自己的力气去培养年轻人另一种人就是老登就自己也不懂还爱指手画脚嗯所以人老了不一定会变成老登哎你是受了谁的刺激啊我也不知道我受了谁的刺激但我确实见过不少老登哈哈哈你从什么时候变化的 [03:42:17] 就是说话非常直接开始不收敛了就是你过去都是这么想的但是你不说我觉得我过去可能有也会比较直接但是没有这么直接但做了AI之后就更直接是没有没有束缚是吧一是没有束缚二是这个领域足够客观就是你其实不用太担心因为自己的观点而惹到什么人只要你的观点就是是自洽的就是你有一套自己观点的理论你不是说随便喷人那肯定是会惹到别人你是有一套自己的理解我觉得其实大家是会尊重你的因为最终你在这个领域做的怎么样是有客观的评价标准的我们每个嘉宾都会推荐一本人生之书要这本书真的对你产生过重要的影响你要说的这本书是什么这是今天最难的一个问题我感觉你还是高看了我的文化程度哈哈哈哈哈 [03:43:18] 我真的没有什么人生之书说实话好最近读了一本书最近上次那个季逸超说的是《线条小狗》最近读的书就是汤川的自传汤川秀树（1949年诺贝尔物理学奖得主）的自传啊《旅人》然后非要说就是可能有印象的书首先我这人确实不爱读书我感觉就是我这人文化水平比较低然后我读的书除了就是专业性的书之外所有的书感觉都是闲书像什么汤川的自传其实本质上也是本闲书但是就是我觉得写得挺有趣的就是你能看到一个后来看起来如此成功的科学家在他年轻的时候有一种挣扎感很真实然后可能就还有一些什么闲书像小说之类有本小说我很喜欢那个《来自新世界》是一个日本的小说 [03:44:19] 对我觉得你要非让我推荐闲书的话我可以推荐那个你最近有看什么电影啊什么电视剧玩什么游戏什么都没有哈哈哈一个全球范围内你喜欢的食物寿司吧一个全球范围内你喜欢的地点全球范围内喜欢的地点我我觉得现在你要非让我选我可能会选夏威夷因为我很喜欢海对但是也很难说因为之后我可能去了更多海的地方就另有新欢了哈哈哈一个少有人知道但是可能需要知道的知识点别相信老登算吗哈哈哈你有迷信过吗嗯我本质上没有迷信过但是我觉得有些时候可以靠迷信来安慰自己 [03:45:19] 我说你有迷信过老登吗哦迷信老登啊从来没有吗真的没有但是我以前可能没有这么恨老登后来就变得越来越恨老登为什么可能就是当你自己有越来越多判断的时候那些蠢的人就显得更蠢那他们也没有伤害你啊为什么会恨他呢就就是厌蠢症每个人都有厌蠢症哎你的MBTI是什么不知道为什么这些年会有一个对于就是年轻人对于年龄大的人这么不友好的一个词出现啊它来源在哪里不知道没有没有没有没有研究过可以问问Gemini 让他deep research一下看老登这个词是哪来的那你心目中影响AI进程的几篇论文 sequence to sequence是一篇然后那个我觉得是language model 在feature engineering时代的的高峰 [03:46:21] 然后 Scaling Law是一篇就是Jared Kaplan 他们在OpenAI的那篇Scaling Law也是一篇是一篇把这种体系化的研究方式引进到这个领域的一篇当然最后实际上Scaling Law做的方法可能他那样并不是正确的就是但是是第一篇把这个这个想法引进来的我觉得这很关键基于你当下的认知一个关键的重要的bet是什么 long horizon（长程任务）哈哈哈我们工作室叫语言即世界工作室第一次听到这个名字的时候你在想什么我觉得这个名字有点正常的太平庸了哈哈哈哈哈可以哈哈哈哈哈我觉得这个名字是一个可能放在十年以前是一个很独特的视角那现在可是主要大家共识太多了 [03:47:21] 我觉得十年以前确实就是可能现在不止十年对不起我感觉我年纪也大了可能不止十年了就是可能在14 15那个年代大家都会觉得视觉是最重要的事在那个时候我觉得意识到语言是承载智能的重要载体的人可能是一个不一样的事情不过我觉得我们这个名字不是在AI的语境里面讲的嗯哈哈哈那就值得深思了哈哈哈