文 | 象先志
Dwarkesh 这个名字，可能很多人有点陌生。但关注 AI 的朋友，一定在最近一段时间里，看到过 Ilya Sutskever 跟 Andrej Karpathy 的播客采访。 他们上的就是 Dwarkesh 的播客。
这两人上播客的次数屈指可数，能采访到这两个人，大概能说明 Dwarkesh 在美国 AI 圈的地位。
这篇文章基于他最新一期播客，汇总了一些他关于 AI 进展的想法。
在这之前，他其实已经在个人网站上更新过相关内容，所以我在文章最后还从那里精选了几个评论。
因为关于 AI 进展，乃至 AGI 的时间线，都是非常主观的话题，所以除了作者的看法，评论区的反馈也很有价值。
Dwarkesh 的一些核心判断：
- 以强化学习为核心的“ 中训练”，正在成为 LLM 的重点突破方向。前沿科技公司正通过所谓的“ 中训练”（mid-training） 把大量具体技能预先塞进模型里。
Dwarkesh 认为这恰恰是 AGI 还很远的证据，因为如果模型泛化能力很强，那就不需要单独构建那么多强化学习环境，教它操作浏览器或者 Excel。
- 预置技能的想法是很奇怪的，人类劳动力之所以有价值，恰恰是因为训练成本并不笨重。
可以根据需要，灵活掌握一些新的技能。每天你都要做上百件需要判断力、情境感知、以及在工作中习得的技能和背景知识的事情。如果全部依赖预置技能，很可能的结果是我们连最简单的工作都无法完全自动化。
- AI 经济扩散滞后，本质是为能力不足找借口。企业招聘这个过程其实非常 tricky，因为涉及对人的能力和品格等做估计。
而 AI 员工完全不存在这个问题，经过验证的 AI 员工可以无损无限复制。
换句话说，企业有很强的动机去雇佣 AI 劳动力。现在这事没有发生，只能证明模型能力差得太远。
- 回应对 AI 空头的批评。过去发生过的事情是，经常有人说 AI 现在这不行那不行，比如通用理解、少样本能力、推理能力。
但随着技术发展，这些问题 AI 都能解决了。但是空头还是会提出新的标准，论证 AI 的能力不限。
作者认为这种标准调整是有道理的，因为我们对于 AGI 的理解在深化，智能和劳动比我们曾经的理解要复杂得多。
- 预训练阶段的 scaling law 非常清晰，只要算力数量级提升，损失函数就会稳定下降。
但现在大家正在把这种在预训练上获得的经验，转移到围绕强化学习 （RLVR） 的中训练上。
这种技术乐观并没有依据，有人根据 o 系列做了研究，结论是：要获得类似 GPT 级别的提升，强化学习的总算力规模可能需要提升到一百万倍。
- 与人类分布的对比，会先让我们高估 AI，然后再低估它。
由于知识工作中相当大一部分价值来自最顶尖的那一小撮人，如果我们把 AI 模型的智能水平与“ 中位数人类” 相比，就会系统性地高估它们能创造的价值。
但反过来说，一旦模型真正达到了顶级人类的水平，其影响力可能会是爆炸式的。
- 持续学习 （continual learning） 会是 AGI 之后，模型能力提升的主要驱动力。
他预估明年前沿团队就会发布一些持续学习的雏形功能，但要达到人类水平的持续学习，可能还需要 5 到 10 年。持续学习的解决不会是一蹴而就的，所以不会有模型因为在这点上取得突破后就获得失控式的领先优势。
以下为原文：
我们在 Scaling 什么？
我一直很困惑：为什么有些人一方面认为 AGI 的时间线很短，另一方面却又对当前在大语言模型之上大规模扩展强化学习持极度乐观态度。
如果我们真的已经接近一种类人学习者，那么这种基于“ 可验证结果” 的训练路径，从根本上就是走不通的。
目前，各家正试图通过所谓的“ 中训练”（mid-training） 把大量具体技能预先塞进模型里。
围绕这一点，甚至已经形成了一整条产业链：有公司专门构建强化学习环境，教模型如何操作网页浏览器，或者使用 Excel 来搭建财务模型。
要么，这些模型很快就能以自我驱动的方式在工作中学习，那所有这些“ 预烘焙” 技能就毫无意义；要么它们做不到，那就说明 AGI 并非近在咫尺。
人类并不需要经历一个特殊的训练阶段，把未来可能用到的每一个软件都提前练一遍。
Beren Millidge 在最近的一篇博客中对这一点提出了很有意思的看法：
当我们看到前沿模型在各种基准测试上取得进步时，不应该只想到算力规模的提升或巧妙的机器学习研究思路，还应该意识到：背后是数十亿美元的投入，用来支付博士、医生以及其他专家，让他们围绕这些特定能力编写问题、给出示例答案和推理过程。从某种意义上说，这就像是专家系统时代的一次大规模重演，只不过这一次不是让专家把思维直接写成代码，而是让他们提供大量被形式化、被追踪的推理样本，然后我们通过行为克隆把这些蒸馏进模型里。这让我对 AI 时间线略微倾向于更长，因为如此巨大的努力才能为前沿系统设计出高质量的人类轨迹和环境，恰恰说明它们仍然缺乏一个真正 AGI 所必须具备的关键学习核心。
这种张力在机器人领域表现得尤为明显。从根本上说，机器人是一个算法问题，而不是硬件或数据问题。
人类只需要很少的训练，就能学会远程操控现有硬件去完成有用的工作。所以，如果我们真的拥有一种类人的学习者，机器人问题在很大程度上就已经解决了。
但正因为我们没有这样的学习者，才不得不跑到成千上万户家庭里，去学习如何端盘子、如何叠衣服。
我听过一个来自“ 五年内起飞” 阵营 （极度技术乐观派） 的反驳观点：我们之所以要搞这些笨拙的强化学习，是为了先造出一个超人类的 AI 研究员，然后让一百万个自动化的 Ilya 去想办法解决如何从经验中进行稳健而高效的学习。
这让我想起那个老笑话：我们每卖一单都在亏钱，但可以靠走量把钱赚回来。一个连儿童都具备的基本学习能力都没有的自动化研究员，却要解决人类花了将近一个世纪都没解决的 AGI 算法问题？我觉得这极其不可信。
此外，即便你认为 RLVR 的规模化很快就能帮助我们自动化 AI 研究，实验室的实际行动却表明它们并不相信这一点。
要自动化 Ilya，并不需要提前把做 PowerPoint 的咨询顾问技能塞进模型里。而现在它们这么做，清楚地暗示了这样一种看法：这些模型在泛化能力和在岗学习 （on-the-job learning） 方面仍然表现糟糕，因此才必须提前内置那些他们希望在经济上有价值的技能。
RLVR：Reinforcement Learning with Verifiable Rewards，指带可验证奖励的强化学习
另一种反驳是，即使模型能够在工作中学会这些技能，把它们一次性在训练阶段学好，总比为每个用户或每家公司反复学习要高效得多。
确实，把对浏览器、终端等常用工具的熟练度预先内置进去是很合理的。AGI 的一个关键优势，本来就是不同实例之间可以共享知识。
但人们严重低估了大多数工作对公司特定、情境特定技能的依赖程度，而目前 AI 并不存在一种稳健且高效的方法来习得这些技能。
人类劳动力之所以有价值，恰恰是因为训练成本并不笨重
有一次我和一位 AI 研究员以及一位生物学家一起吃饭。那位生物学家说她认为 AI 的时间线很长。我们问她觉得 AI 会在哪些地方遇到困难。
她说她最近的工作加入了看切片的部分，判断某个小点到底是真正的巨噬细胞，还是只是看起来像。AI 研究员则回应说：图像分类是深度学习的教科书级问题，这个很容易训练。
我觉得这段对话非常有意思，因为它揭示了我和那些期待未来几年出现颠覆性经济影响的人之间的一个关键分歧。人类工作者之所以有价值，正是因为我们不需要为他们工作的每一个小环节都搭建笨重的训练闭环。
针对某个实验室特定的切片制备方式，单独训练一个模型来识别巨噬细胞，然后再为下一个实验室、下一个微任务重复一遍，这在整体上是得不偿失的。真正需要的是一种 AI，能够像人类一样，从语义反馈或自我驱动的经验中学习，并且实现泛化。
每天，你都要做上百件需要判断力、情境感知，以及在工作中习得的技能和背景知识的事情。这些任务不仅在不同人之间不同，甚至同一个人前后两天做的事情都不一样。
仅靠预先内置一组固定技能，连一份工作都无法完全自动化，更不用说所有工作了。
事实上，我认为人们严重低估了真正 AGI 的冲击力，因为他们只是把现在这一套无限延展。他们没有意识到，真正的 AGI 意味着服务器上运行着数十亿个类人智能体，能够复制、融合彼此的全部学习成果。
说清楚一点，我确实预计这种意义上的 AGI 会在未来一二十年内出现。这实在是太疯狂了。
所谓经济扩散滞后，其实是在为能力不足找借口
有时候人们会说，AI 之所以还没有在企业中广泛部署、在编程之外创造大量价值，是因为技术扩散本来就需要很长时间。
我认为这是一种自我安慰，是在掩盖一个事实：这些模型根本就缺乏创造广泛经济价值所必需的能力。
Steven Byrnes 就这一点以及许多相关问题写过一篇非常出色的文章：
新技术需要很长时间才能融入经济体系？那你不妨问问自己：那些高技能、有经验、有创业精神的移民，为什么能够立刻融入经济体系？想清楚这个问题之后你就会发现，AGI 也能做到同样的事情。
如果这些模型真的相当于“ 服务器上的人类”，它们的扩散速度会快得惊人。事实上，它们比普通人类员工更容易整合和入职，可以在几分钟内读完你的 Slack 和 Drive，并立刻提炼出你其他 AI 员工掌握的全部技能。
而且，招聘本身就很像一个柠檬市场，很难判断谁是好员工，招错人的成本也非常高。但当你只是启动另一个已经验证过的 AGI 实例时，这种问题根本不存在。
柠檬市场是指在信息不对称条件下，消费者难以辨别商品质量而倾向压低支付价格，结果优质商品退出、市场逐步被劣质商品主导的现象。
因此，我预计把 AI 劳动力引入企业会比招聘人类容易得多。而企业一直在不断招人。
如果能力真的达到了 AGI 水平，人们完全愿意每年花费数万亿美元购买 token，因为知识工作者每年的总薪酬本身就高达数十万亿美元。
实验室当前收入差了四个数量级，原因只有一个：模型距离人类知识工作者的能力还差得太远。
调整目标标准是合理的
AI 多头经常批评 AI 空头不断调整目标标准。这种批评在很多时候是成立的。过去十年，AI 确实取得了巨大的进展，人们很容易忽视这一点。
但在某种程度上，调整目标标准是合理的。如果你在 2020 年给我看 Gemini 3，我一定会确信它能够自动化一半的知识工作。
我们不断攻克那些曾被认为是通往 AGI 的关键瓶颈，比如通用理解、少样本学习、推理能力，但我们依然没有 AGI。如果把 AGI 定义为能够自动化 95% 的知识工作岗位，那理性的反应是什么？
一个完全合理的结论是：原来智能和劳动比我以前理解的要复杂得多。尽管我们已经非常接近，甚至在很多方面已经超过了我过去对 AGI 的定义，但模型公司并没有赚到数万亿美元这一事实，清楚地说明了我之前对 AGI 的定义过于狭隘。
我预计这种情况在未来还会不断发生。我预计到 2030 年，前沿实验室会在我一直关注的持续学习问题上取得显著进展，模型的年收入将达到数千亿美元，但它们仍然无法自动化全部知识工作。
到那时我可能会说：我们取得了很大进步，但还没到 AGI。要实现万亿美元级别的收入，我们还需要 X、Y、Z 这些东西。
模型在“ 看起来很厉害” 这件事上的进步速度，符合短时间线派的预测；但在“ 真正变得有用” 这件事上的进展速度，却更符合长时间线派的判断。
预训练规模化的经验不一定使用于强化学习
在预训练阶段，我们看到的是一种极其干净、普适的趋势：随着算力跨越多个数量级，损失函数稳定下降，尽管这是一个幂律关系，是指数增长的反面 （albeit on a power law, which is as weak as exponential growth is strong）。
人们正试图把这种几乎像物理定律一样可预测的预训练规模化经验看法，转移到 RLVR 上，用来支撑对后者的乐观预测。
但事实上，RLVR 并不存在任何拟合良好的公开趋势。当一些勇敢的研究者试图从零星的公开数据中拼凑结论时，得到的结果往往相当悲观。
比如 Toby Ord 写过一篇文章，巧妙地把不同 o 系列基准图表联系起来，得出的结论是：要获得类似 GPT 级别的提升，强化学习的总算力规模可能需要提升到一百万倍。
与人类分布的对比，会先让我们高估 AI，然后再低估它
不同人类能够创造的价值差异巨大，尤其是在存在 O-ring 理论描述的白领工作中。
一个“ 村里的傻子” 对知识工作几乎没有价值，而顶级 AI 研究员对马克· 扎克伯格来说可能价值数十亿美元。
O-ring 理论：在由多个关键环节构成的高价值工作中，整体产出是“ 乘法关系”，任何一个环节出错都会让全部价值大幅归零，因此顶级能力的价值会被极端放大。
但在任何一个时间截面上，AI 模型的能力基本是齐平的。人类存在巨大差异，而模型没有。
由于知识工作中相当大一部分价值来自最顶尖的那一小撮人，如果我们把 AI 模型的智能水平与“ 中位数人类” 相比，就会系统性地高估它们能创造的价值。但反过来说，一旦模型真正达到了顶级人类的水平，其影响力可能会是爆炸式的。
广泛部署带来的智能爆炸
人们花了大量时间讨论纯软件奇点、软硬件结合的奇点，以及各种变体。
但这些设想都忽视了我认为 AGI 之后能力继续提升的主要驱动力：持续学习。再想想人类是如何在任何领域变得更强的，主要来源就是相关领域的经验。
在一次交流中，Beren Millidge 提出了一个很有意思的设想：未来可能是持续学习的智能体走出去做具体工作、创造价值，然后把所有学习成果带回一个蜂群心智模型，由它对所有智能体进行某种批量蒸馏。
这些智能体本身可以高度专门化，包含 Karpathy 所说的“ 认知核心”，再加上与其具体工作相关的知识和技能。
持续学习的“ 解决” 不会是一蹴而就的成就，而更像是上下文学习的解决过程。
GPT-3 展示了上下文学习的巨大潜力。但我们并没有在 GPT-3 出现时就“ 解决” 上下文学习，从理解能力到上下文长度，仍然有大量改进空间。
我预计持续学习也会经历类似的演进过程。
实验室很可能在明年发布一些他们称之为持续学习的功能，这确实算是向持续学习迈进了一步，但要达到人类水平的持续学习，可能还需要 5 到 10 年的进一步发展。
这也是为什么我不认为第一个在持续学习上取得突破的模型会立刻获得失控式的领先优势。
从部署中学习 （learning-from-deployment） 的收益也很可能存在边际递减。前一千个咨询型智能体会从部署中学到很多，接下来的一千个就少一些。至于第一百万个实例，真的还有可能看到前面 999999 个都没看到的重要东西吗？
此外，我有一种主观判断：竞争仍将保持激烈。过去那些被寄予厚望的飞轮机制，几乎都没能削弱模型公司之间的竞争。
几乎每个月，头部三家都会在领奖台上轮换位置，其他竞争者也并没有落后太远。似乎存在某种力量，一直在消解任何一家实验室可能获得的失控式优势。
精选评论
Will Michaels：似乎人类能够快速学习的原因之一是，人类可能产生的误解空间受到严格限制，并且在很大程度上是可预测的。例如，在学习微积分时，大多数容易出错或产生混淆的点都非常常见，因此在教授他人时可以直接指出。
而 AI 所犯的错误既不可预测 （同一个 AI 在不同情况下会犯不同的错误），又不直观 （我们无法准确判断 AI 什么时候可靠，什么时候不可靠）。
这就导致要创建一个能够既识别所有可能错误，又对其进行正确惩罚的学习环境，变得异常困难。
这当然和你关于持续学习的更广泛观点相关。如果我们能够设计出一种模型架构，使 AI 的失败方式变得可预测，那么这似乎将是迈向持续学习的一大步。
Argos：文章写得不错，但我觉得你可能有些过于自信。我感觉你引用的那些报告对你所作出的强烈论断支持力度很弱，而且也可以有其他解读。
OpenAI 在其强化学习训练流程中使用了大量高度专业化的技能，这表明强化学习训练并不真正具备泛化能力。
实际上，被引用的文章只是说 OpenAI 雇了一些华尔街人士来生成数据。我觉得更可能的情况是，OpenAI 想利用这些数据在短期内为高付费客户提供专业化模型，而不是作为他们通向 AGI 的通用方法。相反的证据可能是 OpenAI 从经济的更多不同领域获取类似数据。
AI 还没有被广泛部署，这表明我们还没有达到 AGI。
确实如此，但那些更合理、预期短时间内会出现 AGI 的人并没有说我们已经达到了 AGI。如果你有一些表现不错但不够可靠、无法完全匹配人类能力的智能体，那么扩散缓慢是一个合理的论据。据许多观点来看，Claude Code 非常有用，但如果让它作为自主员工，它就毫无用处。
注意，Claude Code（CC） 释放了模型的价值：使用 Claude 的聊天界面来编程会大幅减少价值增益，而且使 CC 达到目前水平也需要大量工程努力。如果 CC 和其他编程智能体不存在，你就会错误地认为最前沿的模型在编程上用处没那么大。目前很可能，模型在许多其他具有经济价值的任务上的价值增益，也正受制于有人投入大量资源来搭建这种“ 支撑体系”。
Daniel Kokotajlo：精彩的文章！一些想法：
（1） 在 《AI 2027》 的设想中，持续学习会逐渐被解决。在 2027 年初之前，它只是对现有范式的增量改进—— 例如找到让模型更频繁更新的方法，比如每月、每周更新，而不是每几个月更新。然后在 2027 年中期，由于研发自动化带来的加速效应，它们会变得更加系统可靠、实现范式迭代并且更像人类。
我仍然预计类似的事情会发生，尽管我认为可能需要更长时间。你在上文中说过“ 这些愚蠢、不具备持续学习能力的 LLM 智能体怎么可能学会持续学习呢？” 我认为答案很简单：它们只需要显著加速通常的 AI 研发过程。举个例子，如果你觉得以当前算法进展的速度，持续学习还需要 10-20 年，那么如果你也觉得 Claude Opus 7.7 基本上能够自动完成所有编码工作，并且还可以很好地分析实验结果、提出消融建议等，那么合理的结论是：几年后，原本剩下的 5-15 年时间可能会被压缩到剩下的 1-3 年。
（2） 现有范式确实似乎需要比人类更多的 RLVR 训练数据才能在某项任务上表现良好。确实如此。然而一旦足够强大，上下文学习 （in-context learning） 也可能基本上成为一种持续学习形式？也许，通过足够多样化的 RL 环境，你可以实现类似预训练在常识理解上达成的效果，但用于智能体的自主能力。你可以获得通用型智能体，它们可以被直接投放到新环境中，并在执行过程中自行摸索，同时在它们的草稿板/链式思维 （CoT） 记忆库文件系统中做笔记。
也可以考虑集体而非单个 LLM 智能体，就像“ 公司中的公司”（由智能体集体构成的集体）。未来，这个集体可能会自主管理一个庞大的包含数据收集、问题识别、RLVR 环境生成等各方面的处理流程，这个流程本身就像是集体的持续学习机制。例如，集体可能自主决定学习某项技能 XYZ 很重要 （可能是因为分析轨迹、与客户交流并了解有限的 XYZ 技能如何阻碍它们的工作），然后它们可以调动相当于数千名工程师的劳动力来搭建相关环境、进行训练、更新模型等。
集体仍然可能需要例如比人类多 1000 倍的数据才能在某项任务上表现良好，但因为它拥有数万份复制在外收集数据，并且智能地管理数据收集过程，它总体上能够比人类更快速地学习新技能和完成工作。（至少对于那些可以通过这种方式解决的技能和工作而言。但是其他的，比如赢得一场战争的技能，它无法通过这种方式学习，因为它不能把 1000 个副本投入到 1000 场不同的战争中去。）
更多精彩内容，关注钛媒体微信号 （ID：taimeiti），或者下载钛媒体 App