文 | 硅谷 101
从 ChatGPT 掀起生成式 AI 浪潮到现在，不过短短两三年，AI 能力的进化速度已经让"AI 自我进化"这件事从科幻走进了现实。上个月，Anthropic 在一份公开报告中预测，AI 未来将进入"递归自我提升"（Recursive Self-Improvement, RSI） 阶段，并呼吁人类共同为 AI 的发展设计出一个减速或暂停机制。
AI 自我进化会以多快的速度到来？未来的 AI，它会在通往真理的道路上与人类并肩作战，稳步破解医学、气候等种种难题，还是会在暗处走向失控？
本期播客，泓君邀请到专注做 「发现模型」 的 AI 公司 Apodex 的两位首席科学家，Simon 杜少雷 （推理模型与训练方向，华盛顿大学计算机系副教授） 和 Beibin Li（自我进化与编程方向），聊聊 AI 自我进化离我们有多远。
Apodex 是一家陈天桥出资创立并亲自主导的公司，这家公司给自己的定位非常特别，他们只做一件事——Heavy Duty Solver，专啃那些没有标准答案、人类自己都不知道从哪下手的难题。他们管自己想做的模型叫做 Discovery Model。不是从已知的信息里面找答案，而是要提出人类还没有想到过的假设，自己想办法去验证它，去解决这个世界上还没有被解决的科学难题。实现这一切的方法路径，就是 AI 的自进化。
嘉宾预言，最快半年，AI 就能跑通一次完整的自我进化闭环。但要实现持续的、可靠的递归提升，模型需要具备 「自我验证」 能力，成为自己的考官。这很像人类科学家的基本功：大胆假设，小心求证。而要让 AI 做到这一点，关键的前提是——让它拥有科学家一样的品味和判断力。
以下是这次对话内容的精选：
泓君：今年有一个词很火，就是 RSI。我发现大模型，每年都有一些新的方向出来，前几年我们在聊的最火的是 Deep Research 深度研究，再到 Coding 代码方向，今年就到了自进化 Self-evolve 的方向……这后面有没有一个核心的主线？
Beibin：我感觉从训练的角度来看，其实是同一个能力在提高，就是长链推理的能力。不管是在 Deep Research 还是 Coding 这些环境下，其实它的内核都是一样的，只是它的方向有一些细微的区别。
我们说的 「自我进化」 这个概念，其实并不是一个新的概念了——我就不说远的了，我就光说语言模型的自我进化，往前推的话也可以推到大概三年前左右。那个时候 Google 就有一篇论文叫做 「LLM as Optimizer」，就是说用大语言模型当作一个优化器，可以优化不同的东西。当时我在 AutoGen 那边，也有和同事出一个类似的概念叫做 Agent optimizer，就是智能助手可以自己进化、自己优化自己。
只不过这两年大家发现模型的能力越来越强了，它可以自我优化的东西越来越多了。就比如说 Anthropic 有八成的代码是可以自己写的。训练模型不管是从哪个角度来说，从合成数据的生成、自然语言数据的清理，还是自我训练学习的代码、算法，以及 infra 底层代码，其实它都是一种代码的形式。一旦模型的写代码能力变强了，用它来进行自我提升、自己训练自己，其实是非常自然的一件事情。
泓君：Beibin，你之前的背景是一直在关注模型的自我进化这条线是吗？要不要简单介绍一下自己的背景？
Beibin：我最开始是在微软研究院做多智能体的合作。那个时候我们不叫做自我进化，那个时候智能体都是一个比较新的概念，所以大家一般对外说都是说智能体，但是实际上我同事的一些工作就已经涉及自我进化了，当时我们叫做 「agent optimizer」 和 「teachable agent」，智能体可以教智能体，下一次再做类似的事情的时候可以用哪些技能，和现在的 Skills 概念有点像。
后来我去了 Meta 和 xAI，在 xAI 的时候，我们就已经开始关注 Agentic RL，就是通过强化学习来加强智能体的一些能力，比如说用工具的能力、写代码的能力。当时还有个概念叫做 MCP Tools。
所以 Simon 和我大概一年前左右就发现了，模型提高自己是非常可行的一件事情，我们当时做的一些强化学习的数据生成，其实有很大一部分是代码写的。到今年年初的时候，Andrej Karpathy 发布了 AutoResearch，是他自己进行科研的一个项目，突然一下这个概念就爆火了。
泓君：非常好的自我进化的总结。我觉得今年大家在提到自我进化的时候，说的是一种递归自我提升，Beibin 你要不要跟大家解释一下这个概念。
Beibin：如果大家把自我进化想象成一个圆环，比如说模型自己找问题，自己出题，自己解答，自己训练自己，那 RSI 里面的 「R」 就代表是 「Recursive」，就有点像垂直的递归式，慢慢慢慢向上增长。这一点确实是跟以往的一些自进化有一点点不一样。
今年跟往年的最大的区别就是在于模型的能力变强了。比如说 Anthropic 发表的论文或者是说发表的博客有提到 80% 的代码是它们写的，他们可以做人类大概一天左右时间做的事情。这个能力上来了之后，因为它是可以完成非常长程的任务，所以在一个长程的任务里面，这个模型可以提高自己好几遍。
过去，比如我们说 LLM as Optimizer 或者是 agent optimizer 的时候，LLM 只会一次可能优化自己大概两三个小时，因为你优化太久了，它可能因为自己的偏差或者自己的能力不足，就很难继续往下迭代。今年为什么这个 recursive 这个 「R」 出来了？因为大家发现这个模型可以进行很长程的任务，所以它可以让这个模型自己 recursive，多提高几遍。
图片来源：Anthropic Institute
泓君：我看这篇文章里面有一个数据，就是说 2024 年 3 月份，Claude 3 的 opus 它可以完成人类约 4 分钟完成的任务；一年后，就是 3.7 sonnet，就可以处理需要 1.5 小时处理的任务；又过了一年，这个 Claude 4.6 opus 可以处理长达 12 个小时的任务。整个我们看到大模型的改进速度是在翻倍的，而且这个比我们计算机领域的经典的摩尔定律翻倍的速度还要快。
Beibin：是的，业界各家都有不同的说法，但是好像大家比较接受的判断是，这个模型能做到的事情对于人类时间来说，每 7 个月会翻一倍。
泓君：刚刚提到 RSI，它可以处理长程任务，我们理解这个长程，是不是可以理解成它是一个需要很多个步骤、很多个环节来互相印证的的一系列任务？假设做播客，它能从开始的规划一直到最终这个播客做出来，中间可能有十几个步骤，它能把每一个步骤都做好，长程任务是指这个意思吗？
Beibin：不同的人对长程的定义也有点不一样，但是大家都同意这一点，就是模型可以自己在人类不监督的情况下可以工作很长。像您刚刚说的对于播客文件处理，比如说这个模型可以先剪切一下这个音频，自己听一遍，发现哪里剪得不对重新剪，这样可以循环几次，然后就可以进行到下一个点。这种任务可能平时对一个人类来说可能要花 20 个小时或者 30 个小时可以做完。如果模型可以在没有人类监督的情况下把这个任务完成，我觉得它就完成了这个长程的任务。
泓君：它是怎么做到的呢？
Beibin：这里就有非常多的技术细节。首先就是在模型的架构上就要进行一些创新，比如说传统的 Self-attention 其实是一个 O(n²)，就是我们在算法领域说的是一个 Polynomial time 的算法，所以当我们的 tokens 比较多的时候，特别是在 100 万个上下文的时候，模型首先就是在推理的时候就会花非常多的资源，这个我们有很多现成的解法，就比如说 GDN、GDNv2，DeepSeek-V4 Pro，它也有自己的一套架构。
第二就是训练数据，我们要 100 万上下文，Inference support 其实不是特别难，我们只要把模型训练好了，放到 SGLang 或者 vLLM 里面，给它参数都设置好，它可以支持 100 万上下文甚至更多的上下文。但是如果你的模型没有在这种非常长的数据下进行训练的话，那它可能就是我们所谓的 Out of distribution，因为 100 万上下文是非常非常长的一个概念，相当 《哈利·波特》 好几部书放在一起，而我们的代码即使是最大的 repo 也很难满足这 100 万的上下文。所以在预训练和后训练的数据处理上也是非常大的一个挑战。
第三点就是 infra 也是一个难度，不仅是说在测试时的 Infra，而且是在训练时候的 infra，因为你要如果让这个语言模型就直接输出 100 万个 token 的话，我们需要比如说在 GPU 上做一些什么样的优化，在 kernel 上改一些什么样的代码，这些也是非常困难的事情。所以这个就是为何训练这种长程任务相对于普通任务会是指数级的难度增长。
Simon：真想解决长程问题的话，从 agent 架构上也可以有很多可以做的。因为即使是我们有 100 万的上下文可以处理，但是真正长程的任务可能都还是不止 100 万，我们需要在有限的上下文里处理甚至无限的上下文。那怎么做呢？还是需要一些比如说 agent 技术、记忆的技术等等，去处理这种超长程任务所涉及的超长上下文这样的问题。
泓君：我们听起来很简单，但是这个中间可能涉及到了很多具体细分的技术体系。之前我记得 Beibin 你有讲过，训练一个模型其实本质就是 Data 数据、infra 基础架构和算法这三件事。其实这三件事都高度地依赖写代码。所以我们今天看到像 Claude 它能表现出这么强的基础模型的研发能力，主要是因为它 coding 能力的提升。自进化的能力它也是跟 coding 的能力是紧密相关的，我可以这样理解吗？
Beibin：我基本上同意这个看法。所以 coding 它会变成模型的一个标配的底座，但并不是所有模型——比如说聊天型的模型可能不太需要写代码的能力。当然了，聊天型的小模型可能也是通过一个大模型进行蒸馏的，所以它背后的这些大模型肯定还是需要高度优化写代码的能力的。
泓君：我发现在学术界，自我进化还有一个很根本的障碍——「递归漂移」。它的意思就是说，模型在自己去生成它的训练数据的时候，它推理的错误会一代一代去累积。比如我们看它给出的一个答案，答案的结果可能是对的，但是它的推理过程可能是错的，在自我进化的过程中，它就会把这个错误一代一代累积，最后进化的结果可能就越来越歪。这是两位在真正的训练模型中遇到的一个比较根本性的难题吗？
Beibin：我非常同意这个看法。Apodex 有一个不一样的地方，就是我们比较注重 verification，就是 「自我验证」。模型自己在训练自己的时候，如果它的验证有任何的漂移或者是 bias 的话，会对结果造成不好的影响，因为它可以累积起来。在做比如说写代码和做数学计算的这些任务的时候，我们比较容易验证，可以通过 rule-based，通过跑一套测试代码来确定它有没有对，所以，在代码领域相对来说更好解决 Recursive drift 的问题。
当然了，如果对代码领域有了解的一些专家可能还会发现，即使是有 test script，即使有 test code，它其实偶尔还是会发生漂移——因为不管是人还是 AI 在写测试代码的时候，可能偶尔会太宽，偶尔会太窄，太宽的时候可能会让错误的解题代码通过，但如果太紧的话有时候会惩罚写得对的代码。所以这种情况下还是还会发生细微的递归漂移，但是它会简单很多。
泓君：我其实很好奇，你们怎么去做验证？因为我知道，验证是你们主打的一个核心功能。我去试用了一下你们的产品，收到了一封邮件，这个邮件的标题非常有意思，它叫做 「很多 AI 系统生成答案，而 Apodex 验证它们」。后来我才知道，原来你们公司的名字 Apodex 它是源自于一个希腊语 「ἀπόδειξις」，它的意思就是证明跟论证，所以相当于你们从成立的开始，就把验证、较真写到了名字里面。
图片来源：Apodex
Simon：验证这一步，我们有很多套方法。因为不同的领域确实需要不同的验证方法。比如说代码，一般来说你可以用单元测试进行验证，数学现在有 Lean 这种形式化验证的方法去验证。
但不得不说，还是有很多的问题更依赖于人的一种判断，甚至都并不是一种 100% 正确或不正确。这种时候我们其实是依赖一个 Agent 系统去做我们现在 Apodex 1.0 的验证的，我们管这个叫 Agent Team。大概就是说，一个问题最开始会分解，我们会有不同的子 agent，有的是去解决这个问题，也会有另一个子 agent 单独地去验证另一个子 agent 写出来的解法。之所以要分成两个子 agent，还是因为上下文的问题，不要让一个 agent 干所有事情，同时两个 agent 给它的指示也不太一样。
除此之外还有一些比较重要的技巧，比如冗余。这个冗余的思想在计算机里面有很长的历史了。同一个问题你让不止一个 agent 去做，我们会得到不止一份答案。当我得到不止一个答案之后，我们会让一个全局 agent 去判断，哪个 agent 反馈的答案更准确，这样会比只用一个 agent 去解一个方面的任务效果好很多。
这是从 agent 方面我们有这些设计去做一些验证。在训练的时候，我们也会专门针对验证去训练一些能力，比如说我们会让 agent 去判断一下不同信息源搜集的信息哪些是更靠谱一些。
Beibin：另外我们在进行强化学习的时候，我们的裁判也会在训练的过程中一起学习，这样可以避免模型学会一些不好的行为，可以避免它进行一些奖励黑客（reward hacking，指寻找取悦裁判的捷径但没有实际进步）。
泓君：你们现在是怎么做自我进化的，现阶段是有哪些路径可以去达成？
Beibin：我们其实在自我进化的时候，把它分成了不同的阶段。我们有预训练和后训练阶段。预训练阶段的话就是在数据的采集、清理上面会进行不同的自我进化的一些方法。在后训练里面，自我进化可能更加有效一点，因为我们在一个模型出来经过了后训练之后，我们才知道它会有一些什么样的问题。
所以我们的后训练自我进化就包括：诊断自己有什么症状、哪里不达标，然后基于自己的诊断来造不同的训练的配方；拿到自己训练的数据和配方来自己训练自己，验证自己每一步做的是否正确；最后回到第一步，再诊断自己有什么缺陷。
另外在脚手架 harness 上面，我们也有一些自进化。脚手架和后训练其实挺难解耦的，所以模型在后训练上进化之后，我们的脚手架也会进行一个新的进化。你可以把它想象成两只不同的脚，左脚会踩一下，右脚会踩一下，让这个模型往前跑。
泓君：我理解刚刚根据 Beibin 你说的，你们所有的三种方式——预训练、后训练，包括整个 Harness 的环境，全部会用到？
Beibin：对的，因为我们公司是把自我进化当作是主要的方法论，所以我们在每一个方面基本上都会用到自我进化的思想。
Simon：我稍微补充一下，搜索能力对于后训练是非常重要的。因为后训练绝大部分的方法就是说，假设你的模型已经可以判断出来当前这个模型有什么缺点，那么它需要去针对性地造一些任务以及对应的答案去提高模型这个能力。造任务其实非常依赖于搜索能力，基本上你造任务还是需要去网上搜索对应的一些相关的资料，然后造出对应的题目。所以搜索本身是一个非常重要的能力，也是我们最初先做 Deep Research 的原因。
因为 Deep Research 是一个非常 general 的能力，其中搜索可能是一个非常本质的能力，它代表了当你的模型需要提高哪个能力的时候，它可以指引或找到对应的这些数据去提高对应的能力。
泓君：我注意到你们现在是在好几个 Deep Research 的榜单上都拿了第一名，要不要讲一下？
Simon：这些包括 BrowseComp，这是 OpenAI 研发的基准测试，还有 DeepSearchQA、Frontier Science，这些是 Frontier Lab 出基准测试。
BrowseComp 其实它更关注的就是搜索能力，会有特别刁钻的一些问题，比如说我要搜索一本书它是几几年之前出的，它的首字母是什么 ZY，大概这样的一些问题。这方面我们是 SOTA（最高水准），比包括闭源模型都好一些。
Frontier Science 更多的是给你一个实际的科研问题，看你能不能制定一个计划，一步一步地去做。它会用一个 LLM-as-a-Judge，去判断你的步骤合理不合理。
这两方面我们都做了深入研究，造出了对应的题目，去提高我们模型的能力。还有一方面就是我们之前讨论过的 Agent Team 整个的范式，包括 verification 验证，还有通过更多的冗余去判断，得到一个更全局的结果，最后生成一个答案。这整个的系统让我们拿到了 SOTA 的水平。
泓君：我注意到你们在 Deep Research 的后训练环节，其实你们相当于是用一个整个的 agent 的团队去替代单个 agent 的验证的，一个说复杂的任务能调动上百个子的 agent。你会认为是一个聪明的 AI，反而干不过一个会相互 check 的团队吗？
Simon：对，我非常相信这一点，因为这是目前我认为是基于 Self-attention 结构的一个本质问题。而且我认为即使你用 Linear Attention 这样一些新的结构，应该也解决不了超长上下文这样的问题。上下文越长，Attention 的注意力效果就越差，所以你单个模型至少在目前的技术范式下它还是有上限的。
当然这个跟人类也很像，就是说人的脑子它还是有限的，所以你才需要纸笔把一些信息记录下来，然后之后你再调用它。至少在近期，我其实不太相信你用一个 agent 能解决特别特别长的上下文的问题，所以这种时候你就需要多个 agent 以及记忆力机制，整个的一个系统去解决一些超长程的问题。
泓君：接下来可能是聊到我最兴奋的一个板块了。Apodex 它是要做 discovery model，发现模型。Simon，你要不要跟大家先介绍一下整个 Apodex 它是一个什么样的模型？
Simon：我们的长期愿景是 Heavy Duty Solver。我们强调的是解决很难的问题，而不是聊天机器人这样的大模型初期的一些应用。我们的手段是通过自我进化，这是我们一直在强调的。我们相信大模型最终是能解决人类之前解决不了的这些问题。从经济的角度来说，现在大部分的模型厂商都是在卖 token，但我们相信真正通过大模型去解决了一些人类没有解决的问题，那么解决问题本身所创造的价值应该是远大于卖 token 的价值。我们这边也有一个专门的团队，叫 Heavy Duty Discovery，就是专门去找到最难的问题的一个团队。
泓君：Heavy Duty Discovery 团队现在具体是在找哪些问题？
Simon：第一步是生物医药，包括制药、靶点发现、老药新用，也包括疾病诊断。很多问题确实是非常具体领域的问题，所以我们需要一个专门的团队去找到什么样的问题是合适去解决的。
泓君：那很期待你们的下一步。我发现你们要做的是 discovery model（发现模型），而不是 generative model（生成模型）。Beibin 你要不要跟大家解释一下这两个模型它在根本上的区别是什么？
Beibin：让模型提出一个假设，其实并不是特别难的，但是难的就是提出的这个假设特别的 out of distribution（分布外），非常有创新性，这是第一。
第二个更大的难点是说，我们要怎么样验证这个假设？当然这个跟怎么样做 Verification、怎么样自我验证也是强相关的一个部分。比如说可以用 Deep Research 的方法收集已有的信息找更好的假设，也可以用写代码或者是 Self verification 这些方法来跑一些实验。如果我们能在计算机上跑一些比如说模拟的话，也可以让我们对这个提出的新假设更加有信心。
所以发现模型的瓶颈，第一就是未知领域，其实很难有标准答案，也很难在这种模拟环境得到可信的验证。所以 self-evolution（自我进化） 是我们通向 Heavy Duty Solver 和 discovery 的一个主要方法。
泓君：刚刚你说到 Discovery model 的时候，提到了我们要做很多假设然后要去求证，其实这让我想到了科学领域最基础的一个方法——大胆假设，小心求证。我觉得这其实也是我自己开始做记者、做报道的时候一直在贯彻的一个价值观。
大家以前一直对模型的印象就是，它能从网上、从人类现有的知识库里面找到已知知识的答案就已经很不错了。现在模型的智力怎么样才能够让它做到理解贯穿人类的知识，同时还能提出问题、发现问题？这已经不是让 AI 去做一个解题者了，这个更像是让 AI 去做一个科学家，是很难的。
Beibin：这是现在的一个难点。因为怎么样训练一个 Generative model，市面上已经有非常多的可行性方法了，相关的训练配方其实也特别成熟。但是如何让这个模型进行一些假设和 discovery，这个其实是大家还在调、没有完全调通的一件事情。
回到刚刚你说的一点，怎么样像科学家一样在未知中提出问题？这里也可以再往下切细一点。比如说在写代码这个领域，比如说 SWE-bench Verified（OpenAI 推出的基准测试） 这种类型的题目，其实都是在训练模型怎么样做一个解题家，但是 「会提问」 其实是一个我们叫做的 「Meta 能力」，更高维的一个能力。这个其实也涉及到了我刚刚说后训练的一个 loop，就是要自我诊断，然后再自我造题，然后再自我训练。怎么样在这个模型现在的回答里面或者是所有收集的这些信息里面，诊断出哪里的能力有问题，或者是哪里的假设需要更深入地看，这个是我们接下来会注重的一个领域和方向。
Simon：在学术界，大家都知道有好的论文跟灌水论文，我们也想培养模型变成一个真正的好的科学家，那么你就需要培养一个非常好的 taste，就是学术品味。你提出一个新的问题，肯定需要先做 Deep Research 找到已有的知识，但是你提出什么样的问题其实是仁者见仁、智者见智的。你可以提出一个比较 Incremental 的问题，它可能比较容易，但是你可以发一个论文；但你也可以提一个比较 Fundamental 的问题，它可能不是那么容易解决，但解决了它真的是能让科学有所突破。
所以我们之后会进一步训练模型，会让它有更好的学术品味，训练方法上还需要跟人类最顶级的科学家去对齐。陈天桥陈总经常会让我们和一些顶级的科学家一起去讨论，请他们提供一些 insight 或者数据等等，去帮助我们模型有更好的品味。
泓君：顶级的科学家，他们有什么样的共性？我们从他们身上学到的特质，怎么转换成一种计算的方法，或者说是跟 AI 交互的方法？这块大家有什么样的思考吗？
Simon：我们一般说一个顶级科学家，不是看他有多少篇论文，是看他最好的论文质量有多高。所以我们一定要追求顶点，解答这些最本质的问题，这个甚至要写在模型宪法里。具体实操上，训练方法上还是目前已有的一些，比如说 RLHF（人类反馈强化学习）这种人类偏好、SFT（监督微调）或者 RL（强化学习）。
这里最简单的方法当然就是偏好了，比如说你问一个科学家两道题，他一般是能判断出来哪个是一个灌水题，哪个不是一个灌水题。经过这方面的训练，AI 也能判断出来，你应该让模型去多提一提非灌水题。
泓君：Beibin，你觉得在跟顶级科学家交互的过程中，你学到了什么，你觉得这些思想怎么可以用到模型的训练中去？
Beibin：其实 AI 马上就能进行自我进化了，我对这一点非常坚信不疑——要么是接下来半年，要么是一年，反正在接下来两三年内，肯定自我进化就会成功了。在那个时候，我们还需要顶级的 AI 科学家干嘛呢？或者是说，我们还需要人类干嘛呢？想来想去就是 「品味」 这个词。训练这些不同的模型的时候，我发现了这个品味是真的很重要。同样读完一篇论文之后，你可以想到一个非常小的改进，或者你可以想到一个非常长的、非常大的假设，但是要干非常多的活，要迈非常大的步子才能解决的问题。
我现在觉得，即使是市面上最好的模型，它的品味其实也是远低于一个普通的 AI 科学家的。这也是为什么现在 AI 写代码写得很好，但是还是不能把模型的训练全部自动化进行起来。所以我觉得接下来，不管是作为一个人类 AI 顶尖的科学家，还是说作为一个研究员、一个工程师在训练这个模型，都是需要把控模型的品味的。
这个其实是非常难的一件事情，因为如果大家用过很多不同种类的模型，大家会发现所有模型其实有一些通病——它们或多或少都挺喜欢拍马屁的。一个喜欢拍马屁的模型其实很难提出一个大胆的假设。另外除了拍马屁这个缺点之外，它还是有一点 hedging behavior，对冲的行为，就是 「……对，用户你说得非常对，刚刚是我的疏忽，但是我说得也没有错，你说得更全面……」 这些 AI 模型经常会用这样的方法来回答用户问题。
所以我们在训练 AI 时候，都会对模型的提出假设能力进行一个后训练。但是我们怎么样能保证我们训练的新的模型，不会出现鸡蛋里挑骨头的那种行为呢？这就是要品味来平衡——模型既不要拍马屁，也不要鸡蛋里挑骨头，能真的是实打实地提出一个非常好的假设，然后再把它验证出来。
泓君：你刚刚提到了模型拍马屁，用户说什么它什么就是对的，这确实是在我用很多模型的过程中，觉得最痛苦的一部分——它不会给你一个事实性的答案，它给你的永远是迎合你的那个答案。这一块是不是跟在训练模型的时候，把这个模型的参数往哪边调，给它注入什么样的人格特质是有一定关系？
Beibin：不管是哪家公司，在后训练的时候或多或少地会有一个 RLHF 的一个阶段。RLHF 它的来源数据基本上是用户投票的数据，也有可能是模型训练公司自己让员工去标的偏好数据。人不是完美的，所以人类作为本身就会可能有特殊的偏好，比如说偏好说好话、拍马屁的模型答案，可能偏好写得非常长的答案，可能偏好格式上非常的结构化，即使这个结构本身没有什么实际的意义。就是因为这种人为的一些偏差，才会让这个模型有不同的拍马屁的行为。
Apodex 因为想做 Heavy Duty Solver，所以我们不会用网上大众的这些人类的偏好来训练这个模型，所以可以或多或少地避免些许这样的问题。未来我们在训练这个模型的时候，肯定是想要最顶尖的人类来标这些偏好数据，或者是说给不同的模型答案打分，确保公正公平，也可以从数据源头稍微解决这些问题。
泓君：你刚刚提到了，既不要拍马屁的模型，也不要鸡蛋里面挑骨头的模型。我们知道了 「两个不」，那要做什么样的模型？要把什么样的人格注入到这个模型里面？大家有什么样的想法吗？
Beibin：刚刚我们其实是聊的品味，我把左和右 「两个不」 打出来，中间就是我们要的。不管是这个模型通过 research 找到了一些相关的信息，还是通过写代码得到了一些答案，有了这些所有的原始材料之后，这个模型要通过自己的思考、自己的推理来给出一个相对比较合理的解释。Agent Team 也能稍微把这个问题解决一点。
Simon：要解决拍马屁这个事情，我们要让模型做的就是，用户让我们做的事情，但如果我们觉得不合理，那么我们应该告诉用户，而不是去拍马屁。我们其实是有一整个系统去达到这样的目的的，包括我们的 Constitution AI（AI 宪法），这个概念 Anthropic 几年前就提出来了，这个给我们整个模型定义了一个性格，这个我们都是把这种性格训练在模型的权重里去实现它。当然还有很多比如说我们注重真实性，比如说如果用户说错了我们要去纠正他，那这样的里面的细节就是通过验证 verification 或者 Agent Team 整个的形式，或多或少会去验证用户说得对还是不对，然后我们会去反驳他。
至于什么样的问题是好问题，就是不在鸡蛋里挑骨头，这个确实是一个品味问题，这方面更多的还是通过和顶级科学家去聊，以及顶级科学家提供的一些比如说偏好数据等等，去培养这样的品味。其实这个也是和平时我们在学校培养 PhD 是一样的。我们公司有这种能接触到各行各业的顶级科学家的资源，这是非常重要的一点，所以这也是陈天桥陈总从一开始的一个愿景，就是说我们从一开始就要做 Heavy Duty Solver，所以我们就需要和顶级科学家进行对齐，然后去培养这样的品味。
泓君：这点提得特别好，我了解陈天桥先生跟很多主流顶级科学家都保持着非常密切的联系。我在想，人类的顶级科学家这个数据量的样本是非常小的，跟用更大量的数据去训模型来比，在里面它能贡献的核心的比例是多少呢？
Simon：是的，从数据这个角度来说，预训练方面确实需要大量的数据，所以才有 scaling law。后训练相对来说需求会少一些，而且现在已经有更多的方法去把一个人类的品格或者性质总结出来。比如说 Meta 最近也是在蒸馏员工等等，其实也是在蒸馏一些他们的性格或行为习惯。所以把人类的一些品格、性格去总结出来，还是慢慢地可以做到的，这也是一个比较新的方向。
泓君：我记得在音乐模型刚刚兴起的时候，就是 Suno 的那一波，当时我有问做这个音乐模型的科学家，我说 Suno 做的歌太一般了，我觉得它就是大街上的口水歌，我说它能做出像周杰伦、Taylor Swift 这些非常好的、有很好品位的歌曲吗？他当时给我的答案是：可以，但是这个事情它不是受限于技术，它是受限于版权。因为版权的因素，他们不敢拿顶级音乐人的歌曲去训练，所以他们用的就都是那种版权库里面一些简单配乐的歌。但是如果你真的用这些人类最精华、最好的歌曲去训的话，他觉得是完全可以训出来的。如果我们说用顶级科学家的品味去训模型，是不是也是同样的道理？
Simon：对的，我很同意这一点。我们人类能从一个婴儿成为顶级科学家，这条路其实也是别人给他的这些反馈，告诉他什么是好的、什么是不好的，而且得到的数据也并没有那么多。我们还是相信通过顶级科学家给我们的这些指导，我们可以拥有顶级科学家的品味。
泓君：我注意到，想让 AI 去做科学家、自己去做发现的模型，几乎也是所有顶级模型公司都在做的事情。比如 OpenAI 它已经把能自己扛下一个大型研究课题的 AI 研究员定成了未来几年的头号目标；DeepMind 它创立的那天起它也是为科学而生的，现在包括 Gemini，它也要去做多智能体的 Co-scientist，就是共同合作开发的科学家；Anthropic 的 Dario 也想要有一个国家级的科学家的天才。我听上去，现在所有的顶级模型公司都想去做科学家，都想让 AI 去做发现、去提出好的问题。你们进入了最激烈的战场。你们觉得 Apodex 它的核心优势是什么呢？
图片来源：Google Deepmind
Simon：这个我很同意，但首先这个战场的价值是很大的，因为它真正解决了一种难的科学问题，它是有很大意义的。这个世界上有那么多学科，其实你解决其中几个问题就已经足够说是一个很大的突破了。所以我觉得不止一家公司可以成功。
Apodex 这边的优势，我觉得就是我们比较专注，我们不是一个聊天机器人这样的模型，我们基本也不取悦用户的一些特别的偏好。其实到现在大模型的整个发展，更多比拼的就是一种执行力以及整个组织架构。我们还是一个非常小的 Startup culture，所以我们还是比较专注就做好 Heavy Duty Solver 这一件事情。
Beibin：我做所谓的 AI for science 这个概念已经做了有十多年了，我在读博士之前就在做 AI for science，当时主要是在医疗行业和自闭症用 AI。其实刚刚你说的现在很多公司都开始往 AI for science 做，我其实觉得并不是一个竞争，反而我觉得看到的是希望的曙光。
因为过去十几年来说，科学技术或者说 IT 技术 For science 其实是没有太多规模化的成果的。但是因为 LM、Generative model 和 discovery model 的技术的提升，我觉得在未来比如说 5 到 10 年真的做出非常有科研价值和现实意义的成果是有非常大的希望的。
这个世界上有价值的科研问题是无限的，但是我们人的精力是有限的，整个世界的 GPU 也是有限的。要怎么样在有限的 Resource 和资源里面找到最有价值的问题去解决，这个才是最重要的一步。
所以 Apodex 有一个 HDD 团队叫做 Heavy Duty Discovery，我们是有全职的员工，跟不同的顶级科学家交流，再从几千个科研问题里面找到最有价值的问题来做，这个可能是我们 Apodex 和市面上一些其他不同公司的一个比较大的区别吧。
另外我再补充一点，就是我们 Apodex 不是做 AI for Science，只不过 AI for Science 跟 Heavy Duty Solver 有非常大的重叠的地方。
泓君：AI for Science 跟 Heavy Duty Solver，区别是什么？
Simon：现在有很多模型它们叫垂域模型，就他们真的是会用大量某一个具体领域数据去训练这个模型，在这一个领域里的能力。但我们这边的 Heavy Duty Solver，我们还是一个比较通用的模型，我们会强调一些特别的元能力，包括验证能力、分析能力、搜索，还有 planning 这样的能力。这些元能力我们相信是对真正的一些难题都是有意义的这些能力，这是我们会去着重训练的，但我们不太会针对某一个特别的领域，去放进 50% 的数据，这个是我们不会去做的。
泓君：刚刚 Beibin 提到，AI 还有半年它就能完成自我的进化跟提升了，你能不能详细地解释一下它是什么意思？
Beibin：我说的半年是说最快可能半年之内能开始把闭环跑通。闭环的话，我觉得难度最大的其实是后训练。如果说 RSI 这个 「R」 要跑很多很多环，但我觉得它跑完一环应该会在半年到一年之后。比如说这个模型可以在随便一个领域，比如说 Coding for material science，可以在这里面发现自己写的代码会有什么问题，会造很多这样的训练环境和训练数据，在此基础上自我验证是否这道题训练完之后是有提升，以此迭代。它这样迭代一个 loop 一次循环，我觉得半年之内应该是能成功的。
因为 Anthropic 在这几个月也发过一篇博客文章说大概 80% 的代码是它自己写的，但是现在有一些问题——这个问题即使是现在市面上最强的模型也没有完全解决。但是从我们最近的一些观察和训练的结果来看，我觉得很快就会有一些突破了。
泓君：他指的问题是什么？就是没有解决的问题。
Beibin：问题有很多，但我觉得让我睡不着觉的一个问题就是，我们怎么知道这个模型在自我进化的时候它是满足人类的需求，它没有跑偏？这个跑偏可以是说在安全上面的跑偏，也可以是说在目标上的跑偏。如果我们只是简单地说 「你给我造一个更好的做材料科学的一个模型或者是一套算法」，它可能真的造出来了，但是它在你没有观测的一些点，就比如说成本，或者一些性能上，可能会有非常大的妥协。这个是我比较担心的，因为人和人交流的时候一般说需求会说得比较的模糊，但是特别是在训练模型的时候，如果你说得比较模糊的话，它可能就会——「我这边碰到了一个瓶颈，但是不管怎样，让我换一个方法来达到这个目标」。我们要对模型这个行为进行监控，我觉得这是最大的问题。
泓君：你觉得现在某种程度上这两个问题——一个是安全，一个是它达到目标不择手段的这两个能力，现在解决了吗？
Beibin：我个人看来还是没有解决，但我还是一个非常乐观的人，所以我觉得应该是很快就会有解决方法了。
泓君：从你的角度来说，有哪些方向的解决方案会让你现在觉得稍微安心一点？我能想到的一个方法是穷举尽可能多的可能性，但这样是不是有点笨？
Beibin：对，这里也是为什么我们还没有完成全自动化，我其实现在做的最多的一件事情就是在每天工作时间读这个模型的输出和读智能体的每一步的操作，确保它每一步的操作或者是说整一个大概都在我可以理解、可以控制的范围之内。一旦我发现比如说它这里有一些比较蠢的行为，或者是说我感觉有一点不太对的一些解决方法，我就会赶快停下这个智能体的 loop，稍微手动地改一改、调一调，让它进一步提升。
这个就是刚刚我们说的蠢方法，但是我现在是手调，未来能不能有一个智能体代替我帮我做手调？就是现在大家提的很火也是很搞笑的一个概念——员工蒸馏。能不能把我的日常工作蒸馏到这个智能体里面，甚至蒸馏到这个模型的 capability 里面？我觉得这个想法虽然说大家是说笑话，但我觉得是可行的。
如果我们在三个月之内能把我蒸馏到 Apodex 的模型或我们的脚手架里面，其实有很多我们现在每天在做的事情——不管是读代码、改代码，还是读模型的输出、读智能体的输出——都是能加速自我进化、自我迭代的流程的。
泓君：如果未来有了一个 Beibin 的 AI agent，它可以替代你去做监督、校验、验证的环节，那其实相当于 AI 就开始自己变成了一个考官，它所有的行为都是在模仿你的行为、你的品味、你的价值观去做类似的判断。那是不是说，当有了这样的一个 AI 以后，这一整套闭环就跑通了？这就是你说的还有半年的时间可以做到？
Beibin：RSI 里的 「SI」（自我提升） 就跑通了，「R」 可能还要再多花一两年时间。因为现在即使我们跑通了，我们每一次迭代之后或者说每几次迭代之后，其实还是要人为地去看有没有 recursive drift（递归漂移） 的问题。但是我有信心几年之内漂移的问题也可以完全解决。现在我们把这个漂移问题可以不停地缩小——假设现在普通的模型每一次可以漂移 10%，如果我们能把这个漂移降到 1%，那就会很好了，但是我们未来的目标是把它降到 0.1% 甚至 0.01%，这样我们可以非常有信心这个模型自我迭代比如说 3 个月、6 个月之后再回来看，它有没有超过我们 monitor 的周期，我们监控的周期不需要这么频繁了。
泓君：我们刚刚提到了，现在 AI 自我进化最后的一道坎。一个是提出问题的品味，一个是判断结果可不可信。一个是发现，一个是验证，这两个方向你们都在押注。你觉得这个品味，是谁的品味？它是科学研究员的品味，还是说它是创始人的品味？
Beibin：这是一个很好的问题。我觉得现在来说，大部分是 AI 研究员的品味，但是研究员的品味是直接被创始人的品味影响的。但是这一些我其实都不担心，我们的品味就只是给它热启动了一下，我相信，把这个线放长一点，放到五年之后，我们的品味对这个 AI 模型的影响会越来越小。就像 AlphaGo 在最初训练的时候是受到训练数据或者是说棋谱的影响很大，但到 AlphaZero 出来之后，它已经不是从人类的品味中学习这个技术了，而是会自我品味、自我回放、自我推理来学习，它有自己独特的一套品味。