（来源：invest wallstreet）

“递归式自我提升”既诱人又令人担忧

人工智能实验室Anthropic将于今年晚些时候上市，届时很可能成为史上规模最大的首次公开募股之一。这是因为该公司开发的聊天机器人 Claude 深受程序员喜爱，他们愿意为此支付高额费用。自 2025 年 2 月推出软件工程代理 Claude Code 以来，它已成为全球众多开发者的必备工具。这其中也包括 Anthropic 自身的代码：该公司表示，其 5 月份发布的代码中，超过五分之四是由 Claude 编写的。而在 Claude Code 推出之前，这一比例仅为“个位数”。

这些系统在输出质量和数量上都得到了提升。智库METR的一项权威基准测试显示，到2025年初，Anthropic公司的模型就能完成人类工程师需要不到一个小时才能完成的任务。该公司最新的系统甚至可以完成需要超过一个工作日才能完成的任务。

因此，当这家处于行业领先地位、遥遥领先的公司在6月5日呼吁世界“可以选择放慢或暂时停止前沿人工智能的发展”时，人们很容易对此表示怀疑。哪个市场领导者不希望自己的竞争对手停止追赶呢？

然而，Anthropic公司的领导层多年来一直担忧失控的人工智能可能造成灾难性后果，他们的担忧似乎是真诚的。最新一代的人工智能模型拥有如此强大的编程、工程和（即将成为）科学家的能力，以至于许多人担心它们可能是人类创造的最后一批人工智能。Anthropic公司的联合创始人杰克·克拉克认为，到2028年底，人工智能系统有60%的概率能够在无需人类干预的情况下创造出自己的后代。

那一刻标志着一个名为“递归式自我改进”（RSI）的闭环过程的开始。模型的第一版会产生第二版，第二版速度更快、功能更强大；第二版会产生第三版，第三版的功能又进一步增强。如此循环往复，每次迭代都会带来更大的改进。如果能够构建一个具备这种能力的AI系统，那么人类工程师就再也不需要构建另一个系统了。“对许多人来说，这或许听起来像是一个天方夜谭，但实际上可能是一种真实存在的趋势，”克拉克先生说道。

没有人能确切知道RSI会带来什么后果。由于人工智能（AI）可以不知疲倦地持续工作，一些人认为它很快就会催生出超级人工智能——就像“快速起飞”一样。人工智能的悲观主义者担心，超级智能将超出人类的控制，而RSI的开始标志着人类的命运将交到机器手中。然而，一个能够自我改进的人工智能很可能会面临速度限制，至少在初期是这样。

构建一个能够应对RSI的模型需要自动化一系列目前由人类执行的专业任务。目前，数据科学家致力于人工智能理论的研究，程序员则负责将其付诸实践。系统工程师构建基础架构，使玩具模型能够扩展到生产规模。其他人则寻找新的训练数据来源，或尝试各种方法来生成新的数据。协调和安全团队负责检查训练过程的产物是否会造成任何伤害，无论是有意还是无意。

并非所有团队都同样适合人工智能的辅助，而且在每个专业领域内，有些任务比其他任务更容易自动化。人类程序员无需编写任何代码就能完成工作的日子或许并不遥远，但人工智能要获得此前未数字化的科学论文集，可能还需要一段时间。这条“崎岖的前沿”将如何发展，并不总是显而易见的。设计新算法似乎是相对安全的工作之一，直到谷歌DeepMind的模型AlphaEvolve在2025年5月开始执行这项工作。它提出了一项改进方案，调整了谷歌数据中心的工作负载分配方式，节省了公司全球0.7%的计算能力，并找到了更高效的矩阵乘法方法，从而将谷歌旗舰大型语言模型（LLM）Gemini的训练速度提高了1%。

全面实现RSI需要这条链条上的每一项任务都实现自动化。然而，人工智能驱动的研发加速效应或许在此之前就能显现。乔治城大学智库——安全与新兴技术中心（ CSET ）今年1月发布的一份报告指出，“随着人工智能系统在人工智能研发中所占比例的增加，其生产力相比纯人工研发的提升幅度”可能会达到十倍、百倍，甚至千倍。报告警告说，在这种情况下，即使人工智能研发的某些环节最初难以实现自动化，“但加速发展的势头意味着这些瓶颈很快就能被克服”。

如今，没有任何人工智能模型能够构建自身的后续模型。但大型人工智能模型可以自主构建小型模型。在人类的帮助下，它们还可以构建其他大型人工智能模型。

今年早些时候，当时还是独立研究员、现就职于 Anthropic 公司的 Andrej Karpathy 训练出了一个功能与GPT -2 相当的聊天机器人。GPT-2 是OpenAI于 2019 年开发的大型语言模型。当时，GPT-2 模型需要 32 个最先进的芯片进行 168 小时的训练才能完成；而 Karpathy 博士仅用一台配备 8 个GPU（用于构建人工智能的专用芯片）的计算机，就仅用了 3 个小时就实现了同样的效果。经过几个月的努力，他将自己的模型 Nanochat 的训练时间缩短到了两个多小时。

今年三月，他将加速训练过程的任务交给了名为 Autoresearch 的人工智能代理。两天后，训练时间缩短至 1 小时 48 分钟，五天后又缩短至 1 小时 39 分钟。“我什么都没做，”卡帕西博士说道。相比人工训练，这一 18% 的提升令人瞩目，因为卡帕西博士本身就是一位才华横溢的人类：他是 OpenAI 研究团队的创始成员，并曾担任特斯拉人工智能部门负责人五年之久。

这些改进本身其实很普通。人工智能代理为训练运行选择了更好的初始值，扩大了LLM的“注意力”窗口范围，并注意到模型的注意力会游离。卡帕西博士说，这些改进都不算新颖。但他之前却忽略了它们。“这些改进累积起来，确实提升了Nanochat的性能，”他说。

随着模型能力的提升，这种速度的提升势在必行。构建TB级前沿模型的大部分工作远没有人工智能行业高薪和豪华办公室所展现的那般光鲜亮丽。它涉及将从第三方采购的基础设施层级整合起来，调试硬件和软件配置，并不断调整“超参数”（即训练运行的初始设置），直到结果稳定可靠。如今，人工智能系统几乎无需人工干预就能完成大部分此类工作。

但纽约Reflection AI实验室的研究员乔·斯皮萨克表示，即使是更精细的智力工作也正接近自动化。Reflection AI致力于构建开放权重（即参数公开）的前沿模型。只要给前沿系统一个提高效率的粗略想法，它就越来越能够设计实验，在小型模型上运行测试，观察哪些方法有效，并制定一个可以大规模实施的方案。

人工智能模型可以在大约 30 分钟内完成人类需要数小时才能完成的任务。越来越多的人只扮演研究指导的角色，引导人工智能运行实验，而这些实验则由模型自行编写代码、调试、优化和监控。生产力的提升固然诱人，但也令人担忧。随着人类在生产过程中的作用越来越小，他们可能会失去控制权。最终结果可能是：由模型训练的模型，实现由模型设定的目标，而这些目标的安全性也仅由模型来验证。

有些人担心会发生灾难。麻省理工学院的物理学家兼机器学习研究员马克斯·泰格马克（Max Tegmark）在过去十年中致力于人工智能安全倡导工作，他将人工智能比作司机在高速公路上闭着眼睛猛踩油门。他在即将播出的《经济学人》“科技内幕”视频节目中表示，只要司机不睁开眼睛，结果必然是灾难性的。泰格马克教授列举了各种可能导致灾难的场景：强大的人工智能系统可能会在政府和商业领域取代人类的决策权，从而削弱人类的力量；它们可能会赋予第一个开发出它们的人至高无上的权力，从而开启全球极权主义；或者它们可能完全不再关心人类，逐渐将人类挤出生存空间，为更多的数据中心和发电设施腾出地方。

三年前，泰格马克教授曾带头呼吁暂停全球人工智能发展，他认为当时最先进的GPT -4的诞生无异于蒙着眼睛摸索前行。今年的CSET报告警告称， RSI开发的系统“构成极端风险，因此现在就需要采取预防措施”。看来，Anthropic公司现在也接近认同这一观点。

目前，还有一些物理限制因素会暂时制约模型自我改进的速度。其中最重要的是计算资源的获取。尽管效率有所提高，但新模型在训练过程中仍然需要比旧模型消耗更多的计算能力，这使得模型的进步速度不得不与数据中心的发展速度保持一致。

CSET临时执行董事兼近期报告的主要作者海伦·托纳 (Helen Toner) 表示，消费者对人工智能的应用也可能减缓人工智能驱动的研发进程。人工智能数据中心的有限容量需要谨慎分配，分别用于服务付费客户、训练未来模型以及开展开放式研发。短期内，第一类需求越大，后两类需求的容量就越少。

其次是训练数据的问题。人工智能领域近期的诸多进展都集中在模型能够通过“可验证的奖励”进行自我学习的领域。软件要么能运行，要么不能运行；数学证明要么正确，要么错误。在这种情况下，由模型专门用于训练其他模型的合成数据，其准确性可以被验证，并添加到训练数据中，而无需承担通常因使用自身输出训练人工智能而导致的退化风险。然而，要让模型在创意写作或法律判断方面表现更佳则更为棘手。如果模型需要从现实世界中学习，这也可能限制其自我改进的范围。

“闭环”或许是通往超级智能的一步，而这最终可能带来乌托邦或毁灭，取决于你的立场。但这并非人工智能能力呈指数级增长所需的唯一步骤。■