发生了什么
11月20日,独立评测机构METR发布2026年第四季度能力更新,汇总了公开模型在与人工智能研发加速相关的任务上的表现,覆盖范围直到Claude Opus 5.5和GPT-6 Astra。文章的核心并不只是再报一个分数,而是说明:模型在可验证的编码和优化任务上已经很强,原有的测量方法越来越吃力,而在缺少清晰反馈、需要做判断的任务上,差距仍然明显。
作者开篇写明,他们仍然无法确定两件关键事:剧烈加速人工智能研发究竟需要哪些能力,以及相关能力正在以多快的速度提高。与此同时,他们认为,现有的公开证据还不足以排除在未来两三年里出现这种剧烈加速——也就是能力提高得太快,以至于人类难以有意义地理解、评估并应对新系统可能带来的灾难性风险。
可验证任务上,模型已经接近或超过许多熟练人类
时间跨度(time horizon)衡量的是:在拟合出的成功曲线上,模型有50%把握完成的、折合熟练人类需要多长时间的任务。2025年3月这一指标刚发布时,最强公开模型大约只有1小时(当时是Sonnet 3.7)。METR写道,不到一年,模型已经把包含最长30小时任务的TH1.1套件做到接近饱和;在许多领域,要找到能胜过当前前沿模型的人类基线,已经既困难又昂贵。
在METR的编码和优化任务上,模型通常达到或超过熟练人类。该机构自己招募基线人员时,通常也找不到能胜过当前前沿模型的人。只有在已有十名以上领域专家作答的个别任务上,模型会处在很高的百分位,但还不是绝对第一。任务集方面,TH1.1有222道题;新的TH2有36道题、分成12个任务族,其中8族偏可验证(优化、机器学习、谜题和游戏),4族偏向概念推理、判断和难以自动核对的研究。他们通常评测了15个模型,其中包括GPT-6 Astra和Opus 5.5。
在TH2的可验证子集上,当前公开前沿模型的估计时间跨度最高约为27小时。文中还引用了两组外部证据:在MirrorCode上,Opus 5.5解出了77%的中到大型程序,这类工作若由人类专家独自完成,可能需要数周到数月;GPT-6 Astra在FrontierMath Tier 4上得到98%,该基准的题目被设计为该领域优秀数学家需要一到两周。
两组有较多现成人数据的任务,则把“很高、但不是第一”说得更具体。在15项Al Zimmermann编程竞赛中,最强模型(Fable 5.1、Opus 5.5和GPT-6 Astra)的中位名次处在人类参赛者的第96到98百分位(每场97到413人);模型有48小时和一台28核机器,人类参赛时间大约为三个月。在Budget NanoGPT速度赛上,模型用48小时和8张H100,最好的一次智能体运行相对起始纪录提速15.7%;一篇近期较强人类纪录的作者估计自己大约花了60小时,并在编码中使用了人工智能辅助,相对前一纪录提速41%。METR的判断是:完全自主的智能体已经超过许多有能力的参赛者,而且成本更低,但顶尖人类仍然能达到比模型大得多的提速。
更像真实研究的任务更难,判断力也更弱
评测越接近真实研究,往往也越贵:任务更长、更难自动打分、也更难做成强化学习环境。METR用一项名为生命周期成本(Lifecycle Cost)的估计来刻画这种“昂贵程度”。在控制任务时长之后,成本较高的子集平均约为较低子集的2.9倍,模型在时间跨度上也大约差2.9倍,相当于约1.5次倍增。不过,高低成本子集上的提升速度仍然接近;人工智能的表现在最昂贵的那些任务上同样随时间提高。就他们这份数据而言,对给定时长的任务,生命周期成本翻倍,模型达到50%成功率大约会晚4.6个月。作者强调,他们并不知道,若要大幅加速人工智能研发,相关任务的生命周期成本还会再高多少。
在缺乏清晰经验反馈、必须做出选择的任务上,人工智能智能体的判断看起来弱于人类专家。这在反馈很慢、或现有测试难以证明方案能够推广时尤其要紧。一个例子是:与人类专家评分相比,当被评价的输出出自同等或更强的模型时,由模型担任的评委会高估其质量。
时间跨度仍在快速延长,但不宜做线性预言
把TH1.1和TH2合在一起看,时间跨度大约每3.61个月翻倍(95%置信区间为2.08到4.94个月),也就是约110天,与此前TH1.1上约105天的趋势接近。由于TH2更难,同一模型在这套合计任务上的50%时间跨度,会低于只看TH1.1时的数字。若做朴素外推,模型达到该任务集最长评分阈值(200小时)的50%时间跨度,会落在2027年7月。这是外推,不是预测。只看TH2可验证子集时,倍增时间约为1.65个月(95%置信区间为0.79到3.99个月),数据较噪:这既可能意味着近期出现了被合计趋势掩盖的加速,也可能有其他解释。METR还写道,合计套件上的倍增时间,与OpenAI近期在内部研究任务上报告的趋势相近。
他们另外用METR能力指数(MCI)来跟踪过去几年公开模型的综合能力。这是一种与Epoch能力指数思路相近的项目反应理论模型,但不依赖人类表现来标定坐标。在测试过的公开前沿上,他们没有看到整体趋势的明显加速或减速;在部分条件下看到过不确定的、按开发者划分的斜率变化,不过这些发现对方法选择很敏感,作者也不确定其是否成立。
在稳健性检查里,智能体集群作为一种激发手段,在有明确指标、反馈又快的可验证任务上,看起来比简单的best-of-k更有帮助;在其他任务上,效果则不明甚至为负。
为什么重要
时间跨度曾经被用来论证:系统距离危险还远。METR现在的判断已经改变。公开模型在编码乃至入侵相关能力上已经足够强,他们不再认为,仅凭“在可验证的软件任务上还不够强”,就能有把握地说灾难风险很低。与此同时,开发者和评测者都需要便宜、可量化的信号,评测环境和训练用的强化学习环境可能越来越像,容器里跑得很顺的成绩,有可能高估模型在更messy的真实研究中的能力。把可验证任务上的高分,直接等同于已经能够自主推进前沿研究,理由并不充足。
影响和展望
这份更新给出的,是一幅参差的画面:在反馈清晰、对错分明的任务上,公开前沿模型已经非常强,时间跨度仍在以大约一个季度翻一番的速度延长;在更贵、更难核对、更依赖判断的任务上,模型表现更差,判断力也更弱,尽管提升速度在现有数据里并未明显掉队。对实验室和安全研究者来说,更迫切的也许不再是证明模型“还不会写代码”,而是弄清:在缺少标准答案的研究判断上,差距还有多大,以及现有评测是不是已经和训练环境绑得太紧。METR没有声称剧烈加速一定会在两年内到来,但明确认为,单靠目前这些公开证据,已经无法把这种可能排除掉。
参考来源
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4868.html