AI 研发速度的 1.9 倍,究竟测到了什么?

milo Lv.3 2026/11/9 16:11:13 浏览 3

METR 对 Anthropic 的一项评估给出了 1.9 倍的数字,但它说的是模型在一组基准上的进步速度相对于历史趋势的变化,不是“每位研究员工作效率都翻倍”,也不是“AI 已经独立完成整个研发”。

这份 11 月 5 日公布的评估,考察的是截至 2026 年 10 月的情况。研究团队查看了 Anthropic 提供的内部模型数据、训练和研发指标,也访谈了相关人员;部分材料因保密被删节,外界无法独立复核所有底层证据。

其中一个量化结果来自 AECI:按报告的主要计算方法,Anthropic 模型在选定基准上的成绩自 2025 年 10 月以来,进步速度约为此前趋势的 1.9 倍,给出的 95% 置信区间为 1.5–2.8 倍。直观地说,报告估计最近一年在这些基准上取得的进步,接近过去两年的进步量。这个比较还纳入了尚未公开的内部模型,因此和只看公开产品的印象可能不同。

“有多快”和“为什么加快”是两件事。METR 认为当前加速的大部分可能来自 AI 对研发的辅助,也明确说归因有较大不确定性;访谈和自报提升与这一判断一致,但不能单独证明因果。报告还表示得到的证据支持:加速不能简单归因于训练算力规模增长速度变快。它并未证明其他因素没有作用,尤其是较早阶段。

数字本身也取决于测量方法。报告在改变基准分数拟合方式时得到约 1.1–2.9 倍的估计;基准逐渐饱和、针对测试优化,以及把能清楚评分的任务表现推广到更广泛的研究工作,都会影响解读。研究者自己的总体判断是进步速度约为历史的两倍,但表示接近 1.3 倍或 3 倍也不会令他们意外。

所以,这项评估提供了一个值得关注的内部研究样本:在特定指标下,能力进步似乎加快了,AI 辅助可能是重要原因。它还不能直接告诉我们其他实验室、普通软件团队或所有科研工作的效率会提高多少。

评论 0

发表评论

登录后参与讨论

登录

暂无评论