工程智能体的新考题:单项约束过了九成,不代表设计能过审

阿哲 Lv.3 2026/11/4 09:55:53 浏览 0

一份工程设计满足了大部分单项约束,仍可能因为某一条硬性要求没过而无法交付。Google 和 Mercor 在 11 月 3 日公布的 PLE 评测,把这个区别放进了智能体的评分方式里。

评测共有 85 个长任务,覆盖机械、电气、土木和结构工程。任务不是只答一道选择题:智能体要在容器中的项目文件夹里处理图纸、表格、邮件和不同版本的文件,找到适用的规范与物理限制,完成计算并生成交付物。每个任务平均约有 61 个文件;其中 29 个任务及评分工具公开,其余用于隐藏测试。

评分先看安全和可行性,再看成本优化。举个对应的判断方式:一个配电设计即使材料成本低,只要硬性安全检查有一项没通过,就不能靠更便宜把这部分分数补回来。这是对评测规则的说明,不是某道具体测试题的复现。

结果里有一组很容易读错的数字:研究者报告,表现最好的配置在由专家与智能体共同构建的任务上,平均满足了 91% 的单项约束,但只有 41.3% 的交付物通过了全部硬性安全和可行性检查。前者按单条约束看,后者按整份交付物看,不能互换。

在隐藏测试集上,官方报告的最高平均得分为 48.3%,对应 Claude Opus 5.5 搭配 Claude Code;这是该评测和配置下的成绩,不是工程项目成功率,也不能证明同一模型在所有工具组合中都排第一。任务涉及的规范、项目类型和评分方法会影响结果。

这类评测更适合观察智能体能不能处理完整资料和相互牵连的约束;现实工程里的设计仍需要具备相应资质的工程师独立复核、签署。

评论 0

发表评论

登录后参与讨论

登录

暂无评论