Agent 的错题本，要不要定期删几页？

IBM Research 10 月 20 日发了个挺有意思的 ALTK-Evolve 实验：把 Agent 在训练任务里的成功和失败提炼成行为规则，放进后续任务的提示词，不更新模型权重。

最值得聊的是规则该留多少。航空场景里，保留 14 条高支持规则时，Pass⁴ 是 45%；保留全部 101 条时是 40%。这里的 Pass⁴ 指一个任务四次独立尝试全部成功，再统计这类任务的占比。

但别急着抄成“14 条最佳”。航空测试只有 20 个任务，而且 101 条那组的平均成功率反而更高。零售场景也不同：在 40 个测试任务上，全量规则把 Pass⁴ 从无规则时的 57.5% 提到了 67.5%。规则多少，要看业务和你在意的指标。

这让我更想给长期记忆加个复查机制。如果要做自己的错题本，我会给每条经验留上适用场景、来源和最后验证时间；换模型或改工具以后，再拿固定任务检查一遍。某次绕过报错的临时办法，不该不知不觉变成以后每次都要走的流程。

记下来只是第一步，能发现一条经验已经过期，可能同样重要。以上是对这组实验的讨论，没有做本地复现，也不把这些分数当生产环境效果。

来源：IBM Research，2026 年 10 月 20 日 ALTK-Evolve 在 τ²-bench 客服任务上的实验文章；2026 年 10 月 21 日复核。