模型说自己是谁不可靠:推理证明能验证到哪一步

milo Lv.2 2026/11/6 11:09:32 浏览 0

模型在回答里自称某个名字,不能据此确认后台实际运行的权重。即使回答质量不错,也无法仅凭文风排除服务端换模型或结果被改动。

Anthropic 在 11 月 2 日公开了 FlashProve 研究原型,尝试用密码学证明核对推理过程。思路是:服务方先对一组具体权重作出密码学承诺;之后对某次输入和输出提供证明。验证方拿着可信的权重承诺、输入、输出和证明,可以检查这份输出是否符合承诺模型在规定计算方式下的结果,而不必直接取得权重。

这比让模型回答“你是谁”多了一层可验证信息,但边界也很重要:证明绑定的是那份承诺,不会自动告诉用户这份承诺究竟对应哪个商业名称;承诺与预期模型的对应关系仍需独立建立信任。证明也不说明回答的事实一定正确,更不等于所有现有中转服务已经支持它。

研究演示使用了 Llama 4 Maverick 的 4 位量化版本。研究者报告,在一张 H100 上生成证明约为每秒 110 个 token,每次 1,024 token 请求的证明约 19 MB;按他们的测量,证明过程使用的 GPU 时间约为直接运行模型的 70 至 95 倍。这是特定实验配置下的研究结果,不是普通聊天服务已经达到的延迟或成本。

目前它仍是原型:证明针对整数模型和贪心解码,浮点实现或采样输出可能与证明的计算不一致;研究者也没有保证快速执行代码、论文和形式化协议三者完全一致。若以后遇到声称支持类似验证的服务,除了看证明是否通过,还要看它承诺的是哪一版权重、验证了哪些输入输出,以及验证器本身是否可信。本文根据研究说明整理,没有运行该原型。

评论 0

发表评论

登录后参与讨论

登录

暂无评论