AI基准测试存在信任问题，Google欲用加密技术解决

GPT-Image-2 prompted by THE DECODER

Google DeepMind 希望利用加密技术防止 AI 模型提前看到测试题。该项目与新加坡人工智能安全研究所等合作伙伴共同开展，正在对 Gemini 模型进行双盲测试。

如果考生提前知道题目，即便满分也毫无意义。Google DeepMind 用这张图描述了评估 AI 模型时的核心问题：基准测试污染。如果模型在训练期间已经见过测试题，那么结果的可信度就大打折扣。

为防止这种情况，Google DeepMind 表示，他们正在启动首个针对专有前沿 AI 模型的双盲评估。外部测试题被锁定在加密的“保险箱”中，这样模型就无法利用这些题目来专门针对测试进行优化。

在试点项目中，Google 正使用 Gemini Flash Lite 系列模型测试机密基准。

该方法旨在解决的权衡问题

DeepMind 表示，高度敏感的外部评估以往往往需要做出妥协：要么评估者交出测试提示词，让模型提供商提前看到题目；要么提供商交出模型权重，从而面临知识产权泄露的风险。Anthropic 的 Fable 5 模型在 ARC-AGI 基准测试中的评估延迟就是一个典型案例，因为该 AI 公司对其最强模型实施了 30 天的数据保留策略。

双盲评估旨在消除这种权衡。Google 使用 Google Cloud 机密计算产品中的 Confidential Space 来实现。该设置通过加密验证，确保外部测试数据和模型都分别对其所有者保密。评估者永远看不到 Gemini 的权重，Google 也永远看不到测试提示词。

该公司称，直到现在，零日志协议和合同保障措施才得以保持外部提示词的机密性。增加技术和加密保护是安全模型评估的一大进步。

这对敏感领域为何最为重要

这项加密证明旨在防止数据污染，并保护敏感数据。DeepMind 表示，对于网络安全评测或政府机构开展的测试等高度敏感的评估，这一点尤为重要。独立机构可以在不放弃数据主权和安全性的前提下，严格测试先进模型。

Google 希望借此为模型监督建立新的标准，推动整个行业打造更可靠、也更值得广泛信赖的 AI 系统。Google 在这份技术报告中详细介绍了相关方法和结果。