OpenAI加强对抗蒸馏防护:GPT-6.2 Astra被提取受保护推理的成功率从54.0%降到0.2%

OpenAI在11月20日的官方文章中介绍了针对对抗蒸馏的防护升级。公司把重点放在保护模型的中间推理过程,并在内部自适应评估里给出一组对照数字:针对GPT-6.2 Astra,从先前请求中提取受保护推理的平均攻击成功率,由GPT-6 Astra在原有防护下的54.0%降到了0.2%。

发生了什么

OpenAI在11月20日发布长文,说明公司如何发现和打断对抗蒸馏,以及如何加强对其所谓“受保护推理”的防护。文中所说的对抗蒸馏,是指有人未经授权,用前沿模型的输出去训练另一套模型,使后者获得相近能力,却不必带上原模型那一套使用限制。官方举的例子是:攻击者如果把网络安全方面的能力蒸馏出来,就可能让新模型去协助原本会被拒绝或被防护拦住的攻击行为。

公司特别强调,要防止外界提取模型在给出最终答案之前、内部生成的中间步骤,也就是思维链。这些痕迹里可能含有最终答复里没有写出的信息,因此对想仿制模型的人格外有用。OpenAI说,相关防护已在GPT-6.2 Astra和GPT-6.2 Sol上加强,思路也更接近它在生物和网络安全领域的保障措施。

关键细节和数据

在一组贴近真实部署的自适应评估中,自动化红队会根据系统反应调整攻击方式。测试分为两类:一是设法找回模型在回答先前提示时生成的受保护推理,二是从当前请求中提取。官方表格显示,在自适应黑盒条件下、并按六种攻击模型汇总后,从先前请求提取的平均攻击成功率,从GPT-6 Astra搭配原有防护时的54.0%,降到GPT-6.2 Astra搭配更新防护时的0.2%;从当前请求提取则从22.9%降到0.9%。OpenAI也写明,这组对照同时换了模型版本和防护措施,并不能单独归因于其中一项。公司表示,部分改进正在回落到GPT-6 Astra上。

请求级防护由几层叠在一起。对抗训练用来让模型识别提取推理的尝试并拒绝披露,同时仍回答正当的解释和求助;训练样本来自内部自动化红队、调查和外部的负责任披露。输入分类器用于发现提取企图,输出分类器则检查助手消息和工具调用参数里是否泄漏受保护推理,流式与非流式响应都覆盖。之所以要把工具参数纳入检查,是因为模型可能把推理写进工具参数、而不出现在最终答复里。

接口层则限制受保护推理如何跨对话和跨模型复用。OpenAI回顾了9月披露的一类攻击:把加密推理从一段对话搬到另一段,再要求模型用人类可读的方式说出来。此后,它在用户、工作区、组织和模型系列边界上收紧了控制,并关闭了一条可能暴露其他用户加密推理的路径。对GPT-6.2 Astra和Sol,受保护推理会绑定到产生它的对话历史:后续消息可以接着用此前的推理;若较早的消息被改写,接口会丢弃其后生成的推理。防护较弱的旧模型系列,也不能读取这两个新模型的受保护推理。

在单次请求之外,公司还从请求级和账户级信号里寻找协同提取的活动。它写道,今年已看到多起未经授权的对抗蒸馏,每周处置规模从数千到数万个账户不等,今年夏天明显加快。2月,OpenAI曾向美国国会通报,称有迹象显示DeepSeek试图蒸馏美国前沿模型;9月,它报告打断了一场提取受保护推理的活动,并将其中核心部分归到与月之暗面(Kimi开发商Moonshot AI)有关联的个人。

为了说明为什么要保护完整推理轨迹,OpenAI还做了一项内部研究:在同样的学生模型上,比较只提供最终答复、推理摘要和工具交互,与再提供精确推理轨迹两种蒸馏方式。监督微调后,用精确轨迹训练的学生总体更强;再补一轮轻量强化学习后,在测试的最大推理预算下,精确轨迹学生在所示两项基准上仍更高,摘要训练的学生则在较低预算下更高。脚注提到,Anthropic此前在SWE-bench Verified上也报告过类似差异。

为什么重要

随着模型能力上升,把“会做”和“被允许做”绑在一起,越来越依赖防护,而不是只靠不公开权重。对抗蒸馏不必拿到权重,只要能稳定套出高质量输出,尤其是中间推理,就可能在外部复现部分能力,并绕开原有的拒绝和分类器。OpenAI把思维链当成高价值训练数据来守,说明在它看来,真正关键的信息往往藏在解题过程里。请求级之外再加上活动级打击,也说明协同提取可以拆到很多账户上慢慢积数据。这些成功率来自公司内部测试,外部会不会找到新方法,仍有待观察。

影响和展望

OpenAI在文末建议其他开发者也在工具参数和流式输出里检查泄漏,限制加密推理跨对话复用,并把成功的提取攻击留作回归测试。它还表示支持美国相关立法,认为出口管制限制对手获得训练硬件,蒸馏防护则增加从已训练模型里间接拿走同类能力的成本。官方没有给出可在生产流量上直接引用的阻断率,相关归因也仍是单方面陈述。对使用Astra和Sol的团队来说,更实际的变化是:改写历史消息可能导致原推理被丢弃,旧模型也读不到新模型的受保护推理。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4848.html

赞 (0)
深度:微软和英伟达要把加速计算从Azure机柜铺到Windows电脑,开源模型定制也进了Foundry
上一篇 2天前
Anthropic数学家称与Claude完成黎曼猜想的形式化证明,MIT独立内核复核已通过多项检查
下一篇 1天前

相关推荐

发表回复

登录后才能评论