OpenAI启动首轮嵌入式第三方评估:Apollo等四家机构进驻,核查模型会不会“暗中对抗”开发者

OpenAI宣布与Apollo Research、METR、Transluce和Goodfire四家独立机构签署协议,启动首轮嵌入式评估。评估人员可在约定范围内接触模型检查点、训练与评测数据等内部材料;Apollo将派出六人小组驻场四个月,核查模型是否会暗中对抗开发者设定的目标。

发生了什么

11月16日,OpenAI宣布与四家独立评估机构签署协议,启动公司所称的“首轮嵌入式评估”。这四家机构分别是Apollo Research、METR、Transluce和Goodfire。OpenAI写道,随着人工智能能力快速提升、潜在风险增大,由独立评估形成的公开报告,可以让外界更清楚地看到实验室如何评估和管理这些风险。

所谓嵌入式评估,是指独立专家在较长时间内深入接触实验室的内部模型与系统,评估模型对齐情况以及防护措施是否有效,尤其是与安全论证相关的部分。OpenAI表示,视具体评估需要,评估方可以获得部分与内部研究人员同类的资源,包括模型检查点、源代码、训练和评测数据、监控系统、技术文档,以及与相关人员的讨论。

官方称,这轮评估聚焦训练过程中和内部使用阶段的对齐与防护,是对已有安全论证的补充,也有助于履行其在白宫“超级智能协议”下接受独立评估的承诺。

关键细节和数据

Apollo Research将评估模型是否可能暗中违背开发者意图,以及现有防护能否发现这类行为。评估围绕四项主张、分两阶段进行:训练过程没有激励“颠覆”;高强度评测和红队测试也未能引出颠覆;模型在内部使用中尚未试图颠覆;与颠覆相关的推理过程本应可被发现。第一阶段将提供部分已发布和未发布模型及训练检查点、相关训练数据和评测结果、训练干预记录、监控系统与被标记行为,以及可提供背景的研究人员,并配备独立测试所需的工具和算力。

Apollo在同日博文中说,将派出六人小组在OpenAI内部工作四个月。工作须在OpenAI提供的设备上完成,评估人员默认不能进入安全研究人员通常使用的Slack等通用频道;正式访谈需记录,谈话对象由OpenAI选定。Apollo将发布两份公开报告:第一份讨论训练是否激励颠覆,第二份覆盖评测、内部部署以及颠覆性推理的可发现性。OpenAI可以要求删除涉及机密或知识产权的证据,但不得仅因结论不利而删改各项主张的判定,也不得改写判定本身;未删节报告将提交给OpenAI基金会董事会下设的安全与安全委员会。Apollo特别强调,OpenAI同意其拥有“元透明度”权利,即可以公开说明评估的范围、限制、被拒绝或被删减的内容,以及这些限制对结论的影响。

另外三家机构的任务各有侧重。Goodfire将派可解释性研究者进驻,用其平台分析模型内部机制,重点做训练过程监控和对齐,主要服务对象是OpenAI内部研究者,并计划公开阶段性发现。METR计划对OpenAI迄今规模最大的一轮前沿强化学习训练做对齐评估,在约定范围内可独立设定优先级并开展引出实验;另一项监控评估尚待双方就范围达成一致。Transluce将进行为期六周的试点,审查训练后对齐评测的质量和覆盖面,重点看欺骗、操纵和奖励黑客等行为;该机构称试点计划于12月初开始,可接触少量模型(至少包括一个仅内部使用的模型)及原始思维链,但公开报告只能写已发布模型上的结果。双方还打算在2027年初再做一轮访问范围更广的后续评估。

关于独立性,OpenAI披露:Apollo和Goodfire接受劳务报酬,但报酬不与评估结果挂钩;METR和Transluce不接受评估报酬,但可能接受评估所需的接口额度或算力。需要接触敏感机密信息的评估人员须在OpenAI办公场所、使用公司设备工作。双方分歧可逐级提交至公司管理层,并通知安全与安全委员会;仍无法解决时,由该委员会裁决。

为什么重要

以往很多第三方评测发生在模型即将对外发布前后,评估方看到的往往是“成品”。对于训练过程中是否被激励去规避监管、内部部署时是否出现越界,以及实验室自己的评测是否留白,外部很难核查。把独立机构“嵌进”训练和内部使用环节,是试图补上这一块。

与此同时,评估方自己也写明了限制。Apollo认为,这次试点尚未达到它所定义的、完整嵌入式评估在访问权和披露权上的标准。Transluce则直接说,此次权限“不能与员工级或类似员工的访问相比”。The Verge报道称,人工智能研究社区有人担心,这与OpenAI首席执行官萨姆·奥特曼此前承诺的“类似员工的访问”仍有距离。这些保留意见本身也需要被看见:独立评估能否成立,不只取决于“请进门”,还取决于能看什么、能公开什么。

影响和展望

四家机构会在未来数周到数月里陆续进场。外界真正要看的,是第一批报告能否把方法、限度和判定一起讲清楚,以及被删除的证据是否实质影响了结论。OpenAI表示,未来还考虑把评估扩展到对安全框架的遵守情况,以及组织文化与流程。访问范围、删改规则和元透明度,都可能成为其他实验室后续对标的样本。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4734.html

赞 (0)
豆包工作上线「工作台」:首批覆盖金融、医疗、教育等21个专业场景
上一篇 5天前
谷歌威胁情报:攻击者已用多智能体框架自动把软件补丁变成漏洞利用,首次无需人工介入
下一篇 5天前

相关推荐

发表回复

登录后才能评论