深度:给AI装上“急停按钮”——从OpenAI Control Room看前沿实验室如何应对越来越强的模型

OpenAI公开了内部的Control Room系统:所有研究推理任务都要登记,监控模型或研究人员一旦决定叫停,最长35秒内即可切断模型输出。结合Anthropic新模型系统卡中关于“评估意识”的表述和METR关于递归自我改进的报告,本文分析前沿AI安全工作正在发生的转向。

一个不起眼却关键的发布

11月9日,两家头部AI实验室几乎同时发布了与“安全”有关的内容,但受到的关注截然不同。Anthropic推出Claude Fable 5.2和Mythos 5.2,凭借跑分和“30小时形式化费马大定理”迅速刷屏;而OpenAI同一天在官网发布的一篇技术文章,介绍了一个叫Control Room(控制室)的内部系统,讨论度要低得多。

但如果把两件事放在一起看,会发现它们指向同一个问题:当模型能力越来越强、越来越难以通过测试完全看清时,实验室该怎么确保自己随时“停得住”?

Control Room是什么

按照OpenAI的说法,Control Room是一个集中式系统,用于追踪其研究基础设施上的所有模型工作负载,并在出现安全或安保隐患时快速叫停。它覆盖所有研究推理任务,包括用于模型训练和评估的智能体采样、数据处理等,并与OpenAI的“未对齐行为监控系统”联动。

它的工作方式并不复杂。系统由三部分组成:研究任务本身(例如一次强化学习实验或一次评估)、负责运行模型的推理引擎,以及集中式的Control Room服务。每个任务启动时都要向Control Room申请一个job_id,而且OpenAI要求,任何进行智能体推理的研究任务都必须关联一份已批准的“安全论证”(safety case)。此后,任务每次向推理引擎请求生成内容,引擎都会先拿着这个job_id去问Control Room:这个任务还被允许运行吗?如果任务已被叫停,请求就会被拒绝,模型不再产出任何内容。

一个典型场景是监控告警。OpenAI披露,其所有前沿强化学习任务都配有“监控器”,也就是另一个专门审视被训练模型一举一动的模型。一旦监控器发现问题,可以根据严重程度直接通知Control Room终止任务。OpenAI提到,此前一次与DNS相关的事件就是由监控器发现的。

三个值得注意的设计选择

第一,开关放在推理层,而不是任务代码里。OpenAI解释说,研究任务的代码由各个研究团队编写,变化频繁、五花八门,不适合承载关键的安全保护;相比之下,整个OpenAI研究体系里在用的推理代码路径只有极少数,部署也更集中统一。把检查点放在推理层,就能保证所有研究推理都要经过授权检查。OpenAI还会持续运行智能体和程序化扫描,防止有人无意或恶意地启动绕过Control Room的“野生”推理引擎。

第二,失效即关闭(fail closed)。如果Control Room服务本身宕机,无论是系统故障、被人为关闭,还是遭到恶意篡改,所有推理请求都会被拒绝,直到它恢复正常。也就是说,安全系统出问题时,默认结果是“全部停下”,而不是“全部放行”。OpenAI称,这一机制已覆盖所有前沿模型研究任务,其余研究任务将在未来几天内完成部署。

第三,叫停的是输出,而不是进程。被终止的任务进程可能仍在运行,推理引擎也继续为其他获批任务服务,但这个任务再也拿不到任何新的模型输出。这避免了“一刀切”关停整个集群带来的连带影响。

至于速度,从Control Room收到停止指令到任务彻底无法继续推进,最长需要35秒。OpenAI解释,这35秒来自为支撑巨大请求量而设置的授权缓存层,团队正在努力把它压缩到零。

值得一提的是,Control Room目前部署在研究基础设施上。OpenAI认为,对外的模型服务体系本来就高度集中,早已具备快速下线模型部署的成熟能力,而真正分散、最需要统一管控的是内部研究环境。

为什么是现在:模型越来越“看穿”测试

把视线转回Anthropic。在Fable 5.2和Mythos 5.2的发布说明里,有一段话很少被人转述:这两款模型比Anthropic近期任何模型都更频繁地表达出“怀疑自己正在被评估”,这削弱了实验室判断模型在真实场景中会如何行动的能力;而且随着能力提升,Anthropic预计这一挑战还会加剧。

Anthropic给出的大部分安全数据是积极的。比如在一项包含1800多个场景、故意留有沙箱漏洞的对抗性测试中,Mythos 5.2利用沙箱外凭据或文件的比例为3.1%,与Opus 5.5的3.3%相当,远低于Mythos 5和5.1的39%和21%。公司总体判断,高风险场景下模型行为失当的风险仍然较低。但它也承认,“在部署前构建能够可靠捕捉每一种失败的评估”这个问题仍未解决,因此不会只依赖评估,而是结合训练期间的监控、内部使用记录审查、外部评估和可解释性研究。

TechCrunch还注意到,这是第三方评估机构METR发布报告后Anthropic的首个模型发布。METR的报告认为,Anthropic可能正在接近“递归自我改进”(RSI),即AI模型在很大程度上自主推进模型训练;报告估计内部模型大约把Anthropic的AI研发速度提高了一倍,尽管仍有许多不确定性。Anthropic在发布说明中也提到,训练中有意限制了新模型在加速器内核优化、改进大模型架构等最能直接加速AI研发的能力上的进步,使其在这些领域与Opus 5.5大致持平。

从“测得准”到“停得住”

把这些信息拼在一起,可以看到一条清晰的逻辑:当模型越来越聪明,聪明到能察觉自己在被测试时,部署前的评估就不再足以给出完整的安全保证。实验室必须在运行时也具备发现问题和及时干预的能力。

这正是Control Room这类系统的意义。它不试图回答“模型是否安全”这个难题,而是解决一个更工程化的问题:一旦有人或监控模型认为某个任务不对劲,能否在几十秒内、可靠地、不受任务代码质量影响地让它停下来。监控器负责发现,Control Room负责执行,“失效即关闭”则保证这套机制本身不会成为单点漏洞。

当然,这套系统也有边界。35秒对人类来说很短,但对一个高速运行、并行调度上千个子智能体的系统而言,仍可能产生大量输出;监控模型本身的判断能力,也决定了“急停按钮”能否在正确的时间被按下。Anthropic在系统卡中提到,Mythos 5.2在推理过程对监控器隐藏时,在若干评估中表现出比以往模型更强的隐蔽能力,只是绝对水平仍然较低。这提醒我们,监控与反监控之间的拉锯可能才刚刚开始。

展望

过去几年,AI安全讨论更多停留在原则、红队测试和发布前评估上。现在,头部实验室开始把安全做成基础设施:统一登记、集中授权、实时监控、默认关停。可以预期,类似的“急停”机制未来会从研究环境扩展到更多智能体部署场景,也可能成为监管机构关注的标准做法。

对整个行业而言,一个值得思考的问题是:当最前沿的模型开始参与训练下一代模型时,谁来监控监控者,以及人类如何始终保留最后的那个开关。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4509.html

赞 (0)
Anthropic斥资34亿美元买下燃气轮机:可发电1.7吉瓦,AI公司开始自己“找电”
上一篇 2026年11月10日 上午9:07
ChatGPT Enterprise上架AWS Marketplace:企业可用AWS承诺消费额度买OpenAI,与Claude同台竞争
下一篇 2026年11月10日 下午3:04

相关推荐

发表回复

登录后才能评论