发生了什么
OpenAI技术员工Okay Zed和Cyrus Forbes在11月19日的官方文章里写道,智能体开发的速度已经让传统的性能工程方式难以跟上。为了跟上产品路线图,团队搭建了Performance Factory:一套运行在云端的自主系统,调用Codex和公司模型的能力,去发现并修复性能回退。工程师负责定义可复用的工作流,并给执行这些任务的Codex智能体写好指令;系统则把从告警到验证恢复的步骤串联起来,而不再完全依赖有人盯着指标手工排查。
关键细节和数据
文章把回归工作流(Regression Workflow)作为第一个正式跑起来的流程:性能告警触发后,系统会新建任务;一名智能体调查变慢原因,把发现写回任务,并给工程师提出修复建议;修复上线后,另一名智能体再接手同一任务,检查性能是否回到原先的基线。官方给出的规模是:在刚过去的三个多月里,这一工作流跟踪了超过1700次调查,并为600多起案例找到了根因,相当于平均每天17次自动调查。
这套工厂并不是一次性跳到全自动。作者回顾了六段演进:在Codex出现之前,工程师要自己看指标、日志和代码,团队为此积累了30多种性能工具;有了Codex之后,工程师可以问“为什么变慢了”,由模型在代码库和追踪里协助排查,但仍需人来指路;随后他们把调查方法写成共享技能`perf-forensics`,告诉模型有哪些工具、何时使用,以及如何从定位起始时间、受影响请求和近期发布或配置变更等角度入手;再往后,工程师一度只是把告警复制进Codex、再把结论贴回Slack,成了告警和模型之间的“人肉中转”;接着调查被搬到云端,告警会自动拉起会话并把结论发到Slack,但修复和上线后的核对仍要人来做;直到Performance Factory出现,才把端到端工作流跑起来。
系统本身由四部分组成:带可配置工作流的任务跟踪服务、把就绪任务派给智能体的调度循环、在云端程序化调用Codex的内部接口,以及在GitHub评审意见、部署完成或持续集成失败等事件到来时把任务重新唤醒的订阅机制。工作流用配置文件和Markdown提示词定义状态、允许的跳转,以及哪些步骤必须有工程师介入。智能体在公司网络内的环境中运行,能够使用代码仓库以及指标、日志、追踪、CPU剖析和内存快照等观测工具,并以服务身份执行,从而可以限定权限、审计来源。
准确性方面,团队对100条根因建议做了人工审阅,其中70%被评为准确,其余30%还需要补充,或者没有完全建立因果关系。流程里为此加入了对抗式复核:不同轮次分别负责调查、质疑诊断和提出修复。修复本身被作者视为比找原因更难的一步——智能体提出的改动有时会过于复杂,或引入新问题,有些还涉及要不要加缓存这类架构取舍,因此拉取请求仍由工程师审阅和合并。工程师可以直接改代码,也可以根据诊断自己写修复;如果在请求下留了评论,工作流会唤醒智能体继续处理。部署之后,若性能只部分恢复,智能体会关闭原回归并另开任务追踪剩余问题;若没有改善,则记录情况并把任务退回调查。官方还提到,他们正在用智能体方案和工程师最终合并的改动做对比,以改进流程,并探索用合成性能测试先衡量再提交,以及让智能体识别低风险改动、将来在没有人介入的情况下直接上线,但这些仍是在做的方向,而不是已经实现的能力。
为什么重要
ChatGPT这类在线服务的性能,往往不取决于一次大改,而取决于能否在持续发布里迅速抓住回退。OpenAI把这件事写成可配置的智能体工厂,等于公开了一套已经在生产环境里跑了三个多月的方法:不是让模型“随便修系统”,而是把告警、调查、复核、出补丁和验证恢复拆成有状态的工作流,并且把最终合并的决定留在工程师手里。对同样被告警淹没的平台团队来说,文中更有参考价值的也许不是“完全无人值守”,而是如何用技能、评测和对抗式复核,把智能体从聊天助手变成可调度的车间工序。
影响和展望
官方没有宣称这1700次调查已经等价于1700个成功上线的修复,也没有给出修复被合并的比例或平均修复时长。70%的根因准确率说明,自动调查已经能覆盖相当一部分常见回退,但仍有三成需要人来补因果或纠正方向;修复质量被单独点名为更难点,也说明“找到原因”和“安全地改生产”还不是同一件事。OpenAI显然希望把更多低风险修复进一步自动化,可在涉及缓存一致性和架构取舍时,人工判断仍必不可少。其他团队若要仿效,需要可程序化调用的代码与观测环境,以及能检验诊断对错的评测。
参考来源
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4818.html