AI安全
-
OpenAI启动首轮嵌入式第三方评估:Apollo等四家机构进驻,核查模型会不会“暗中对抗”开发者
OpenAI宣布与Apollo Research、METR、Transluce和Goodfire四家独立机构签署协议,启动首轮嵌入式评估。评估人员可在约定范围内接触模型检查点、训练与评测数据等内部材料;Apollo将派出六人小组驻场四个月,核查模型是否会暗中对抗开发者设定的目标。
-
AI让漏洞“找得快、用得更快”:谷歌Project Zero改写披露规则,2028年起报告30天后即公开
谷歌顶级安全团队Project Zero宣布,旧的“90+30”规则在AI时代已经不够用:漏洞报告给厂商后,最终将在30天内公开,无论补丁是否到位。
-
研究发现AI聊天机器人会把购物者引向假冒网站:Perplexity约15%的回答出现高风险链接,ChatGPT约8%、Gemini约4%
一项由知识产权保护公司Podqi完成、独家提供给The Verge的研究显示,ChatGPT、Gemini和Perplexity在回答“去哪儿买某品牌”这类购物问题时,都会展示假冒或高风险网站,比例最高约15%。
-
Glasswing七个月成绩单被拆解:Anthropic记录近3.8万条漏洞发现,标记修复仅217个,curl维护者判一半以上不算漏洞
VulnCheck研究员拆解Anthropic旗舰安全项目Glasswing七个月的数据:发现数近3.8万条,标记修复只有217条,重复项已远超修复数;curl维护者对一批模型自动生成报告的复核结果,也与官方宣称的94.2%真阳性率相去甚远。
-
深度:当AI开始“自证清白”——从Signal协议到量子算法,形式化证明正成为AI的新护栏
过去一周,前沿实验室接连拿出用AI做形式化证明的成果:谷歌DeepMind在四周内证明了Signal加密协议实际代码的关键安全性质,又让智能体团队在Lean中设计出资源消耗低一个数量级的量子程序。当AI产出越来越多、越来越难被人工核对,“让机器证明给机器看”正在成为新的护栏。
-
纽约RAISE法案进入执行倒计时:年营收超5亿美元的前沿AI公司须在明年元旦前登记,安全事故72小时内上报
纽约州的前沿AI安全法RAISE法案将于2027年初生效。11月10日,州政府开放了登记门户,要求OpenAI、Anthropic这类大型前沿AI开发者在元旦前完成登记;同时成立了独立评测AI系统的研究中心。美国州一级的AI安全监管正在从纸面走向执行。
-
深度:给AI装上“急停按钮”——从OpenAI Control Room看前沿实验室如何应对越来越强的模型
OpenAI公开了内部的Control Room系统:所有研究推理任务都要登记,监控模型或研究人员一旦决定叫停,最长35秒内即可切断模型输出。结合Anthropic新模型系统卡中关于“评估意识”的表述和METR关于递归自我改进的报告,本文分析前沿AI安全工作正在发生的转向。
-
METR评估:Anthropic AI研发约加速2倍,多数或来自AI辅助而非算力扩张
METR于11月5日发布对Anthropic的高权限评估:截至2026年10月,其在明确任务上的能力进步约达历史节奏的两倍;AECI增速约1.9×,加速非训练算力所致,多数或归因于AI辅助研发。