发生了什么
11月9日,漏洞情报公司VulnCheck的研究员Patrick Garrity发布了对Anthropic“Project Glasswing”的第四次追踪报告,标题直接写着“发现让人失望,却压垮了维护者”。这篇文章随后冲上Hacker News热门,引发了对“AI批量挖漏洞到底有多大用”的又一轮讨论。
Glasswing于今年4月7日启动,Anthropic当时称已经发现了“数千个高危和严重级别的漏洞”,正在向开源维护者负责任地披露。Garrity从4月中旬开始,在一个开源仓库里逐条追踪能归因到Anthropic的漏洞,数据来源包括CVE记录、GitHub安全公告、Linux内核提交以及Anthropic自己的公开账本。
关键数据
- 七个月里,可归因于Anthropic的CVE共442个,平均每月约63个;今年全年已发布93450个CVE,Anthropic贡献约0.5%。
- 这442个CVE中,只有2个被VulnCheck的“已知被利用漏洞”库收录为在野利用,占比约0.45%。
- 截至11月2日的最新一次更新,Anthropic账本共列出37966条发现,其中公开7349条(19.4%),标记为已修复的只有217条,另有419条被撤回。
- 与9月8日相比,两个月里发现数增加了11813条,修复只多了15条;被标为“重复”的从2条猛增到1670条。
- 与此同时,账本上宣称的真阳性率从上线时的90.8%升到了94.2%。Garrity认为,在撤回和重复都远多于修复的情况下,这个数字很可能没有把这些反馈计算进去。
压力转到了维护者身上
报告还提到,Anthropic在10月8日推出了自助式的OSS Scanner。官方当时承认,已找到超过2.9万个候选漏洞,但人工只复核了约6000个,瓶颈在于“人工验证能力”,而且已经向主动要求批量接收的维护者发出了近5000份未经验证的报告。OSS Scanner生成的报告明确标注为“完全由模型生成、未经人工复核或分级”。
Garrity的看法是:分级的瓶颈并没有消失,只是挪到了开源维护者身上。curl就是一个现成的例子。curl维护者Daniel Stenberg几天前表示,项目收到了一批共45份来自Anthropic的漏洞报告,Anthropic只把其中1份评为中危,其余都是低危。他刻意放慢节奏把它们逐步搬到GitHub上公开,以减轻团队负担。
在已经公开的34份中,19份被判定为不是漏洞,6份确认为低危,9份仍待评估。按这个进度算,误报率约为55.9%,被确认的只占17.6%,而且全部是低危。
为什么重要
AI能找漏洞,这一点并没有人否认,报告本身也承认AI是有效的漏洞挖掘工具。争议在于“发现”和“修复”之间的落差:账本上的数字越滚越大,但真正被修掉、真正会被攻击者利用的漏洞占比很低;而每一份报告,不管对错,都要由人手有限的开源维护者来看。
Garrity在9月的报告中还统计过,Claude把91.5%的账本发现评为严重或高危,而维护者只把51.3%评到同样等级。严重性被高估,意味着维护者要花更多时间在优先级本不高的问题上。
影响和展望
这份报告是第三方研究员基于公开数据做的统计,Anthropic的账本本身也存在更新不频繁等问题,单一项目的复核结果也不能代表全部。但它提出的问题很实际:当AI可以几乎零成本地产出成千上万份漏洞报告时,衡量价值的标准应该是被修复和被避免的风险,而不是发现数量。
curl选择把低危和中危发现以公开issue的方式透明处理,VulnCheck也呼吁其他开源项目跟进,公开它们收到的AI报告的真实质量。随着更多实验室推出类似的自动化安全扫描,开源社区如何应对这股报告洪流,会是接下来值得关注的问题。
参考来源
发布者:极致前沿,转转请注明出处:https://www.veryin.com/4546.html