Karpo开源System 1+System 2浏览器智能体:102项任务准确率89%,单任务模型成本约0.096美元

Karpo于11月21日开源浏览器智能体karpo-browser:通用大模型负责规划和读结果,决策模型Karpo Decision 27B Act负责逐步点选。在Browserbase Benchmark v2全部102道任务上,三次运行平均准确率89%,单任务平均201秒、0.096美元。

发生了什么

Karpo 研究团队在11月21日的官方博客中宣布,开源了浏览器智能体框架 karpo-browser。它把工作分成两部分:通用大模型作为 System 2,负责理解任务、拆分目标、写出要填的内容并读取结果;专门为网页操作训练的决策模型 Karpo Decision 27B Act 作为 System 1,在页面上逐步选择动作。团队称,这套分工也用在 Karpo 的 Personal Agent 里,用来完成订票、下单和查询等信息任务。

关键细节和数据

官方给出的核心评测是:以 DeepSeek V4.1 Flash 为 System 2、Karpo Decision 27B Act 为 System 1,在 Browserbase Benchmark v2 的全部 102 道任务上,三次运行平均准确率为 89%,每个任务平均耗时 201 秒、模型成本 0.096 美元。耗时只统计智能体自身的运行时间。其中,theweathernetwork.com 的 4 道题因经 Browserbase 的美国代理持续重定向而打不开,在准确率中按失败计;amazon.com 的 3 道题全部通过。

团队提醒,公开榜单通常只统计官方的 38 道核心任务,而他们报告的是全部 102 道任务、三次运行的平均成绩,条件并不相同,与榜单数字的对比只能作为参考。他们整理了截至11月18日公开榜单上的 91 条记录:准确率 85% 以上的 10 条,中位耗时和成本约为 452 秒、1.19 美元;准确率 60% 以上的记录里,最快的一条也要 200 秒。团队还测量,通用大模型一个回合约 3.4 秒,平均读取约 19.5k 个输入 token、写出 476 个输出 token。

他们把现有做法的问题概括为:无论是把无障碍树交给大模型定位元素、用 computer-use 模型看截图点选,还是让编程智能体接入浏览器工具,每一步都要大模型读一遍页面并生成文字,成本和耗时会随步数增加。在他们开源的逐步评测集 KBB 上(在真实网站录制、离线回放,覆盖 584 个网站、23,075 步),Claude Fable 5.2 每一步选对的比例为 82.1%;一条指令平均 7.6 步,每步都选对的比例只有 40.8%。KBB 榜单上的四个通用大模型,指令完成率都在 38.1% 到 41.0% 之间,每次页面决策要 2.6 到 5.0 秒、0.009 到 0.083 美元。

karpo-browser 的应对是:System 2 给出目标和限制,但不指定控件位置和滚动方式;System 1 在页面的可选操作里逐步选择,每步一次前向推理,官方称约 1 秒。代码仓库说明,它可作为 MCP 服务器接入 Claude Code、Codex 或其他 MCP 客户端,驱动本地或已有的 Chrome / Chromium,并要求 Node.js 22.18 或更高版本。仓库采用 Apache 2.0 许可。README 还写明,密码或卡号按名称填入页面,模型看不到这些内容。决策模型权重已在 Hugging Face 发布。他们同时开源了评测集 Karpo BrowserBench,评测工具采用 Apache 2.0,公开数据集仅限评测使用。

为什么重要

浏览器智能体要真正替人把事办完,往往不是一次生成答案,而是几十步点击、输入和判断。把逐步决策从通用大模型里拆出来,是想在准确率之外,把单次任务的时间和费用压到可以规模化使用的水平。

影响和展望

102 道任务、三次平均的结果,并不能直接等同于公开榜单上那 38 道核心任务的成绩,活网站评测也难以完全复现。System 1 仍然可能在复杂或对抗性的页面上选错,System 2 也仍要在目标和结果上把关。接下来要看更多第三方复现,以及这套分工在订票、下单之外的网站上是否同样成立。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4888.html

赞 (0)
谷歌推出语义治理策略预览:智能体要调用工具,须先过明文规则和用户原意两道检查
上一篇 16小时前
RoC只在必要时召唤推理智能体:仿真平均成功率99.6%,真机三项长程任务平均73.3%
下一篇 16小时前

相关推荐

发表回复

登录后才能评论