谷歌为Gemini API推出工具检索预览:智能体可按需加载工具参数,不必每次把整库塞进提示词

谷歌于11月19日宣布,Gemini API的工具检索(Tool Retrieval)已在Interactions API中进入预览。面对几十甚至上百个工具时,开发者不必再把全部参数模式每次都放进提示词,模型会先根据名称和描述选中工具,再在同一次请求里加载完整模式并完成调用。

发生了什么

谷歌在11月19日的官方博客中宣布,Gemini API正式推出工具检索功能,目前在Interactions API里以预览形式提供。产品经理Lucia Loher和Google DeepMind研究科学家Nora Kassner在博文中写道,当一个智能体要连接几十甚至上百个工具时,如果每次请求都把全部工具的参数模式一并发送,输入token会迅速膨胀,延迟上升,候选列表变长后,模型选对工具的准确率也会下降。工具检索的设计,是让智能体把完整工具库留在“待命”状态,只在当前任务真正需要时,再加载对应的参数模式。

关键细节和数据

开启这一能力,需要在请求里加入一个`tool_search`工具,并给希望暂缓加载的工具设置`defer_loading: true`。被推迟的工具并不会从模型视野里消失:它们的名称和描述仍会出现在上下文中,只是完整的参数模式先不占用token。当模型判断需要某个工具时,会按名称提出加载请求,接口再把该工具的完整模式送回,模型随即发出函数调用。谷歌强调,搜索、加载和调用这三步都发生在同一次API请求之内,并会依次出现在`interaction.steps`里,分别记为`tool_search_call`、`tool_search_result`和`function_call`,便于开发者事后检查模型当时考虑过哪些工具。

官方示例使用的模型是`gemini-4-hydrogen`,场景是为损坏订单办理退款。请求里除了`tool_search`,还以延后加载的方式声明了`issue_refund`等50多个函数,并建议把最常用的工具保持前置加载、把长尾工具延后。谷歌同时说明,服务端会完成检索,开发者不必自建或托管索引,代码侧的主要改动就是新增这一工具和延后加载标记。

工具检索可以和前缀缓存一起使用:被延后的模式不会出现在提示词开头,模型实际加载的模式会追加到对话后面,从而让各轮开头的缓存前缀保持稳定。它也支持Gemini API里的远程MCP服务器——只要在`mcp_server`工具上设置`defer_loading: true`,该服务器暴露的全部工具都会按需加载,而不必把工具逐一写进请求。

如果团队已经维护了自己的工具注册表、向量索引或按用户权限过滤的目录,还可以把`tool_search`声明为`”execution”: “client”`,由客户端执行检索。这种方式每次搜索会多一次往返,但不必事先声明全部工具,也允许用户在对话中途接入新集成后立即暴露新工具。

在计费上,工具检索没有单独收费项,输入和输出仍按所调用模型的标准单价计算。打开`tool_search`会增加一小段固定的输入token,此后模型加载的每一份模式,会按输入token计入本次对话的后续用量,计费方式与一开始就声明该工具相同。谷歌的判断是:当始终不会被加载的模式所节省的token,超过实际加载的那些模式时,通常就能省钱,尤其适合大型工具库;不过官方也提醒,应当用自己的真实流量去测量,而不是直接套用这一经验。该功能适用于Gemini 3.6及之后的模型,包括所有Gemini 4系列,且仅在Interactions API中提供。

为什么重要

智能体要真正接手复杂业务,往往不是只接三五个函数,而是要面对支付、工单、内部知识库、浏览器和第三方MCP服务组成的长尾工具库。过去常见的做法是把全部JSON Schema塞进系统提示,既贵也容易在候选变多后选错工具。谷歌把“先看见目录、再打开说明书”做成接口能力,等于把工具选择从提示词工程里拆出来,变成一次可观察的检索步骤。对已经在Gemini上做智能体的团队来说,这比再写一套外部路由中间层更直接,也和MCP、前缀缓存这些现有能力对齐。

影响和展望

眼下它仍是预览,只覆盖Interactions API,不能理解为所有Gemini调用方式都已支持。客户端检索会增加一次往返,服务端检索则把选择逻辑交给谷歌;两种路径各有取舍,官方也没有公布一组可直接引用的准确率或降本百分比。接下来更值得看的,是开发者在上百个工具的真实业务里,延后加载能否稳定省token,以及模型只靠名称和描述做初选时,会不会因为描述写得含糊而叫错工具。对工具说明的撰写和常用工具是否前置,可能很快会成为比堆砌更多函数更要紧的工程问题。

参考来源

发布者:极致前沿,转转请注明出处:https://www.veryin.com/4816.html

赞 (0)
深度:Palo Alto Networks为何以45亿美元全股票收购Applied Compute,押注“安全的开源权重模型”
上一篇 3天前
OpenAI公开Performance Factory:用Codex自动排查性能回退,三个多月跟踪超1700次调查
下一篇 2天前

相关推荐

发表回复

登录后才能评论