工具调用(Function calling)
工具调用让模型请求你的程序运行某个函数,例如搜索或计算器,然后在回答中使用函数返回的结果。
模型自己无法上网或运行代码。使用工具调用时,你先向模型描述可用的函数;当某个函数有帮助时,模型会回复一个结构化的请求(通常是 JSON),写明函数名和参数。你的程序运行这个函数,把结果返回给模型,模型再继续。它是 AI 智能体的基本构件。
支持情况取决于模型和服务器两方面:模型必须针对这种格式训练过,而 vLLM 或 SGLang 这样的推理服务器需要打开对应的解析器。各个开放模型调用工具的可靠程度差别很大,所以请用你自己的工具测试,并对无法撤销的操作保留人工确认。
相关术语
- AI 智能体 AI 智能体是指由模型规划并完成多步任务的系统,它通过调用工具来行动,例如运行代码、搜索网页或编辑文件。
- 兼容 OpenAI 的 API 兼容 OpenAI 的 API 是指能接受与 OpenAI API 相同请求的服务器,这样为 OpenAI 编写的应用就可以改用开放模型。
- 推理模型(Reasoning Model) 推理模型在给出最终答案之前,会先经过一个可见或不可见的“思考”阶段,一步一步地解决问题。