Вызов инструментов (function calling)

Вызов инструментов позволяет модели попросить вашу программу выполнить функцию, например поиск или калькулятор, и затем использовать результат в ответе.

  • Использование моделей
  • Обновлено

Модель сама не может листать веб или исполнять код. При вызове инструментов вы описываете модели доступные функции, и когда одна из них пригодилась бы, модель отвечает структурированным запросом, обычно JSON, где названы функция и её аргументы. Ваша программа выполняет функцию, возвращает результат, и модель продолжает работу. Это базовый строительный блок ИИ-агентов.

Поддержка — свойство и модели, и сервера: модель должна быть обучена под этот формат, а серверу инференса, такому как vLLM или SGLang, нужно включить соответствующий парсер. Открытые модели сильно различаются по надёжности вызова инструментов, поэтому тестируйте на своих инструментах и оставляйте человеческую проверку за любым необратимым действием.

Связанные термины

  • ИИ-агент ИИ-агент — это система, в которой модель планирует и выполняет многошаговые задачи, вызывая инструменты: например, запуская код, ища в интернете или редактируя файлы.
  • API, совместимый с OpenAI API, совместимый с OpenAI, — это сервер, который принимает те же запросы, что и API OpenAI, поэтому приложения, написанные под неё, могут вместо неё использовать открытую модель.
  • Рассуждающая модель (reasoning model) Рассуждающая модель прорабатывает задачу шаг за шагом в фазе «размышления», видимой или скрытой, прежде чем дать окончательный ответ.

Все термины