Спекулятивное декодирование и предсказание нескольких токенов

Спекулятивное декодирование ускоряет генерацию текста: дешёвый черновик угадывает несколько токенов вперёд, а полная модель проверяет их все разом.

  • Оборудование и память
  • Обновлено

Языковая модель обычно пишет по одному токену за раз, и каждый токен требует полного прохода через модель. При спекулятивном декодировании небольшая черновая модель или дополнительный слой предсказания внутри модели предлагает несколько следующих токенов. Основная модель проверяет их за один проход и оставляет те, с которыми согласна, поэтому в стандартных реализациях результат такой же, как если бы модель писала сама, только быстрее.

Многие недавние модели оснащены для этого слоем предсказания нескольких токенов (MTP), например Hy3 и семейства DeepSeek V4 и GLM-5, и серверы инференса вроде vLLM и SGLang умеют его использовать. Больше всего это помогает на предсказуемом тексте, таком как код, и требует немного дополнительной памяти. Проверьте, поддерживает ли ваш сервер MTP-слой модели, поскольку поддержка и настройки различаются между инструментами.

Связанные термины

  • Инференс Инференс — это запуск обученной модели для получения результата, например ответа на запрос, в противоположность её обучению.
  • KV-кэш KV-кэш — это память, которую модель использует, чтобы помнить предыдущие токены разговора; она растёт вместе с длиной контекста.
  • Токен Токен — это небольшой кусок текста, часто слово или часть слова, который языковая модель читает и пишет; модели измеряют длину и скорость в токенах.

Все термины