Спекулятивное декодирование и предсказание нескольких токенов
Спекулятивное декодирование ускоряет генерацию текста: дешёвый черновик угадывает несколько токенов вперёд, а полная модель проверяет их все разом.
Языковая модель обычно пишет по одному токену за раз, и каждый токен требует полного прохода через модель. При спекулятивном декодировании небольшая черновая модель или дополнительный слой предсказания внутри модели предлагает несколько следующих токенов. Основная модель проверяет их за один проход и оставляет те, с которыми согласна, поэтому в стандартных реализациях результат такой же, как если бы модель писала сама, только быстрее.
Многие недавние модели оснащены для этого слоем предсказания нескольких токенов (MTP), например Hy3 и семейства DeepSeek V4 и GLM-5, и серверы инференса вроде vLLM и SGLang умеют его использовать. Больше всего это помогает на предсказуемом тексте, таком как код, и требует немного дополнительной памяти. Проверьте, поддерживает ли ваш сервер MTP-слой модели, поскольку поддержка и настройки различаются между инструментами.
Связанные термины
- Инференс Инференс — это запуск обученной модели для получения результата, например ответа на запрос, в противоположность её обучению.
- KV-кэш KV-кэш — это память, которую модель использует, чтобы помнить предыдущие токены разговора; она растёт вместе с длиной контекста.
- Токен Токен — это небольшой кусок текста, часто слово или часть слова, который языковая модель читает и пишет; модели измеряют длину и скорость в токенах.