Плотная модель
Плотная модель использует все свои параметры для обработки каждого токена, в отличие от смеси экспертов, которая активирует лишь их часть.
Плотные модели проще оценивать. Плотной модели на 27B нужна память под 27 миллиардов параметров, и на каждом токене она выполняет работу 27 миллиардов параметров, поэтому её скорость и расход памяти растут вместе. Это упрощает подбор под конкретную машину.
Плотные модели примерно на 20B–35B параметров, такие как Qwen3.8-27B и версия Gemma 4 на 31B, популярны для запуска на одной игровой GPU или хорошо оснащённом ноутбуке в 4-битной точности.
Связанные термины
- Смесь экспертов (MoE) Модель смеси экспертов содержит множество специализированных подсетей и использует лишь несколько из них для каждого токена, поэтому может быть очень большой и при этом быстрой.
- Параметры Параметры — это числа внутри модели, которые настраиваются во время обучения; их количество, например 7B или 70B, — привычная мера размера модели.