Глоссарий
Сначала короткое определение, потом подробности. Термины ссылаются друг на друга.
Основы
- Инференс
- Инференс — это запуск обученной модели для получения результата, например ответа на запрос, в противоположность её обучению.
- Контекстное окно
- Контекстное окно — это максимальный объём текста, измеряемый в токенах, который модель может учесть за один раз, включая ваш промпт и её собственный ответ.
- Машинный перевод
- Машинный перевод — это ПО, переводящее текст, речь или текст на изображениях с одного языка на другой. Открытые модели сегодня обычно стартуют с универсальной модели и дообучаются только на перевод.
- Обучение с подкреплением (RL)
- Обучение с подкреплением тренирует модель, вознаграждая хорошие результаты, например правильный ответ или прохождение тестов, вместо копирования примеров текста.
- Открытые веса (open weights)
- Модель с открытыми весами — это модель ИИ, чьи обученные параметры, называемые весами, опубликованы, так что любой может скачать её и запустить, обычно под лицензией, задающей условия использования.
- Параметры
- Параметры — это числа внутри модели, которые настраиваются во время обучения; их количество, например 7B или 70B, — привычная мера размера модели.
- Суверенный ИИ (Sovereign AI)
- Суверенный ИИ — это ИИ, который страна или организация может создавать, размещать и контролировать самостоятельно, от вычислительных мощностей и данных до самой модели.
- Токен
- Токен — это небольшой кусок текста, часто слово или часть слова, который языковая модель читает и пишет; модели измеряют длину и скорость в токенах.
- Hugging Face
- Hugging Face — сайт, где публикуется большинство открытых моделей: у каждой модели есть страница с файлами, лицензией, модельной карточкой и числом скачиваний.
Модели и архитектура
- Базовая модель (Base model)
- Базовая модель — это сырой результат предобучения, ещё не обученный следовать инструкциям или вести диалог; обычно это отправная точка для дообучения (fine-tuning).
- Визуально-языковая модель (VLM)
- Визуально-языковая модель читает изображения (часто и видео) вместе с текстом, поэтому можно задавать вопросы о фотографии, скриншоте или странице документа.
- Генерация музыки
- Модели генерации музыки превращают текстовое описание (часто вместе с текстом песни) в аудио: полные песни с вокалом, инструментальные треки, музыку в реальном времени или звуковые эффекты.
- Диаризация (метки спикеров)
- Диаризация определяет, кто и когда говорил в записи, и помечает каждый отрезок речи спикером, например «Спикер 1» и «Спикер 2».
- Дистилляция
- Дистилляция обучает меньшую «ученическую» модель подражать большей «учительской», сохраняя большую часть её способностей при малой доле размера.
- Диффузионная модель
- Диффузионная модель генерирует изображения или видео, стартуя со случайного шума и убирая шум шаг за шагом, пока не проявится картинка.
- Зацикленный трансформер (looped transformer)
- Зацикленный трансформер прогоняет часть собственных слоёв несколько раз для каждого токена, получая больше вычислений без хранения большего числа параметров.
- ИИ-агент
- ИИ-агент — это система, в которой модель планирует и выполняет многошаговые задачи, вызывая инструменты: например, запуская код, ища в интернете или редактируя файлы.
- Матрёшка-эмбеддинги
- Матрёшка-эмбеддинги обучаются так, что первая часть вектора работает сама по себе, что позволяет укоротить вектор и сэкономить на хранении и поиске.
- Модель принятия решений
- Модель принятия решений читает ситуацию и список вопросов, а затем возвращает вероятность для каждого допустимого ответа вместо того, чтобы писать текст.
- Мультимодальная модель
- Мультимодальная модель умеет работать более чем с одним типом данных — текстом, изображениями, аудио или видео — на входе, на выходе или и там и там.
- Плотная модель
- Плотная модель использует все свои параметры для обработки каждого токена, в отличие от смеси экспертов, которая активирует лишь их часть.
- Распознавание речи (ASR, speech-to-text)
- Распознавание речи, также называемое ASR или speech-to-text, превращает звуковую речь в письменный текст.
- Рассуждающая модель (reasoning model)
- Рассуждающая модель прорабатывает задачу шаг за шагом в фазе «размышления», видимой или скрытой, прежде чем дать окончательный ответ.
- Реранкер (reranker)
- Реранкер заново оценивает короткий список результатов поиска, читая вопрос и каждый результат вместе; это медленнее, но точнее, чем одни лишь эмбеддинги.
- Синтез речи (TTS)
- Модели синтеза речи превращают письменный текст в звучащую речь, и многие умеют копировать голос по короткому образцу.
- Смесь экспертов (MoE)
- Модель смеси экспертов содержит множество специализированных подсетей и использует лишь несколько из них для каждого токена, поэтому может быть очень большой и при этом быстрой.
- Текстовый энкодер
- В генераторе изображений или видео текстовый энкодер — это отдельная языковая модель, которая превращает ваш промпт в числа, понятные генератору. Она увеличивает объём загрузки и потребление памяти.
- Эмбеддинг-модель
- Эмбеддинг-модель превращает текст, изображения или другие данные в список чисел, отражающий их смысл, так что похожие элементы оказываются рядом друг с другом.
- Эффективное внимание (разреженное, линейное и гибридное)
- Конструкции эффективного внимания позволяют модели читать очень длинные входы с гораздо меньшими затратами памяти и вычислений, чем стандартное внимание, — за счёт просмотра меньшего числа токенов или сжатия прошлого.
- OCR и разбор документов
- OCR превращает изображение текста в текст; разбор документов идёт дальше и восстанавливает таблицы, формулы, диаграммы и порядок чтения, обычно в виде Markdown.
Оборудование и память
- Единая память
- Единая память — это подход, используемый чипами Apple и некоторыми другими: CPU и GPU делят один пул памяти, поэтому большая модель может занять большую его часть.
- Квантование
- Квантование хранит веса модели с меньшим числом бит, например 4 вместо 16, чтобы сократить расход памяти и ускорить вывод ценой небольшого снижения качества.
- Обучение с учётом квантования (QAT)
- Обучение с учётом квантования приучает модель работать с низкоточными весами ещё на этапе обучения, поэтому при 4 битах она теряет меньше качества, чем модель, сжатая постфактум.
- Спекулятивное декодирование и предсказание нескольких токенов
- Спекулятивное декодирование ускоряет генерацию текста: дешёвый черновик угадывает несколько токенов вперёд, а полная модель проверяет их все разом.
- Точность (BF16, FP8, INT4)
- Точность — это сколько бит используется для хранения каждого числа в модели, например 16-битный BF16, 8-битный FP8 или 4-битный INT4; меньше бит — меньше и быстрее модель.
- Троичные веса (1,58 бита)
- Троичные веса ограничивают каждый вес модели одним из трёх значений, -1, 0 или +1, поэтому модели нужно менее 2 бит на вес вместо 16.
- GGUF
- GGUF — это однофайловый формат моделей, используемый llama.cpp и построенными на нём инструментами: он упаковывает квантованные веса вместе с информацией, необходимой для их запуска.
- KV-кэш
- KV-кэш — это память, которую модель использует, чтобы помнить предыдущие токены разговора; она растёт вместе с длиной контекста.
- VRAM (видеопамять)
- VRAM — это память видеокарты; она определяет, какие модели сможет держать GPU, потому что веса должны помещаться в память, чтобы модель работала быстро.
Лицензирование
- Модель с ограниченным доступом (gated model)
- Модель с ограниченным доступом (gated) — это открытая модель, для скачивания которой на Hugging Face нужно сначала войти в аккаунт и принять её условия или запросить доступ.
- Некоммерческая лицензия
- Некоммерческая лицензия позволяет использовать модель для исследований, учёбы и личных проектов, но не для извлечения из неё прибыли.
- Ограничение по выручке (revenue cap)
- Ограничение по выручке — это условие лицензии, при котором модель бесплатна, пока доход ниже определённой суммы, а выше требуется отдельное соглашение.
- Открытый ИИ
- Открытый ИИ по определению Open Source Initiative — это система ИИ, которую можно свободно использовать, изучать, изменять и распространять, причём веса, код и подробные сведения об обучающих данных полностью доступны.
- Пермиссивная лицензия
- Пермиссивная лицензия, например Apache 2.0 или MIT, позволяет использовать, изменять и продавать модель с очень небольшими условиями — обычно достаточно сохранить уведомление.
- Территориальное ограничение
- Территориальное ограничение определяет, где действует лицензия: использование модели в исключённых странах или регионах не лицензируется.
- OpenRAIL (лицензия ответственного ИИ)
- OpenRAIL — это семейство лицензий, которые позволяют использовать, изменять и распространять модель, в том числе коммерчески, но требуют, чтобы каждая копия и производная работа сопровождалась списком запрещённых применений.
Использование моделей
- Агент управления компьютером (Computer-use agent)
- Агент управления компьютером смотрит на скриншоты и управляет компьютером как человек: кликает, печатает, прокручивает, а иногда запускает команды shell или код.
- Агентное программирование (Agentic coding)
- Агентное программирование означает, что модель работает над программным обеспечением как разработчик: читает кодовую базу, правит файлы, запускает команды и тесты и продолжает, пока задача не будет выполнена.
- Бенчмарк (Benchmark)
- Бенчмарк — это стандартизированный тест для сравнения моделей, например набор задач по математике, программированию или знаниям; оценки полезны, но им легко придать слишком большое значение.
- Вызов инструментов (function calling)
- Вызов инструментов позволяет модели попросить вашу программу выполнить функцию, например поиск или калькулятор, и затем использовать результат в ответе.
- Галлюцинация
- Галлюцинация — это уверенно звучащее, но ложное или выдуманное утверждение, выданное ИИ-моделью.
- Генерация, дополненная поиском (RAG)
- Генерация, дополненная поиском, позволяет модели отвечать на основе ваших собственных документов: она находит релевантные фрагменты и добавляет их в промпт.
- Дообучение (fine-tuning)
- Дообучение продолжает обучение предобученной модели на ваших собственных примерах, чтобы она лучше работала в конкретной задаче, стиле или предметной области.
- ИИ на устройстве (on-device)
- ИИ на устройстве означает, что модель работает на вашем собственном телефоне, ноутбуке или небольшой плате, а не в облаке, поэтому данные остаются локально и всё работает офлайн.
- Клонирование голоса
- Клонирование голоса заставляет модель синтеза речи говорить голосом конкретного человека, часто по нескольким секундам записи.
- Метрики перевода
- Метрики перевода — это оценки, которыми карточки моделей измеряют качество перевода. Одни считают совпадение с человеческой ссылкой, другие используют обученную модель или людей-рецензентов, и их шкалы нельзя сравнивать.
- Память агента (Agent memory)
- Память агента позволяет ИИ-агенту сохранять факты, предпочтения и прошлый опыт между сессиями, а не начинать каждый раз с пустого контекста.
- Самохостинг (Self-hosting)
- Самохостинг означает запуск модели на оборудовании, которое контролируете вы, — например, на своём ПК или арендованном GPU-сервере, — вместо обращения к API поставщика.
- Управление без классификатора (CFG)
- Управление без классификатора, обычно называемое CFG, — это настройка диффузионных моделей, которая контролирует, насколько строго результат следует вашему промпту, ценой дополнительных вычислений.
- Частота ошибок в словах (WER)
- Частота ошибок в словах — стандартная оценка для распознавания речи: доля слов в транскрипте, которые ошибочны, пропущены или лишние по сравнению с правильной ссылкой.
- Шаги сэмплирования
- Шаги сэмплирования — это число проходов, которые делает диффузионная модель, превращая шум в изображение или видео. Меньше шагов — быстрее результат, обычно с некоторой потерей детализации или разнообразия.
- API, совместимый с OpenAI
- API, совместимый с OpenAI, — это сервер, который принимает те же запросы, что и API OpenAI, поэтому приложения, написанные под неё, могут вместо неё использовать открытую модель.
- LoRA (низкоранговая адаптация)
- LoRA, сокращение от low-rank adaptation, дообучает модель, тренируя небольшой набор добавленных весов вместо изменения всех её параметров.
- MTEB (бенчмарк эмбеддингов)
- MTEB, Massive Text Embedding Benchmark, оценивает модели эмбеддингов на множестве задач, таких как поиск, классификация и кластеризация, а его публичный лидерборд — распространённый способ их сравнения.
- OmniDocBench
- OmniDocBench — бенчмарк разбора документов: он оценивает, насколько хорошо модель превращает PDF-страницы самых разных типов в текст, таблицы и формулы.