Мультимодальная модель

Мультимодальная модель умеет работать более чем с одним типом данных — текстом, изображениями, аудио или видео — на входе, на выходе или и там и там.

  • Модели и архитектура
  • Обновлено

Визуально-языковые модели читают изображения вместе с текстом. Омни-модели могут принимать также аудио и видео, а генераторы изображений и видео создают картинки или клипы из текста. Каждая страница модели на этом сайте указывает типы входа и выхода, например: текст и изображение на входе, текст на выходе.

Мультимодальные возможности часто поставляются в виде дополнительных файлов: визуального кодировщика рядом с языковой моделью или отдельного текстового кодировщика для генератора изображений. Проверьте размер загрузки на странице модели — он охватывает все компоненты, необходимые для запуска модели.

Связанные термины

  • Диффузионная модель Диффузионная модель генерирует изображения или видео, стартуя со случайного шума и убирая шум шаг за шагом, пока не проявится картинка.
  • Эмбеддинг-модель Эмбеддинг-модель превращает текст, изображения или другие данные в список чисел, отражающий их смысл, так что похожие элементы оказываются рядом друг с другом.

Все термины