AnythingLLM

Приложение всё в одном: общение с документами, агенты и локальные модели — настольное или многопользовательский Docker-сервер.

  • Интерфейсы
  • MIT · Открытый код
  • macOS, Windows, Linux
  • Проверено

AnythingLLM от Mintplex Labs объединяет чат, загрузку документов, агентов и векторные базы данных в одном приложении. Вы подключаете локальную или облачную модель, загружаете документы — PDF, TXT, DOCX — и общаетесь с ними, со ссылками на источники. Есть настольная версия для macOS, Windows и Linux, а версия Docker добавляет многопользовательский режим с правами доступа, white-labeling и встраиваемый чат-виджет.

В неё встроен локальный движок моделей на базе Lemonade и llama.cpp, который работает на CPU или GPU (NVIDIA через CUDA, AMD и Intel через Vulkan) без дополнительной настройки. Также он подключается к Ollama, LM Studio, LocalAI, KoboldCpp и многим облачным провайдерам. Среди прочих возможностей README: конструктор агентов без кода, совместимость с MCP, запланированные задачи, память (memories) и API для разработчиков.

Лицензия — MIT. Поскольку это слой приложения, качество ответов по вашим документам зависит от подключённой чат-модели и модели эмбеддингов, а наш список моделей эмбеддингов — хорошее место для выбора.

Подходит для

  • Приватные вопросы и ответы по собственным PDF и заметкам
  • Командам, которым нужен многопользовательский чат-сервер с правами доступа
  • Агентам без кода, использующим инструменты и ваши документы
  • Подключение множества локальных и облачных провайдеров моделей из одного интерфейса

На что обратить внимание

  • Многопользовательский режим, white-labeling и встраиваемый чат-виджет доступны только в версии Docker
  • Если вы выберете облачного провайдера, он получит ваши промпты и отправленные вместе с ними фрагменты документов
  • Качество ответов зависит от выбранных модели эмбеддингов и чат-модели

Ссылки