Генерация, дополненная поиском (RAG)
Генерация, дополненная поиском, позволяет модели отвечать на основе ваших собственных документов: она находит релевантные фрагменты и добавляет их в промпт.
Система RAG делит ваши документы на фрагменты (чанки) и хранит их эмбеддинги. На каждый вопрос она находит ближайшие чанки и передаёт их языковой модели, которая пишет ответ. Модель не нужно переобучать, а ответ может ссылаться на исходные фрагменты.
RAG уменьшает галлюцинации, но не устраняет их. Модель всё равно может неверно прочитать фрагменты или проигнорировать их, а результаты сильно зависят от качества модели эмбеддингов и от того, как документы разбиты на чанки.
Связанные термины
- Эмбеддинг-модель Эмбеддинг-модель превращает текст, изображения или другие данные в список чисел, отражающий их смысл, так что похожие элементы оказываются рядом друг с другом.
- Галлюцинация Галлюцинация — это уверенно звучащее, но ложное или выдуманное утверждение, выданное ИИ-моделью.
- Контекстное окно Контекстное окно — это максимальный объём текста, измеряемый в токенах, который модель может учесть за один раз, включая ваш промпт и её собственный ответ.
- Память агента (Agent memory) Память агента позволяет ИИ-агенту сохранять факты, предпочтения и прошлый опыт между сессиями, а не начинать каждый раз с пустого контекста.