Память агента (Agent memory)

Память агента позволяет ИИ-агенту сохранять факты, предпочтения и прошлый опыт между сессиями, а не начинать каждый раз с пустого контекста.

  • Использование моделей
  • Обновлено

Большинство чат-моделей видят только то, что помещается в текущее контекстное окно. Память агента добавляет хранилище, которое переживает разговор. Типовая конструкция — внешний фреймворк памяти, такой как Mem0 или MemOS: после каждого обмена модель решает, что записать, как точно это сформулировать и как новые факты должны обновлять старые, а шаг поиска позже возвращает нужные записи. Hy-Memory-30B-A3B от Tencent — открытая модель, обученная только для этого шага записи.

Другой подход, реализованный в MemT-1.0 от MemTensor, встраивает память в саму модель. Состояние фиксированного размера располагается рядом со слоями внимания, обновляется после каждого хода и может сохраняться в файл и загружаться позже, поэтому старый разговор не нужно держать в промпте. По словам MemTensor, при истории в 128K токенов это требует примерно в 66 раз меньше постоянного хранилища, чем KV-кэш, но компания также признаёт, что сильные текстовые системы памяти в целом всё ещё впереди.

Бенчмарки памяти, такие как LoCoMo и LongMemEval, молоды, а опубликованные таблицы получены из запусков самих разработчиков, часто на подвыборках. Сохранённые воспоминания могут содержать персональные данные, поэтому решите, где они хранятся, как пользователи могут просматривать или удалять их и что агенту разрешено помнить.

Связанные термины

  • ИИ-агент ИИ-агент — это система, в которой модель планирует и выполняет многошаговые задачи, вызывая инструменты: например, запуская код, ища в интернете или редактируя файлы.
  • Генерация, дополненная поиском (RAG) Генерация, дополненная поиском, позволяет модели отвечать на основе ваших собственных документов: она находит релевантные фрагменты и добавляет их в промпт.
  • Контекстное окно Контекстное окно — это максимальный объём текста, измеряемый в токенах, который модель может учесть за один раз, включая ваш промпт и её собственный ответ.
  • KV-кэш KV-кэш — это память, которую модель использует, чтобы помнить предыдущие токены разговора; она растёт вместе с длиной контекста.

Все термины