검색 증강 생성(RAG)

검색 증강 생성(RAG)은 관련 문단을 검색해 프롬프트에 추가함으로써, 모델이 여러분 자신의 문서를 근거로 답하게 만듭니다.

  • 모델 활용
  • 업데이트

RAG 시스템은 문서를 청크로 나누고 그 임베딩을 저장합니다. 질문마다 가장 가까운 청크를 찾아 언어 모델에 넘기면, 모델이 답을 작성합니다. 모델을 다시 학습시킬 필요가 없고, 답변은 출처 문단을 가리킬 수도 있습니다.

RAG는 환각을 줄이지만 없애지는 않습니다. 모델은 여전히 문단을 잘못 읽거나 무시할 수 있으며, 결과는 임베딩 모델의 품질과 문서를 청크로 나누는 방식에 크게 좌우됩니다.

관련 용어

  • 임베딩 모델(Embedding model) 임베딩 모델은 텍스트나 이미지 같은 데이터를 그 의미를 담은 숫자 목록으로 바꿔서, 비슷한 항목들이 서로 가까운 위치에 놓이게 합니다.
  • 할루시네이션(Hallucination) 할루시네이션은 AI 모델이 확신에 찬 듯 내놓는 거짓 또는 지어낸 진술입니다.
  • 컨텍스트 윈도우(Context window) 컨텍스트 윈도우는 모델이 한 번에 고려할 수 있는 최대 텍스트량으로, 토큰 단위로 측정하며 프롬프트와 모델 자신의 답변을 모두 포함합니다.
  • 에이전트 메모리(Agent memory) 에이전트 메모리는 AI 에이전트가 사실, 선호, 과거 경험을 세션 사이에서 유지하게 해서 매번 빈 컨텍스트부터 시작하지 않도록 합니다.

전체 용어