AnythingLLM

문서와 대화하고 에이전트를 만들고 로컬 모델을 실행하는 올인원 앱. 데스크톱 앱 또는 다중 사용자 Docker 서버로 쓸 수 있습니다.

  • 인터페이스
  • MIT · 오픈소스
  • macOS, Windows, Linux
  • 검증

AnythingLLM은 Mintplex Labs가 만든 앱으로, 채팅, 문서 수집, 에이전트, 벡터 데이터베이스를 하나의 애플리케이션에 통합합니다. 로컬 또는 클라우드 모델을 연결하고 PDF, TXT, DOCX 같은 문서를 업로드하면 출처 인용과 함께 문서와 대화할 수 있습니다. macOS, Windows, Linux용 데스크톱 버전이 있고, Docker 버전은 권한 관리가 있는 다중 사용자 지원, 화이트라벨링, 임베드 가능한 채팅 위젯을 추가합니다.

Lemonade와 llama.cpp 기반의 내장 로컬 모델 엔진을 포함하며, 별도 설정 없이 CPU나 GPU(NVIDIA는 CUDA, AMD와 Intel은 Vulkan)에서 실행됩니다. Ollama, LM Studio, LocalAI, KoboldCpp와 다수의 클라우드 공급자에도 연결할 수 있습니다. README에 소개된 다른 기능으로는 노코드 에이전트 빌더, MCP 호환, 예약 작업, 메모리, 개발자 API가 있습니다.

라이선스는 MIT입니다. 애플리케이션 레이어이기 때문에 문서에 대한 답변 품질은 연결한 채팅 모델과 임베딩 모델에 좌우되며, 이 사이트의 임베딩 모델 목록이 임베더를 고르는 좋은 출발점입니다.

적합한 용도

  • 자신의 PDF와 노트에 대한 비공개 질의응답
  • 권한이 있는 다중 사용자 채팅 서버가 필요한 팀
  • 도구와 자신의 문서를 활용하는 노코드 에이전트
  • 하나의 인터페이스에서 여러 로컬·클라우드 모델 공급자 연결

주의할 점

  • 다중 사용자 지원, 화이트라벨링, 임베드 가능한 채팅 위젯은 Docker 버전에만 제공
  • 클라우드 공급자를 선택하면 프롬프트와 함께 보낸 문서 발췌가 해당 업체에 전달됨
  • 답변 품질은 선택한 임베딩 모델과 채팅 모델에 따라 달라짐

링크