AnythingLLM

All-in-One-App: chatten Sie mit Ihren Dokumenten, bauen Sie Agenten und führen Sie lokale Modelle aus — als Desktop-App oder Docker-Server.

  • Oberflächen
  • MIT · Open Source
  • macOS, Windows, Linux
  • Verifiziert

AnythingLLM von Mintplex Labs bündelt Chat, Dokumentenverarbeitung, Agenten und Vektordatenbanken in einer Anwendung. Sie verbinden ein lokales oder Cloud-Modell, laden Dokumente wie PDF, TXT und DOCX hoch und chatten mit ihnen, inklusive Quellenangaben. Eine Desktop-Version gibt es für macOS, Windows und Linux, und die Docker-Version ergänzt Mehrbenutzerbetrieb mit Berechtigungen, White-Labeling und ein einbettbares Chat-Widget.

Sie enthält eine eingebaute lokale Modell-Engine auf Basis von Lemonade und llama.cpp, die ohne Zusatzkonfiguration auf CPU oder GPU läuft (NVIDIA über CUDA, AMD und Intel über Vulkan). Außerdem verbindet sie sich mit Ollama, LM Studio, LocalAI, KoboldCpp und vielen Cloud-Anbietern. Weitere Funktionen laut README: ein No-Code-Agenten-Builder, MCP-Kompatibilität, geplante Aufgaben, Memories und eine Entwickler-API.

Die Lizenz ist MIT. Da es eine Anwendungsschicht ist, hängt die Antwortqualität zu Ihren Dokumenten vom Chat-Modell und dem Embedding-Modell ab, das Sie einbinden; unsere Embedding-Modell-Liste ist ein guter Ausgangspunkt für die Auswahl.

Geeignet für

  • Private Frage-Antwort über Ihre eigenen PDFs und Notizen
  • Teams, die einen Mehrbenutzer-Chatserver mit Berechtigungen wollen
  • No-Code-Agenten, die Tools und Ihre Dokumente nutzen
  • Viele lokale und Cloud-Modellanbieter über eine Oberfläche verbinden

Darauf achten

  • Mehrbenutzerbetrieb, White-Labeling und das einbettbare Chat-Widget gibt es nur in der Docker-Version
  • Wenn Sie einen Cloud-Anbieter wählen, erhält dieser Ihre Prompts und die mitgesendeten Dokumentauszüge
  • Die Antwortqualität hängt vom gewählten Embedding-Modell und Chat-Modell ab

Links