AnythingLLM
一体化应用:与你的文档对话、构建智能体、运行本地模型,既有桌面版,也有多用户的 Docker 服务器版。
AnythingLLM 由 Mintplex Labs 开发,把聊天、文档导入、智能体和向量数据库整合在一个应用里。你连接一个本地或云端模型,上传 PDF、TXT、DOCX 等文档,就可以与它们对话,并附带来源引用。提供 macOS、Windows 和 Linux 的桌面版,Docker 版则增加了带权限的多用户支持、白标定制和可嵌入的聊天组件。
它内置了本地模型引擎,由 Lemonade 和 llama.cpp 驱动,无需额外设置就能在 CPU 或 GPU 上运行(NVIDIA 通过 CUDA,AMD 和 Intel 通过 Vulkan)。它也能连接 Ollama、LM Studio、LocalAI、KoboldCpp 和许多云端服务商。README 中的其他功能还有无代码智能体构建器、MCP 兼容、定时任务、记忆和开发者 API。
许可证是 MIT。由于它是应用层,针对你的文档的回答质量取决于你接入的对话模型和嵌入模型,而本站的嵌入模型榜单正是挑选嵌入模型的好起点。
适合做什么
- 对自己的 PDF 和笔记做私密问答
- 需要带权限的多用户聊天服务器的团队
- 使用工具和你的文档的无代码智能体
- 在一个界面中连接许多本地和云端模型服务商
需要注意
- 多用户支持、白标定制和可嵌入的聊天组件只在 Docker 版中提供
- 如果你选择云端服务商,它会收到你的提示词以及随之发送的文档片段
- 回答质量取决于你选择的嵌入模型和对话模型