Text Embeddings Inference
Hugging Face 的快速服务器,用于部署开放的文本嵌入、重排序和分类模型,以小型 Docker 镜像发布。
Text Embeddings Inference(TEI)是 Hugging Face 的工具包,用于部署和服务开源的文本嵌入模型和序列分类模型。README 说它支持 FlagEmbedding、Ember、GTE 和 E5 等流行模型,也支持重排序模型、SPLADE 池化,以及私有或受限访问的模型。功能包括基于 token 的动态批处理、启动很快的小型 Docker 镜像、基于 Flash Attention 的优化内核、safetensors 和 ONNX 权重加载,以及 Prometheus 指标和 OpenTelemetry 追踪等生产工具。
它不需要模型图编译步骤,可通过 Homebrew 安装并借助 Metal 在 Mac 上本地使用,也有面向 AMD Instinct GPU 的构建。它提供 HTTP API(gRPC 为可选),RAG 流水线可以调用它来嵌入文本和对结果重排序。选择嵌入模型之前,请先查看 README 中的支持模型列表,因为只有部分架构受支持。
许可证是 Apache 2.0。它只服务文本模型,所以请搭配本站嵌入模型榜单中的模型和向量数据库使用。
适合做什么
- 为 RAG 在 API 后面提供嵌入或重排序模型
- 借助动态批处理实现高吞吐的嵌入
- 启动很快的小型容器部署
- 在 Mac 上借助 Metal 本地使用
需要注意
- 它只服务文本模型,不支持图像或音频嵌入模型
- 只有支持模型列表中的架构才能使用,请先查看该列表
- Docker 镜像按硬件类型分别构建,请选择与你的 GPU 匹配的标签