Text Embeddings Inference

Hugging Face 的快速服务器,用于部署开放的文本嵌入、重排序和分类模型,以小型 Docker 镜像发布。

  • 规模化部署
  • Apache 2.0 · 开源
  • macOS, Linux
  • 核实于

Text Embeddings Inference(TEI)是 Hugging Face 的工具包,用于部署和服务开源的文本嵌入模型和序列分类模型。README 说它支持 FlagEmbedding、Ember、GTE 和 E5 等流行模型,也支持重排序模型、SPLADE 池化,以及私有或受限访问的模型。功能包括基于 token 的动态批处理、启动很快的小型 Docker 镜像、基于 Flash Attention 的优化内核、safetensors 和 ONNX 权重加载,以及 Prometheus 指标和 OpenTelemetry 追踪等生产工具。

它不需要模型图编译步骤,可通过 Homebrew 安装并借助 Metal 在 Mac 上本地使用,也有面向 AMD Instinct GPU 的构建。它提供 HTTP API(gRPC 为可选),RAG 流水线可以调用它来嵌入文本和对结果重排序。选择嵌入模型之前,请先查看 README 中的支持模型列表,因为只有部分架构受支持。

许可证是 Apache 2.0。它只服务文本模型,所以请搭配本站嵌入模型榜单中的模型和向量数据库使用。

适合做什么

  • 为 RAG 在 API 后面提供嵌入或重排序模型
  • 借助动态批处理实现高吞吐的嵌入
  • 启动很快的小型容器部署
  • 在 Mac 上借助 Metal 本地使用

需要注意

  • 它只服务文本模型,不支持图像或音频嵌入模型
  • 只有支持模型列表中的架构才能使用,请先查看该列表
  • Docker 镜像按硬件类型分别构建,请选择与你的 GPU 匹配的标签

链接