Hugging Face Transformers
定义了大多数开放模型的 Python 库:在模型发布当天加载、运行和微调它的标准方式。
Transformers 是 Hugging Face 的开源模型定义库,覆盖文本、视觉、音频、视频和多模态模型,既支持推理也支持训练。它宣称的目标是集中每个模型的定义,让整个生态对模型的理解保持一致。只要 Transformers 支持某个模型,这个模型通常也就能兼容大多数训练框架(Axolotl、Unsloth、DeepSpeed、FSDP)和推理引擎(vLLM、SGLang、TGI)。
这也是模型卡通常用 Transformers 来写示例代码的原因。高层的 pipeline API 可以从 Hugging Face Hub 加载模型,几行代码就能运行文本、音频或视觉任务。项目称 Hub 上与 Transformers 兼容的检查点超过一百万个。它需要 Python 3.11 或更新版本,以及 PyTorch 2.6 或更新版本。
它最适合实验、研究和微调,也适合用来确认新模型本来应该有怎样的表现。要为许多用户提供服务,或在配置一般的硬件上运行大模型,它的速度和内存占用通常不如 vLLM 或 llama.cpp 这类专门的引擎。
适合做什么
- 在新模型发布当天用其模型卡上的代码试用
- 用 Python 做研究、评测和微调
- 在 Hugging Face 生态之上构建应用的人
需要注意
- 它是 Python 库而不是应用,需要一定的编程基础
- 纯 Transformers 推理通常比专门的服务引擎更慢、占用内存更多
- 大模型需要与模型页内存表相匹配的 GPU 配置