whisper.cpp

OpenAI Whisper 的无依赖 C/C++ 移植版,可在 CPU、Apple Silicon、GPU 和手机上转写语音。

  • 本地运行
  • MIT · 开源
  • macOS, Windows, Linux
  • 核实于

whisper.cpp 是 OpenAI Whisper 自动语音识别模型的纯 C/C++ 实现。它没有任何依赖,通过 ARM NEON、Accelerate 框架、Metal 和 Core ML,把 Apple Silicon 当作一等目标。它还支持 x86 上的 AVX、Vulkan、NVIDIA GPU、AMD ROCm、OpenVINO 和多种 NPU、整数量化,以及纯 CPU 推理。

按其 README 的说法,它可以运行在 macOS、iOS、Android、Linux 和 FreeBSD、Windows、WebAssembly 和树莓派上,并附带 iPhone 应用和命令行语音助手等示例,还有语音活动检测。它和 llama.cpp 一样,属于 ggml 系列项目。你下载转换成 ggml 格式的 Whisper 模型,然后通过命令行或 C 风格的 API 运行。

它运行的是 Whisper 模型,许可证是 MIT。较新的语音识别模型,例如本站语音识别榜单上的那些,自带各自的运行时,所以在假定 whisper.cpp 支持某个模型之前,请先查看它的模型卡。

适合做什么

  • 在笔记本、手机或树莓派上离线转写
  • 给 C 或 C++ 应用加上语音转文字
  • 在 Apple Silicon 上借助 Metal 或 Core ML 快速转写

需要注意

  • 它只运行 Whisper 模型,选择其他语音模型之前请先查看其模型卡支持的运行时
  • Whisper 可能写出从未说过的文字,重要的转写稿请务必核对
  • 模型需要以项目提供的 ggml 格式下载

链接