llama.cpp

O motor C/C++ por trás de boa parte da IA local: roda modelos quantizados em quase qualquer hardware, com ferramenta de linha de comando e servidor compatível com OpenAI.

  • Rodar localmente
  • MIT · Código aberto
  • macOS, Windows, Linux
  • Verificado

O llama.cpp é um motor de inferência de código aberto escrito em C/C++ puro e sem dependências. Seu objetivo, segundo as próprias palavras do projeto, é rodar modelos de linguagem e de visão-linguagem com configuração mínima e bom desempenho em uma ampla variedade de hardware, tanto localmente quanto na nuvem. O silício da Apple é um alvo de primeira classe, e também há suporte a CPUs x86 com AVX e AMX, GPUs NVIDIA via CUDA, GPUs AMD via HIP, além de Vulkan, SYCL, Metal, OpenCL e outros backends.

Seu principal truque é a quantização: os pesos podem ser armazenados com 1,5 a 8 bits por valor, o que reduz o uso de memória e acelera a geração, e a inferência híbrida CPU+GPU permite acelerar parcialmente um modelo maior que a sua memória de vídeo. Os modelos são distribuídos no formato GGUF. O comando llama cli baixa e executa um modelo direto do Hugging Face com -hf, e o llama serve inicia um servidor de API compatível com OpenAI com interface web embutida.

Muitas ferramentas mais amigáveis se apoiam nele. O LM Studio diz usar llama.cpp e MLX por baixo dos panos, e o Unsloth o usa para rodar e exportar modelos. Se você quer o máximo de controle, o menor overhead, ou precisa rodar um modelo em hardware incomum, use o llama.cpp diretamente.

Bom para

  • Rodar modelos em CPUs, GPUs antigas, silício da Apple e outro hardware incomum
  • Encaixar um modelo grande em memória limitada com quantização de 2 a 6 bits
  • Montar um pequeno servidor local sem dependências com uma API compatível com OpenAI
  • Aprender como a inferência local realmente funciona

Pontos de atenção

  • É uma ferramenta de linha de comando, então tem uma curva de aprendizado mais íngreme que Ollama ou LM Studio
  • Quantização mais forte economiza memória mas reduz a qualidade, então teste sua tarefa na precisão que pretende usar
  • O suporte a uma arquitetura de modelo recém-lançada pode ficar atrás do lançamento

Links