llama.cpp
O motor C/C++ por trás de boa parte da IA local: roda modelos quantizados em quase qualquer hardware, com ferramenta de linha de comando e servidor compatível com OpenAI.
O llama.cpp é um motor de inferência de código aberto escrito em C/C++ puro e sem dependências. Seu objetivo, segundo as próprias palavras do projeto, é rodar modelos de linguagem e de visão-linguagem com configuração mínima e bom desempenho em uma ampla variedade de hardware, tanto localmente quanto na nuvem. O silício da Apple é um alvo de primeira classe, e também há suporte a CPUs x86 com AVX e AMX, GPUs NVIDIA via CUDA, GPUs AMD via HIP, além de Vulkan, SYCL, Metal, OpenCL e outros backends.
Seu principal truque é a quantização: os pesos podem ser armazenados com 1,5 a 8 bits por valor, o que reduz o uso de memória e acelera a geração, e a inferência híbrida CPU+GPU permite acelerar parcialmente um modelo maior que a sua memória de vídeo. Os modelos são distribuídos no formato GGUF. O comando llama cli baixa e executa um modelo direto do Hugging Face com -hf, e o llama serve inicia um servidor de API compatível com OpenAI com interface web embutida.
Muitas ferramentas mais amigáveis se apoiam nele. O LM Studio diz usar llama.cpp e MLX por baixo dos panos, e o Unsloth o usa para rodar e exportar modelos. Se você quer o máximo de controle, o menor overhead, ou precisa rodar um modelo em hardware incomum, use o llama.cpp diretamente.
Bom para
- Rodar modelos em CPUs, GPUs antigas, silício da Apple e outro hardware incomum
- Encaixar um modelo grande em memória limitada com quantização de 2 a 6 bits
- Montar um pequeno servidor local sem dependências com uma API compatível com OpenAI
- Aprender como a inferência local realmente funciona
Pontos de atenção
- É uma ferramenta de linha de comando, então tem uma curva de aprendizado mais íngreme que Ollama ou LM Studio
- Quantização mais forte economiza memória mas reduz a qualidade, então teste sua tarefa na precisão que pretende usar
- O suporte a uma arquitetura de modelo recém-lançada pode ficar atrás do lançamento