llama.cpp
El motor C/C++ detrás de gran parte de la IA local: ejecuta modelos cuantizados en casi cualquier hardware, con herramienta de línea de comandos y servidor compatible con OpenAI.
llama.cpp es un motor de inferencia de código abierto escrito en C/C++ puro y sin dependencias. Su objetivo, según sus propias palabras, es ejecutar modelos de lenguaje y de visión-lenguaje con una configuración mínima y un buen rendimiento en una amplia gama de hardware, tanto localmente como en la nube. El silicio de Apple es un objetivo de primera clase, y también soporta CPUs x86 con AVX y AMX, GPUs NVIDIA vía CUDA, GPUs AMD vía HIP, y Vulkan, SYCL, Metal, OpenCL y otros backends.
Su principal truco es la cuantización: los pesos pueden guardarse con 1,5 a 8 bits por valor, lo que reduce el uso de memoria y acelera la generación, y la inferencia híbrida CPU+GPU permite acelerar parcialmente un modelo más grande que tu memoria de vídeo. Los modelos se distribuyen en formato GGUF. El comando llama cli descarga y ejecuta un modelo directamente desde Hugging Face con -hf, y llama serve arranca un servidor de API compatible con OpenAI con interfaz web integrada.
Muchas herramientas más amigables se apoyan en él. LM Studio dice usar llama.cpp y MLX por debajo, y Unsloth lo utiliza para ejecutar y exportar modelos. Si quieres el máximo control, la menor sobrecarga, o necesitas ejecutar un modelo en hardware poco común, usa llama.cpp directamente.
Ideal para
- Ejecutar modelos en CPUs, GPUs antiguas, silicio de Apple y otro hardware poco común
- Meter un modelo grande en memoria limitada con cuantización de 2 a 6 bits
- Montar un pequeño servidor local sin dependencias con una API compatible con OpenAI
- Aprender cómo funciona realmente la inferencia local
A tener en cuenta
- Es una herramienta de línea de comandos, así que tiene una curva de aprendizaje más pronunciada que Ollama o LM Studio
- Una cuantización más agresiva ahorra memoria pero baja la calidad, así que prueba tu tarea con la precisión que vayas a usar
- El soporte de una arquitectura de modelo recién salida puede llegar después del lanzamiento