llama.cpp

El motor C/C++ detrás de gran parte de la IA local: ejecuta modelos cuantizados en casi cualquier hardware, con herramienta de línea de comandos y servidor compatible con OpenAI.

  • Ejecución local
  • MIT · Código abierto
  • macOS, Windows, Linux
  • Verificado

llama.cpp es un motor de inferencia de código abierto escrito en C/C++ puro y sin dependencias. Su objetivo, según sus propias palabras, es ejecutar modelos de lenguaje y de visión-lenguaje con una configuración mínima y un buen rendimiento en una amplia gama de hardware, tanto localmente como en la nube. El silicio de Apple es un objetivo de primera clase, y también soporta CPUs x86 con AVX y AMX, GPUs NVIDIA vía CUDA, GPUs AMD vía HIP, y Vulkan, SYCL, Metal, OpenCL y otros backends.

Su principal truco es la cuantización: los pesos pueden guardarse con 1,5 a 8 bits por valor, lo que reduce el uso de memoria y acelera la generación, y la inferencia híbrida CPU+GPU permite acelerar parcialmente un modelo más grande que tu memoria de vídeo. Los modelos se distribuyen en formato GGUF. El comando llama cli descarga y ejecuta un modelo directamente desde Hugging Face con -hf, y llama serve arranca un servidor de API compatible con OpenAI con interfaz web integrada.

Muchas herramientas más amigables se apoyan en él. LM Studio dice usar llama.cpp y MLX por debajo, y Unsloth lo utiliza para ejecutar y exportar modelos. Si quieres el máximo control, la menor sobrecarga, o necesitas ejecutar un modelo en hardware poco común, usa llama.cpp directamente.

Ideal para

  • Ejecutar modelos en CPUs, GPUs antiguas, silicio de Apple y otro hardware poco común
  • Meter un modelo grande en memoria limitada con cuantización de 2 a 6 bits
  • Montar un pequeño servidor local sin dependencias con una API compatible con OpenAI
  • Aprender cómo funciona realmente la inferencia local

A tener en cuenta

  • Es una herramienta de línea de comandos, así que tiene una curva de aprendizaje más pronunciada que Ollama o LM Studio
  • Una cuantización más agresiva ahorra memoria pero baja la calidad, así que prueba tu tarea con la precisión que vayas a usar
  • El soporte de una arquitectura de modelo recién salida puede llegar después del lanzamiento

Enlaces