IA en el dispositivo (on-device)

La IA en el dispositivo significa que el modelo se ejecuta en tu propio móvil, portátil o placa pequeña en lugar de en la nube, así los datos se quedan en local y funciona sin conexión.

  • Uso de modelos
  • Actualización

Ejecutar en local evita enviar texto, audio o imágenes privados a un servidor, funciona sin conexión y no tiene coste por petición. Los límites son la memoria y la velocidad: los móviles y portátiles tienen desde unos pocos hasta unas decenas de gigabytes, así que los modelos en el dispositivo son pequeños, de aproximadamente 1.000 a 10.000 millones de parámetros o modelos de mezcla de expertos que activan solo unos pocos miles de millones, y suelen cuantizarse a 4 bits.

En este sitio hay ejemplos como los modelos E2B y E4B de Gemma 4, el LFM3 de Liquid AI, el modelo 1B de MiniCPM-V 4.7 y el Voxtral Realtime de Mistral para voz. Runtimes como llama.cpp, MLX y Ollama se encargan del empaquetado. El consumo de batería y el calor importan en los móviles, así que mide la velocidad en el dispositivo real.

Términos relacionados

  • Cuantización La cuantización guarda los pesos de un modelo con menos bits, por ejemplo 4 en lugar de 16, para reducir el uso de memoria y acelerar la inferencia a un pequeño coste en calidad.
  • Memoria unificada La memoria unificada es un diseño, usado por los chips de Apple y algunas otras piezas de silicio, en el que la CPU y la GPU comparten un único bloque de memoria, así que un modelo grande puede usar la mayor parte.
  • GGUF GGUF es un formato de modelo en un solo archivo que usan llama.cpp y las herramientas construidas sobre él, y que empaqueta los pesos cuantizados junto con la información necesaria para ejecutarlos.
  • VRAM La VRAM es la memoria de una tarjeta gráfica; decide qué modelos puede sostener una GPU, porque los pesos deben caber en memoria para que el modelo funcione rápido.

Todos los términos