IA no dispositivo (on-device)

IA no dispositivo significa que o modelo roda no seu próprio celular, notebook ou placa pequena em vez de na nuvem, então os dados ficam locais e ele funciona offline.

  • Usando modelos
  • Atualizado

Executar localmente evita enviar texto, áudio ou imagens privados a um servidor, funciona sem conexão e não tem cobrança por requisição. Os limites são memória e velocidade: celulares e notebooks têm de alguns a algumas dezenas de gigabytes, então os modelos no dispositivo são pequenos, com cerca de 1 a 10 bilhões de parâmetros, ou modelos de mistura de especialistas que ativam apenas alguns bilhões, e geralmente são quantizados para 4 bits.

Exemplos neste site incluem os modelos E2B e E4B do Gemma 4, o LFM3 da Liquid AI, o modelo 1B do MiniCPM-V 4.7 e o Voxtral Realtime da Mistral para fala. Runtimes como llama.cpp, MLX e Ollama cuidam do empacotamento. Consumo de bateria e calor importam em celulares, então meça a velocidade no dispositivo real.

Termos relacionados

  • Quantização A quantização armazena os pesos de um modelo com menos bits, por exemplo 4 em vez de 16, para reduzir o uso de memória e acelerar a inferência a um pequeno custo em qualidade.
  • Memória unificada Memória unificada é um design, usado pelos chips da Apple e alguns outros, em que a CPU e a GPU compartilham um único bloco de memória, de modo que um modelo grande pode usar a maior parte dele.
  • GGUF GGUF é um formato de modelo em arquivo único usado pelo llama.cpp e pelas ferramentas construídas sobre ele, que empacota os pesos quantizados junto com as informações necessárias para executá-los.
  • VRAM A VRAM é a memória de uma placa gráfica; ela decide quais modelos uma GPU consegue abrigar, porque os pesos precisam caber na memória para o modelo rodar rápido.

Todos os termos