Ferramentas para rodar modelos

Modelos são apenas arquivos. Estes são os programas que os carregam e permitem que você converse com eles.

Rodar localmente

Aplicativos e ferramentas de linha de comando que baixam um modelo e permitem conversar com ele na sua própria máquina.

  • Ollama EN

    The simplest way to download and run open models on your own computer: one command to chat, plus a local API other apps can use.

    Código abertoMITmacOS, Windows, Linux
  • llama.cpp

    O motor C/C++ por trás de boa parte da IA local: roda modelos quantizados em quase qualquer hardware, com ferramenta de linha de comando e servidor compatível com OpenAI.

    Código abertoMITmacOS, Windows, Linux
  • KoboldCpp

    Um app de arquivo único que roda modelos GGUF com uma interface web embutida, e também gera imagens, vídeo, voz e música.

    Código abertoAGPL-3.0macOS, Windows, Linux
  • MLC LLM EN

    A compiler-based engine that deploys the same model on phones, browsers, laptops and GPUs behind an OpenAI-compatible API.

    Código abertoApache 2.0macOS, Windows, Linux
  • whisper.cpp EN

    A dependency-free C/C++ port of OpenAI's Whisper that transcribes speech on CPUs, Apple Silicon, GPUs and phones.

    Código abertoMITmacOS, Windows, Linux
  • stable-diffusion.cpp EN

    A C/C++ engine, in the style of llama.cpp, that runs image and video diffusion models such as FLUX, Qwen-Image, Z-Image and Wan.

    Código abertoMITmacOS, Windows, Linux

Servir em escala

Motores feitos para velocidade e muitos usuários simultâneos, geralmente em servidores de GPU.

  • vLLM EN

    The most widely used open-source engine for serving language models at scale, with an OpenAI-compatible API.

    Código abertoApache 2.0Linux
  • SGLang EN

    A fast open-source serving framework for language, vision and diffusion models, tuned for agents and large-scale deployment.

    Código abertoApache 2.0Linux, macOS
  • TensorRT LLM EN

    NVIDIA's inference engine for LLMs and visual generation models on NVIDIA GPUs, with optimized kernels and a Python API.

    Código abertoApache 2.0Linux
  • KTransformers

    Framework de pesquisa que divide o trabalho entre a GPU e a memória RAM para rodar modelos MoE gigantes.

    Código abertoApache 2.0Linux
  • Text Embeddings Inference EN

    Hugging Face's fast server for open text-embedding, re-ranker and classification models, shipped as small Docker images.

    Código abertoApache 2.0macOS, Linux
  • LocalAI EN

    A self-hosted server that puts language, vision, voice, image and video models behind OpenAI-, Anthropic- and ElevenLabs-compatible APIs.

    Código abertoMITmacOS, Linux
  • vLLM-Omni EN

    The vLLM project's serving framework for models that take or produce more than text: speech, image, video and action models.

    Código abertoApache 2.0Linux
  • LightX2V

    Framework de inferência leve para geração de imagens e vídeos, com modelos destilados, quantização e vários backends de hardware.

    Código abertoApache 2.0Linux

Bibliotecas

Bibliotecas de código sobre as quais os desenvolvedores constroem.

  • Hugging Face Transformers EN

    The Python library that defines most open models: the reference way to load, run and fine-tune a model straight from its release.

    Código abertoApache 2.0macOS, Windows, Linux
  • MLX LM EN

    Apple's Python package for generating text and fine-tuning language models on Apple silicon Macs with the MLX framework.

    Código abertoMITmacOS
  • Diffusers

    A biblioteca de Python da Hugging Face para executar e treinar modelos de difusão de imagem, vídeo e áudio.

    Código abertoApache 2.0macOS, Windows, Linux
  • ExLlamaV3

    Biblioteca de inferência CUDA para GPUs de consumo, com quantização EXL3, paralelismo de tensores e offload para CPU em modelos MoE.

    Código abertoMITWindows, Linux
  • DiffSynth-Studio

    O motor de difusão de código aberto da comunidade ModelScope para rodar e treinar modelos de imagem, vídeo e áudio em GPUs modestas.

    Código abertoApache 2.0

Interfaces

Interfaces web e de desktop que ficam sobre um executor de modelos.

  • LM Studio EN

    A polished desktop app for downloading, chatting with and serving local models, with an agent and offline voice transcription built in.

    Gratuito para usar, não é código abertoProprietary (free plan)macOS, Windows, Linux
  • Open WebUI EN

    A self-hosted chat interface that works with Ollama and any OpenAI-compatible API, built to run entirely offline.

    Gratuito para usar, não é código abertoOpen WebUI LicensemacOS, Windows, Linux
  • ComfyUI

    O estúdio de nós para modelos abertos de imagem, vídeo, áudio e 3D: monte fluxos visuais e execute-os na sua própria GPU.

    Código abertoGPL-3.0macOS, Windows, Linux
  • Jan

    Uma alternativa gratuita e de código aberto ao ChatGPT para desktop, que baixa e roda modelos abertos offline e conecta a APIs de nuvem.

    Código abertoApache 2.0macOS, Windows, Linux
  • AnythingLLM

    App tudo-em-um para conversar com seus documentos, criar agentes e rodar modelos locais: desktop ou servidor Docker multiusuário.

    Código abertoMITmacOS, Windows, Linux
  • InvokeAI

    Estúdio criativo auto-hospedado para geração de imagens com IA: canvas em camadas, fluxos em nós e um gerenciador de modelos.

    Código abertoApache 2.0macOS, Windows, Linux

Ajuste fino

Ferramentas para adaptar um modelo aos seus próprios dados.

  • Unsloth EN

    Run and fine-tune open models from a desktop app, a web UI or code, with GGUF export and day-one support for many new releases.

    Código abertoApache 2.0 and AGPL-3.0macOS, Windows, Linux
  • Axolotl

    Framework gratuito de fine-tuning com um arquivo YAML: LoRA, QLoRA, ajuste por preferências e NVFP4 e expert-parallel para modelos MoE.

    Código abertoApache 2.0Linux
  • LLaMA-Factory EN

    Fine-tune 100+ models with a zero-code command line or web UI, covering LoRA, QLoRA, DPO and multimodal training.

    Código abertoApache 2.0Windows, Linux
  • AI Toolkit

    A suíte de treinamento tudo-em-um da Ostris para modelos de difusão de imagem, vídeo e áudio, com interface web e linha de comando.

    Código abertoMITmacOS, Windows, Linux