Herramientas para ejecutar modelos

Los modelos son solo archivos. Estos son los programas que los cargan y te permiten hablar con ellos.

Ejecución local

Aplicaciones y herramientas de línea de comandos que descargan un modelo y te permiten chatear con él en tu propia máquina.

  • Ollama EN

    The simplest way to download and run open models on your own computer: one command to chat, plus a local API other apps can use.

    Código abiertoMITmacOS, Windows, Linux
  • llama.cpp

    El motor C/C++ detrás de gran parte de la IA local: ejecuta modelos cuantizados en casi cualquier hardware, con herramienta de línea de comandos y servidor compatible con OpenAI.

    Código abiertoMITmacOS, Windows, Linux
  • KoboldCpp

    Una app de un solo archivo que ejecuta modelos GGUF con una interfaz web integrada, y también genera imágenes, vídeo, voz y música.

    Código abiertoAGPL-3.0macOS, Windows, Linux
  • MLC LLM EN

    A compiler-based engine that deploys the same model on phones, browsers, laptops and GPUs behind an OpenAI-compatible API.

    Código abiertoApache 2.0macOS, Windows, Linux
  • whisper.cpp EN

    A dependency-free C/C++ port of OpenAI's Whisper that transcribes speech on CPUs, Apple Silicon, GPUs and phones.

    Código abiertoMITmacOS, Windows, Linux
  • stable-diffusion.cpp EN

    A C/C++ engine, in the style of llama.cpp, that runs image and video diffusion models such as FLUX, Qwen-Image, Z-Image and Wan.

    Código abiertoMITmacOS, Windows, Linux

Servir a gran escala

Motores diseñados para velocidad y muchos usuarios simultáneos, normalmente en servidores con GPU.

  • vLLM EN

    The most widely used open-source engine for serving language models at scale, with an OpenAI-compatible API.

    Código abiertoApache 2.0Linux
  • SGLang EN

    A fast open-source serving framework for language, vision and diffusion models, tuned for agents and large-scale deployment.

    Código abiertoApache 2.0Linux, macOS
  • TensorRT LLM EN

    NVIDIA's inference engine for LLMs and visual generation models on NVIDIA GPUs, with optimized kernels and a Python API.

    Código abiertoApache 2.0Linux
  • KTransformers

    Framework de investigación que reparte el trabajo entre la GPU y la memoria RAM para ejecutar modelos MoE gigantes.

    Código abiertoApache 2.0Linux
  • Text Embeddings Inference EN

    Hugging Face's fast server for open text-embedding, re-ranker and classification models, shipped as small Docker images.

    Código abiertoApache 2.0macOS, Linux
  • LocalAI EN

    A self-hosted server that puts language, vision, voice, image and video models behind OpenAI-, Anthropic- and ElevenLabs-compatible APIs.

    Código abiertoMITmacOS, Linux
  • vLLM-Omni EN

    The vLLM project's serving framework for models that take or produce more than text: speech, image, video and action models.

    Código abiertoApache 2.0Linux
  • LightX2V

    Framework de inferencia ligero para generación de imágenes y vídeo, con modelos destilados, cuantización y muchos backends de hardware.

    Código abiertoApache 2.0Linux

Bibliotecas

Bibliotecas de código sobre las que construyen los desarrolladores.

  • Hugging Face Transformers EN

    The Python library that defines most open models: the reference way to load, run and fine-tune a model straight from its release.

    Código abiertoApache 2.0macOS, Windows, Linux
  • MLX LM EN

    Apple's Python package for generating text and fine-tuning language models on Apple silicon Macs with the MLX framework.

    Código abiertoMITmacOS
  • Diffusers

    La biblioteca de Python de Hugging Face para ejecutar y entrenar modelos de difusión de imagen, vídeo y audio.

    Código abiertoApache 2.0macOS, Windows, Linux
  • ExLlamaV3

    Biblioteca de inferencia CUDA para GPUs de consumo: cuantización EXL3 propia, paralelismo de tensores y offload a CPU para modelos MoE.

    Código abiertoMITWindows, Linux
  • DiffSynth-Studio

    El motor de difusión open source de la comunidad ModelScope para ejecutar y entrenar modelos de imagen, vídeo y audio en GPUs modestas.

    Código abiertoApache 2.0

Interfaces

Interfaces web y de escritorio que funcionan sobre un ejecutor de modelos.

  • LM Studio EN

    A polished desktop app for downloading, chatting with and serving local models, with an agent and offline voice transcription built in.

    De uso gratuito, no de código abiertoProprietary (free plan)macOS, Windows, Linux
  • Open WebUI EN

    A self-hosted chat interface that works with Ollama and any OpenAI-compatible API, built to run entirely offline.

    De uso gratuito, no de código abiertoOpen WebUI LicensemacOS, Windows, Linux
  • ComfyUI

    El estudio de nodos para modelos abiertos de imagen, vídeo, audio y 3D: crea flujos de trabajo visuales y ejecútalos en tu propia GPU.

    Código abiertoGPL-3.0macOS, Windows, Linux
  • Jan

    Alternativa de escritorio gratuita y open source a ChatGPT: descarga y ejecuta modelos abiertos sin conexión y conecta con APIs de nube.

    Código abiertoApache 2.0macOS, Windows, Linux
  • AnythingLLM

    App todo en uno para conversar con tus documentos, crear agentes y ejecutar modelos locales: escritorio o servidor Docker multiusuario.

    Código abiertoMITmacOS, Windows, Linux
  • InvokeAI

    Estudio creativo autoalojado para generación de imágenes con IA: lienzo por capas, flujos por nodos y un gestor de modelos.

    Código abiertoApache 2.0macOS, Windows, Linux

Ajuste fino

Herramientas para adaptar un modelo a tus propios datos.

  • Unsloth EN

    Run and fine-tune open models from a desktop app, a web UI or code, with GGUF export and day-one support for many new releases.

    Código abiertoApache 2.0 and AGPL-3.0macOS, Windows, Linux
  • Axolotl

    Framework gratuito de fine-tuning con un solo archivo YAML: LoRA, QLoRA, ajuste por preferencias y NVFP4 y expert-parallel para modelos MoE.

    Código abiertoApache 2.0Linux
  • LLaMA-Factory EN

    Fine-tune 100+ models with a zero-code command line or web UI, covering LoRA, QLoRA, DPO and multimodal training.

    Código abiertoApache 2.0Windows, Linux
  • AI Toolkit

    La suite de entrenamiento todo en uno de Ostris para modelos de difusión de imagen, vídeo y audio, con interfaz web y línea de comandos.

    Código abiertoMITmacOS, Windows, Linux