Herramientas para ejecutar modelos
Los modelos son solo archivos. Estos son los programas que los cargan y te permiten hablar con ellos.
Ejecución local
Aplicaciones y herramientas de línea de comandos que descargan un modelo y te permiten chatear con él en tu propia máquina.
- Ollama EN
The simplest way to download and run open models on your own computer: one command to chat, plus a local API other apps can use.
- llama.cpp
El motor C/C++ detrás de gran parte de la IA local: ejecuta modelos cuantizados en casi cualquier hardware, con herramienta de línea de comandos y servidor compatible con OpenAI.
- KoboldCpp
Una app de un solo archivo que ejecuta modelos GGUF con una interfaz web integrada, y también genera imágenes, vídeo, voz y música.
- MLC LLM EN
A compiler-based engine that deploys the same model on phones, browsers, laptops and GPUs behind an OpenAI-compatible API.
- whisper.cpp EN
A dependency-free C/C++ port of OpenAI's Whisper that transcribes speech on CPUs, Apple Silicon, GPUs and phones.
- stable-diffusion.cpp EN
A C/C++ engine, in the style of llama.cpp, that runs image and video diffusion models such as FLUX, Qwen-Image, Z-Image and Wan.
Servir a gran escala
Motores diseñados para velocidad y muchos usuarios simultáneos, normalmente en servidores con GPU.
- vLLM EN
The most widely used open-source engine for serving language models at scale, with an OpenAI-compatible API.
- SGLang EN
A fast open-source serving framework for language, vision and diffusion models, tuned for agents and large-scale deployment.
- TensorRT LLM EN
NVIDIA's inference engine for LLMs and visual generation models on NVIDIA GPUs, with optimized kernels and a Python API.
- KTransformers
Framework de investigación que reparte el trabajo entre la GPU y la memoria RAM para ejecutar modelos MoE gigantes.
- Text Embeddings Inference EN
Hugging Face's fast server for open text-embedding, re-ranker and classification models, shipped as small Docker images.
- LocalAI EN
A self-hosted server that puts language, vision, voice, image and video models behind OpenAI-, Anthropic- and ElevenLabs-compatible APIs.
- vLLM-Omni EN
The vLLM project's serving framework for models that take or produce more than text: speech, image, video and action models.
- LightX2V
Framework de inferencia ligero para generación de imágenes y vídeo, con modelos destilados, cuantización y muchos backends de hardware.
Bibliotecas
Bibliotecas de código sobre las que construyen los desarrolladores.
- Hugging Face Transformers EN
The Python library that defines most open models: the reference way to load, run and fine-tune a model straight from its release.
- MLX LM EN
Apple's Python package for generating text and fine-tuning language models on Apple silicon Macs with the MLX framework.
- Diffusers
La biblioteca de Python de Hugging Face para ejecutar y entrenar modelos de difusión de imagen, vídeo y audio.
- ExLlamaV3
Biblioteca de inferencia CUDA para GPUs de consumo: cuantización EXL3 propia, paralelismo de tensores y offload a CPU para modelos MoE.
- DiffSynth-Studio
El motor de difusión open source de la comunidad ModelScope para ejecutar y entrenar modelos de imagen, vídeo y audio en GPUs modestas.
Interfaces
Interfaces web y de escritorio que funcionan sobre un ejecutor de modelos.
- LM Studio EN
A polished desktop app for downloading, chatting with and serving local models, with an agent and offline voice transcription built in.
- Open WebUI EN
A self-hosted chat interface that works with Ollama and any OpenAI-compatible API, built to run entirely offline.
- ComfyUI
El estudio de nodos para modelos abiertos de imagen, vídeo, audio y 3D: crea flujos de trabajo visuales y ejecútalos en tu propia GPU.
- Jan
Alternativa de escritorio gratuita y open source a ChatGPT: descarga y ejecuta modelos abiertos sin conexión y conecta con APIs de nube.
- AnythingLLM
App todo en uno para conversar con tus documentos, crear agentes y ejecutar modelos locales: escritorio o servidor Docker multiusuario.
- InvokeAI
Estudio creativo autoalojado para generación de imágenes con IA: lienzo por capas, flujos por nodos y un gestor de modelos.
Ajuste fino
Herramientas para adaptar un modelo a tus propios datos.
- Unsloth EN
Run and fine-tune open models from a desktop app, a web UI or code, with GGUF export and day-one support for many new releases.
- Axolotl
Framework gratuito de fine-tuning con un solo archivo YAML: LoRA, QLoRA, ajuste por preferencias y NVFP4 y expert-parallel para modelos MoE.
- LLaMA-Factory EN
Fine-tune 100+ models with a zero-code command line or web UI, covering LoRA, QLoRA, DPO and multimodal training.
- AI Toolkit
La suite de entrenamiento todo en uno de Ostris para modelos de difusión de imagen, vídeo y audio, con interfaz web y línea de comandos.