모델 실행 도구

모델은 그저 파일일 뿐입니다. 이 도구들이 그 파일을 불러와 대화할 수 있게 만들어 줍니다.

로컬 실행

모델을 내려받아 내 컴퓨터에서 대화할 수 있게 해 주는 앱과 명령줄 도구입니다.

  • Ollama EN

    The simplest way to download and run open models on your own computer: one command to chat, plus a local API other apps can use.

    오픈소스MITmacOS, Windows, Linux
  • llama.cpp

    로컬 AI의 상당 부분을 떠받치는 C/C++ 엔진. 거의 모든 하드웨어에서 양자화 모델을 구동하는 CLI 도구와 OpenAI 호환 서버 제공.

    오픈소스MITmacOS, Windows, Linux
  • KoboldCpp

    내장 웹 UI로 GGUF 모델을 실행하는 단일 파일 앱. 이미지, 비디오, 음성, 음악 생성도 지원합니다.

    오픈소스AGPL-3.0macOS, Windows, Linux
  • MLC LLM EN

    A compiler-based engine that deploys the same model on phones, browsers, laptops and GPUs behind an OpenAI-compatible API.

    오픈소스Apache 2.0macOS, Windows, Linux
  • whisper.cpp EN

    A dependency-free C/C++ port of OpenAI's Whisper that transcribes speech on CPUs, Apple Silicon, GPUs and phones.

    오픈소스MITmacOS, Windows, Linux
  • stable-diffusion.cpp EN

    A C/C++ engine, in the style of llama.cpp, that runs image and video diffusion models such as FLUX, Qwen-Image, Z-Image and Wan.

    오픈소스MITmacOS, Windows, Linux

대규모 서빙

빠른 속도와 다수의 동시 사용자를 위해 만들어진 엔진으로, 보통 GPU 서버에서 구동됩니다.

  • vLLM EN

    The most widely used open-source engine for serving language models at scale, with an OpenAI-compatible API.

    오픈소스Apache 2.0Linux
  • SGLang EN

    A fast open-source serving framework for language, vision and diffusion models, tuned for agents and large-scale deployment.

    오픈소스Apache 2.0Linux, macOS
  • TensorRT LLM EN

    NVIDIA's inference engine for LLMs and visual generation models on NVIDIA GPUs, with optimized kernels and a Python API.

    오픈소스Apache 2.0Linux
  • KTransformers

    GPU와 CPU 메모리가 작업을 나눠 처리하도록 해 초대형 전문가 혼합(MoE) 모델을 구동하는 연구용 프레임워크.

    오픈소스Apache 2.0Linux
  • Text Embeddings Inference EN

    Hugging Face's fast server for open text-embedding, re-ranker and classification models, shipped as small Docker images.

    오픈소스Apache 2.0macOS, Linux
  • LocalAI EN

    A self-hosted server that puts language, vision, voice, image and video models behind OpenAI-, Anthropic- and ElevenLabs-compatible APIs.

    오픈소스MITmacOS, Linux
  • vLLM-Omni EN

    The vLLM project's serving framework for models that take or produce more than text: speech, image, video and action models.

    오픈소스Apache 2.0Linux
  • LightX2V

    이미지·비디오 생성용 경량 추론 프레임워크. 증류 모델, 양자화, 다양한 하드웨어 백엔드 지원.

    오픈소스Apache 2.0Linux

라이브러리

개발자가 기반으로 삼는 코드 라이브러리입니다.

  • Hugging Face Transformers EN

    The Python library that defines most open models: the reference way to load, run and fine-tune a model straight from its release.

    오픈소스Apache 2.0macOS, Windows, Linux
  • MLX LM EN

    Apple's Python package for generating text and fine-tuning language models on Apple silicon Macs with the MLX framework.

    오픈소스MITmacOS
  • Diffusers

    Hugging Face의 Python 라이브러리로, 이미지·비디오·오디오용 확산 모델을 실행하고 학습합니다.

    오픈소스Apache 2.0macOS, Windows, Linux
  • ExLlamaV3

    소비자 GPU를 위한 CUDA 추론 라이브러리. 자체 EXL3 양자화, 텐서 병렬, MoE 모델용 CPU 오프로드를 갖추고 있습니다.

    오픈소스MITWindows, Linux
  • DiffSynth-Studio

    ModelScope 커뮤니티의 오픈소스 확산 모델 엔진. 무난한 GPU에서 이미지·비디오·오디오 모델을 실행하고 학습합니다.

    오픈소스Apache 2.0

인터페이스

모델 실행 프로그램 위에서 동작하는 웹·데스크톱 인터페이스입니다.

  • LM Studio EN

    A polished desktop app for downloading, chatting with and serving local models, with an agent and offline voice transcription built in.

    무료로 사용 가능, 오픈소스는 아님Proprietary (free plan)macOS, Windows, Linux
  • Open WebUI EN

    A self-hosted chat interface that works with Ollama and any OpenAI-compatible API, built to run entirely offline.

    무료로 사용 가능, 오픈소스는 아님Open WebUI LicensemacOS, Windows, Linux
  • ComfyUI

    오픈 이미지·비디오·오디오·3D 모델을 위한 노드 기반 스튜디오. 시각적 워크플로를 만들고 자신의 GPU에서 실행하세요.

    오픈소스GPL-3.0macOS, Windows, Linux
  • Jan

    ChatGPT의 무료 오픈소스 데스크톱 대안. 오픈 모델을 내려받아 오프라인으로 실행하고 클라우드 API에도 연결할 수 있습니다.

    오픈소스Apache 2.0macOS, Windows, Linux
  • AnythingLLM

    문서와 대화하고 에이전트를 만들고 로컬 모델을 실행하는 올인원 앱. 데스크톱 앱 또는 다중 사용자 Docker 서버로 쓸 수 있습니다.

    오픈소스MITmacOS, Windows, Linux
  • InvokeAI

    AI 이미지 생성을 위한 셀프 호스트 창작 스튜디오. 레이어 캔버스, 노드 기반 워크플로, 모델 매니저를 갖추고 있습니다.

    오픈소스Apache 2.0macOS, Windows, Linux

파인튜닝

모델을 내 데이터에 맞게 조정하는 도구입니다.

  • Unsloth EN

    Run and fine-tune open models from a desktop app, a web UI or code, with GGUF export and day-one support for many new releases.

    오픈소스Apache 2.0 and AGPL-3.0macOS, Windows, Linux
  • Axolotl

    YAML 파일 하나로 구동되는 무료 파인튜닝 프레임워크. LoRA, QLoRA, 선호 조정, MoE용 NVFP4·전문가 병렬 학습 지원.

    오픈소스Apache 2.0Linux
  • LLaMA-Factory EN

    Fine-tune 100+ models with a zero-code command line or web UI, covering LoRA, QLoRA, DPO and multimodal training.

    오픈소스Apache 2.0Windows, Linux
  • AI Toolkit

    Ostris의 이미지·비디오·오디오 확산 모델 올인원 학습 스위트로, 웹 인터페이스와 명령줄 두 가지 방식을 제공합니다.

    오픈소스MITmacOS, Windows, Linux