용어집

짧은 정의를 먼저 제시하고 자세한 설명이 뒤따릅니다. 용어끼리 서로 연결되어 있습니다.

기초 개념

강화 학습(RL)
강화 학습은 정답이나 테스트 통과 같은 좋은 결과에 보상을 주는 방식으로 모델을 훈련합니다. 예시 텍스트를 따라 하는 대신 말입니다.
기계 번역(Machine translation)
기계 번역은 텍스트, 음성, 이미지 속 문자를 한 언어에서 다른 언어로 옮기는 소프트웨어입니다. 요즘 오픈 모델은 보통 범용 모델에서 출발해 번역 전용으로 학습됩니다.
오픈 웨이트(Open weights)
오픈 웨이트 모델은 학습된 파라미터(가중치)가 공개된 AI 모델로, 누구나 다운로드해 실행할 수 있으며, 보통 이용 조건을 정한 라이선스가 붙습니다.
주권 AI(Sovereign AI)
주권 AI는 컴퓨팅 파워와 데이터부터 모델 자체까지, 한 국가나 조직이 자신의 통제 아래 구축하고 호스팅하고 관리할 수 있는 AI를 말합니다.
추론(Inference)
추론은 학습된 모델을 실행해 출력을 얻는 행위, 예컨대 프롬프트에 답하게 하는 것으로, 모델을 학습시키는 것과 대비됩니다.
컨텍스트 윈도우(Context window)
컨텍스트 윈도우는 모델이 한 번에 고려할 수 있는 최대 텍스트량으로, 토큰 단위로 측정하며 프롬프트와 모델 자신의 답변을 모두 포함합니다.
토큰(Token)
토큰은 언어 모델이 읽고 쓰는 작은 텍스트 조각으로, 보통 단어나 단어의 일부이며, 모델은 길이와 속도를 토큰 단위로 셉니다.
파라미터
파라미터는 모델 내부에서 학습 중에 조정되는 숫자이며, 그 개수(7B, 70B 등)가 모델 크기의 일반적인 척도입니다.
Hugging Face
Hugging Face는 대부분의 오픈 모델이 공개되는 웹사이트로, 각 모델은 파일, 라이선스, 모델 카드, 다운로드 수가 담긴 페이지를 갖습니다.

모델과 아키텍처

덴스 모델(Dense model)
덴스 모델은 모든 토큰을 처리할 때 전체 파라미터를 사용합니다. 일부만 활성화하는 혼합 전문가(MoE) 모델과 다릅니다.
루프형 트랜스포머(Looped transformer)
루프형 트랜스포머는 자기 층의 일부를 토큰마다 여러 번 다시 실행하므로, 파라미터를 더 저장하지 않고도 더 많은 계산을 수행합니다.
리랭커(Reranker)
리랭커는 질문과 각 결과를 함께 읽어 짧은 검색 결과 목록에 점수를 다시 매기며, 임베딩만 쓸 때보다 느리지만 더 정확합니다.
마트료시카 임베딩(Matryoshka embeddings)
마트료시카 임베딩은 벡터의 앞부분만으로도 단독으로 동작하도록 학습되어, 벡터를 짧게 잘라 저장 공간과 검색 시간을 아낄 수 있습니다.
멀티모달 모델
멀티모달 모델은 텍스트, 이미지, 오디오, 비디오처럼 한 가지 이상의 데이터 유형을 입력, 출력 또는 그 둘 모두로 처리할 수 있습니다.
베이스 모델(Base model)
베이스 모델은 사전학습의 원시 결과물로, 지시를 따르거나 대화하는 법을 아직 배우지 않았으며, 보통 파인튜닝의 출발점이 됩니다.
비전 언어 모델(VLM)
비전 언어 모델은 이미지(보통 영상도)와 텍스트를 함께 읽기 때문에, 사진이나 스크린샷, 문서 페이지에 대해 질문할 수 있습니다.
음성 인식(ASR, 음성 텍스트 변환)
음성 인식은 ASR 또는 음성 텍스트 변환이라고도 불리며, 말한 오디오를 문자 텍스트로 바꿉니다.
음악 생성
음악 생성 모델은 텍스트 설명(흔히 가사 포함)을 오디오로 바꿉니다. 보컬이 들어간 완성곡, 기악곡, 실시간 음악 스트리밍, 효과음 등이 그 결과입니다.
의사결정 모델(Decision model)
의사결정 모델은 상황과 질문 목록을 읽고, 텍스트를 쓰는 대신 허용된 각 답변에 대한 확률을 반환합니다.
임베딩 모델(Embedding model)
임베딩 모델은 텍스트나 이미지 같은 데이터를 그 의미를 담은 숫자 목록으로 바꿔서, 비슷한 항목들이 서로 가까운 위치에 놓이게 합니다.
전문가 혼합 모델(MoE)
전문가 혼합 모델은 수많은 전문 서브네트워크를 담고 있으면서 토큰마다 그중 몇 개만 사용하기 때문에, 아주 크면서도 빠를 수 있습니다.
증류(Distillation)
증류는 더 작은 '학생' 모델이 더 큰 '교사' 모델을 모방하도록 학습시키는 방법으로, 크기는 훨씬 작으면서도 교사 모델의 능력 대부분을 유지합니다.
추론 모델(Reasoning Model)
추론 모델은 최종 답을 내기 전에 보이거나 숨겨진 '생각' 단계에서 문제를 한 걸음씩 풀어 나갑니다.
텍스트 음성 변환(TTS)
텍스트 음성 변환 모델은 작성된 텍스트를 음성 오디오로 바꾸며, 짧은 샘플만으로 목소리를 복제할 수 있는 모델도 많습니다.
텍스트 인코더(Text encoder)
이미지나 비디오 생성 모델에서 텍스트 인코더는 프롬프트를 생성기가 사용할 수 있는 숫자로 바꾸는 별도의 언어 모델로, 다운로드 용량과 메모리 사용량을 늘립니다.
화자 분리(화자 라벨)
화자 분리는 녹음에서 누가 언제 말했는지 파악하여, 화자 1과 화자 2처럼 발화 구간마다 화자 라벨을 붙입니다.
확산 모델
확산 모델은 무작위 노이즈에서 출발해 노이즈를 한 단계씩 제거하며 이미지나 영상을 만들어 냅니다.
효율적 어텐션(희소·선형·하이브리드)
효율적 어텐션 설계는 볼 토큰을 줄이거나 과거를 압축하는 방식으로, 표준 어텐션보다 훨씬 적은 메모리와 연산으로 매우 긴 입력을 읽게 해 줍니다.
AI 에이전트
AI 에이전트는 모델이 도구를 호출하며 다단계 작업을 계획하고 수행하는 시스템입니다. 코드 실행, 웹 검색, 파일 편집 등이 그 예입니다.
OCR 및 문서 파싱
OCR은 문자가 담긴 이미지를 텍스트로 바꿉니다. 문서 파싱은 한 단계 더 나아가 표, 수식, 차트, 읽기 순서를 재구성하며, 보통 Markdown으로 출력합니다.

하드웨어와 메모리

삼진 가중치(Ternary weights, 1.58비트)
삼진 가중치는 모델의 모든 가중치를 -1, 0, +1 세 값 중 하나로 제한하여, 16비트 대신 가중치당 2비트 미만이면 됩니다.
양자화
양자화는 모델 가중치를 더 적은 비트(예: 16 대신 4)로 저장해 메모리 사용량을 줄이고 추론 속도를 높이며, 품질은 조금 희생됩니다.
양자화 인식 훈련(QAT)
양자화 인식 훈련은 모델이 학습되는 동안 저정밀 가중치에 익숙해지도록 가르쳐, 4비트에서 나중에 압축한 모델보다 품질 손실이 적게 만듭니다.
유니파이드 메모리(Unified memory)
유니파이드 메모리는 Apple 실리콘 등 일부 칩이 채택한 설계로, CPU와 GPU가 하나의 메모리 풀을 공유하므로 큰 모델도 그 대부분을 사용할 수 있습니다.
정밀도(BF16, FP8, INT4)
정밀도는 모델의 각 숫자를 저장하는 데 쓰이는 비트 수를 말합니다. 16비트 BF16, 8비트 FP8, 4비트 INT4 등이 예시이며, 비트가 적을수록 모델이 작아지고 빨라집니다.
추측 디코딩과 멀티 토큰 예측(Speculative decoding)
추측 디코딩은 저렴한 드래프트가 여러 토큰을 미리 추측하고 전체 모델이 이를 한꺼번에 검사하게 하여 텍스트 생성 속도를 높입니다.
GGUF
GGUF는 llama.cpp와 그 위에 만들어진 도구들이 쓰는 단일 파일 모델 형식으로, 양자화된 가중치와 실행에 필요한 정보를 한 파일에 담습니다.
KV 캐시
KV 캐시는 모델이 대화에서 앞선 토큰들을 기억하는 데 쓰는 메모리로, 컨텍스트 길이에 따라 커집니다.
VRAM
VRAM은 그래픽 카드의 메모리입니다. 가중치가 메모리에 들어가야 모델이 빠르게 돌아가므로, GPU가 어떤 모델을 담을 수 있는지는 VRAM이 결정합니다.

라이선스

게이트드 모델(Gated model)
게이트드 모델은 Hugging Face에서 내려받기 전에 로그인하고 약관에 동의하거나 접근 권한을 신청해야 하는 오픈 모델입니다.
매출 상한(Revenue cap)
매출 상한은 라이선스 조건으로, 일정 수입 이하에서는 모델이 무료이고 그 위에서는 별도의 합의가 필요합니다.
비상업 라이선스
비상업 라이선스는 모델을 연구, 학습, 개인 프로젝트에 사용할 수는 있지만, 이를 통해 수익을 내는 것은 허용하지 않습니다.
오픈소스 AI
Open Source Initiative(OSI)의 정의에 따르면, 오픈소스 AI는 자유롭게 사용, 연구, 수정, 공유할 수 있는 AI 시스템으로, 가중치와 코드, 학습 데이터에 대한 상세 정보가 모두 공개되어 있어야 합니다.
지역 제한(Territory restriction)
지역 제한은 라이선스가 유효한 지역을 제한합니다. 제외된 국가나 지역에서 모델을 사용하는 것은 허가받지 못합니다.
허용적 라이선스
Apache 2.0이나 MIT 같은 허용적 라이선스는 조건이 매우 적어, 보통 고지 문구를 유지하기만 하면 모델을 사용, 수정, 판매할 수 있습니다.
OpenRAIL(책임 있는 AI 라이선스)
OpenRAIL은 상업적 이용을 포함해 모델의 사용, 수정, 공유를 허용하지만, 모든 사본과 파생물에 금지 용도 목록을 부착하도록 요구하는 라이선스 계열입니다.

모델 활용

검색 증강 생성(RAG)
검색 증강 생성(RAG)은 관련 문단을 검색해 프롬프트에 추가함으로써, 모델이 여러분 자신의 문서를 근거로 답하게 만듭니다.
단어 오류율(WER)
단어 오류율은 음성 인식의 표준 점수입니다. 올바른 참조문과 비교해 전사본에서 틀리거나 빠지거나 더해진 단어의 비율을 말합니다.
도구 호출(Function calling)
도구 호출을 사용하면 모델이 프로그램에 검색이나 계산기 같은 함수 실행을 요청하고, 그 결과를 답변에 활용할 수 있습니다.
번역 평가 지표(Translation metrics)
번역 평가 지표는 모델 카드가 번역의 품질을 나타내는 점수입니다. 사람의 참조 번역과의 겹침을 세는 것도 있고, 학습된 모델이나 사람 검수자를 사용하는 것도 있으며, 그 척도는 서로 비교할 수 없습니다.
벤치마크(Benchmark)
벤치마크는 모델을 비교하기 위한 표준화된 테스트로, 수학, 코딩, 지식 문제 세트 등이 사용됩니다. 점수는 참고가 되지만 과대해석하기 쉽습니다.
보이스 클로닝(Voice cloning)
보이스 클로닝은 텍스트 음성 변환 모델이 특정 인물의 목소리로 말하게 하며, 흔히 몇 초짜리 녹음만으로 가능합니다.
분류기 없는 유도(CFG)
분류기 없는 유도, 보통 CFG라고 부르는 이 설정은 확산 모델에서 결과가 프롬프트를 얼마나 엄격하게 따르는지 조절하며, 그 대가로 추가 연산이 필요합니다.
샘플링 스텝 수
샘플링 스텝 수는 확산 모델이 노이즈를 이미지나 비디오로 바꾸기까지 거치는 처리 횟수입니다. 스텝이 적을수록 결과가 빠르지만, 보통 세부 묘사나 다양성이 조금 손실됩니다.
셀프 호스팅(Self-hosting)
셀프 호스팅은 벤더 API를 호출하는 대신 자신의 PC나 임대한 GPU 서버처럼 직접 관리하는 하드웨어에서 모델을 실행하는 것을 말합니다.
에이전트 메모리(Agent memory)
에이전트 메모리는 AI 에이전트가 사실, 선호, 과거 경험을 세션 사이에서 유지하게 해서 매번 빈 컨텍스트부터 시작하지 않도록 합니다.
에이전틱 코딩(Agentic coding)
에이전틱 코딩은 모델이 개발자처럼 소프트웨어를 다루는 것을 말합니다. 코드베이스를 읽고, 파일을 편집하고, 명령과 테스트를 실행하며, 작업이 끝날 때까지 진행합니다.
온디바이스 AI(On-device AI)
온디바이스 AI는 모델을 클라우드가 아니라 자신의 휴대폰, 노트북, 소형 보드에서 직접 돌리는 것을 뜻합니다. 데이터는 로컬에 머물고 오프라인에서도 동작합니다.
컴퓨터 사용 에이전트(Computer-use agent)
컴퓨터 사용 에이전트는 스크린샷을 보고 클릭, 입력, 스크롤처럼 사람처럼 컴퓨터를 조작하고, 때로는 셸 명령이나 코드를 실행하기도 합니다.
파인튜닝(Fine-tuning)
파인튜닝은 사전 학습된 모델의 학습을 자신의 예제로 이어서, 특정 작업·스타일·도메인에서 더 잘 동작하도록 만드는 것입니다.
할루시네이션(Hallucination)
할루시네이션은 AI 모델이 확신에 찬 듯 내놓는 거짓 또는 지어낸 진술입니다.
LoRA(저랭크 적응)
LoRA는 저랭크 적응(Low-Rank Adaptation)의 줄임말로, 모델의 모든 파라미터를 바꾸는 대신 소수의 추가 가중치를 학습시켜 파인튜닝합니다.
MTEB(임베딩 벤치마크)
MTEB(Massive Text Embedding Benchmark, 대규모 텍스트 임베딩 벤치마크)는 검색, 분류, 클러스터링 등 다양한 작업에서 임베딩 모델의 점수를 매기며, 공개 리더보드는 모델을 비교하는 흔한 방법입니다.
OmniDocBench
OmniDocBench는 문서 파싱 벤치마크로, 다양한 유형의 PDF 페이지를 텍스트, 표, 수식으로 바꾸는 모델의 능력을 채점합니다.
OpenAI 호환 API
OpenAI 호환 API는 OpenAI API와 같은 요청을 받아들이는 서버로, OpenAI용으로 작성된 앱이 대신 오픈 모델을 사용할 수 있습니다.