비전 언어 모델(VLM)

비전 언어 모델은 이미지(보통 영상도)와 텍스트를 함께 읽기 때문에, 사진이나 스크린샷, 문서 페이지에 대해 질문할 수 있습니다.

  • 모델과 아키텍처
  • 업데이트

VLM은 언어 모델에, 이미지를 언어 모델이 읽을 수 있는 토큰으로 바꾸는 비전 인코더를 짝지은 것입니다. 출력은 텍스트이므로 VLM은 사진을 묘사하고, 차트를 읽고, 스크린샷에 대해 답하고, 문서 한 페이지를 Markdown으로 바꿀 수 있습니다. 이 용어는 멀티모달 모델보다 좁은 개념인데, 멀티모달 모델은 오디오와 이미지나 음성 생성까지도 다룹니다.

2026년의 많은 신모델은 기본이 VLM입니다. 예컨대 Qwen3.5, Gemma 4, Mistral Large 4입니다. 이 사이트의 OCR 모델은 한 가지 작업(문서 읽기)에 맞춰 학습된 소형 VLM입니다. 각 모델 페이지의 입력 열을 확인하세요. 이미지 입력을 지원한다고 영상이나 오디오 입력을 지원하는 것은 아닙니다.

관련 용어

  • 멀티모달 모델 멀티모달 모델은 텍스트, 이미지, 오디오, 비디오처럼 한 가지 이상의 데이터 유형을 입력, 출력 또는 그 둘 모두로 처리할 수 있습니다.
  • OCR 및 문서 파싱 OCR은 문자가 담긴 이미지를 텍스트로 바꿉니다. 문서 파싱은 한 단계 더 나아가 표, 수식, 차트, 읽기 순서를 재구성하며, 보통 Markdown으로 출력합니다.
  • 토큰(Token) 토큰은 언어 모델이 읽고 쓰는 작은 텍스트 조각으로, 보통 단어나 단어의 일부이며, 모델은 길이와 속도를 토큰 단위로 셉니다.

전체 용어