멀티모달 모델
멀티모달 모델은 텍스트, 이미지, 오디오, 비디오처럼 한 가지 이상의 데이터 유형을 입력, 출력 또는 그 둘 모두로 처리할 수 있습니다.
비전-언어 모델은 이미지를 텍스트와 함께 읽어 들입니다. 옴니(omni) 모델은 오디오와 비디오까지 받을 수 있고, 이미지·비디오 생성 모델은 텍스트로부터 그림이나 클립을 만들어 냅니다. 이 사이트의 모든 모델 페이지는 입력과 출력 유형을 표시합니다. 예를 들어 텍스트와 이미지를 입력받아 텍스트를 출력하는 식입니다.
멀티모달 기능은 종종 추가 파일로 제공됩니다. 언어 모델 옆에 붙는 비전 인코더, 또는 이미지 생성 모델을 위한 별도의 텍스트 인코더가 그 예입니다. 모델 페이지의 다운로드 크기를 확인하세요. 여기에는 모델 실행에 필요한 모든 구성 요소가 포함됩니다.
관련 용어
- 확산 모델 확산 모델은 무작위 노이즈에서 출발해 노이즈를 한 단계씩 제거하며 이미지나 영상을 만들어 냅니다.
- 임베딩 모델(Embedding model) 임베딩 모델은 텍스트나 이미지 같은 데이터를 그 의미를 담은 숫자 목록으로 바꿔서, 비슷한 항목들이 서로 가까운 위치에 놓이게 합니다.