토큰(Token)
토큰은 언어 모델이 읽고 쓰는 작은 텍스트 조각으로, 보통 단어나 단어의 일부이며, 모델은 길이와 속도를 토큰 단위로 셉니다.
모델이 텍스트를 읽기 전에 토크나이저가 텍스트를 토큰으로 나눕니다. 영어에서 토큰 하나는 평균적으로 단어의 약 4분의 3이므로, 1000토큰은 대략 750단어입니다. 정확한 분할은 토크나이저에 따라 다르며, 다른 언어와 코드는 같은 내용에 더 많은 토큰이 필요한 경우가 많습니다.
각종 제한과 속도는 토큰 단위로 표시됩니다. 컨텍스트 윈도우는 모델이 한 번에 고려할 수 있는 최대 토큰 수이고, 생성 속도는 초당 토큰 수로 보고됩니다.
관련 용어
- 컨텍스트 윈도우(Context window) 컨텍스트 윈도우는 모델이 한 번에 고려할 수 있는 최대 텍스트량으로, 토큰 단위로 측정하며 프롬프트와 모델 자신의 답변을 모두 포함합니다.
- 추론(Inference) 추론은 학습된 모델을 실행해 출력을 얻는 행위, 예컨대 프롬프트에 답하게 하는 것으로, 모델을 학습시키는 것과 대비됩니다.