토큰(Token)

토큰은 언어 모델이 읽고 쓰는 작은 텍스트 조각으로, 보통 단어나 단어의 일부이며, 모델은 길이와 속도를 토큰 단위로 셉니다.

  • 기초 개념
  • 업데이트

모델이 텍스트를 읽기 전에 토크나이저가 텍스트를 토큰으로 나눕니다. 영어에서 토큰 하나는 평균적으로 단어의 약 4분의 3이므로, 1000토큰은 대략 750단어입니다. 정확한 분할은 토크나이저에 따라 다르며, 다른 언어와 코드는 같은 내용에 더 많은 토큰이 필요한 경우가 많습니다.

각종 제한과 속도는 토큰 단위로 표시됩니다. 컨텍스트 윈도우는 모델이 한 번에 고려할 수 있는 최대 토큰 수이고, 생성 속도는 초당 토큰 수로 보고됩니다.

관련 용어

  • 컨텍스트 윈도우(Context window) 컨텍스트 윈도우는 모델이 한 번에 고려할 수 있는 최대 텍스트량으로, 토큰 단위로 측정하며 프롬프트와 모델 자신의 답변을 모두 포함합니다.
  • 추론(Inference) 추론은 학습된 모델을 실행해 출력을 얻는 행위, 예컨대 프롬프트에 답하게 하는 것으로, 모델을 학습시키는 것과 대비됩니다.

전체 용어