추론 모델(Reasoning Model)
추론 모델은 최종 답을 내기 전에 보이거나 숨겨진 '생각' 단계에서 문제를 한 걸음씩 풀어 나갑니다.
추론 모델은 중간 단계에 추가 토큰을 쓰는데, 이는 수학, 코딩 등 여러 단계 문제에서 결과를 개선하는 경향이 있습니다. 일부 오픈 모델은 생각을 켜고 끄는 스위치를 제공해, 정확도를 속도와 비용과 맞바꿀 수 있습니다.
추가적인 생각은 컨텍스트를 쓰고 시간도 걸리므로, 단순한 채팅이나 짧은 답변에는 추론 모델이 늘 최선은 아닙니다. 모델을 비교할 때는 벤치마크 점수가 생각을 켠 상태로 측정된 것인지 확인하세요.
관련 용어
- 토큰(Token) 토큰은 언어 모델이 읽고 쓰는 작은 텍스트 조각으로, 보통 단어나 단어의 일부이며, 모델은 길이와 속도를 토큰 단위로 셉니다.
- 컨텍스트 윈도우(Context window) 컨텍스트 윈도우는 모델이 한 번에 고려할 수 있는 최대 텍스트량으로, 토큰 단위로 측정하며 프롬프트와 모델 자신의 답변을 모두 포함합니다.
- AI 에이전트 AI 에이전트는 모델이 도구를 호출하며 다단계 작업을 계획하고 수행하는 시스템입니다. 코드 실행, 웹 검색, 파일 편집 등이 그 예입니다.