단어 오류율(WER)
단어 오류율은 음성 인식의 표준 점수입니다. 올바른 참조문과 비교해 전사본에서 틀리거나 빠지거나 더해진 단어의 비율을 말합니다.
WER는 사람이 쓴 참조문을 기준으로 세 가지 오류를 셉니다. 대체된 단어, 삭제된 단어, 삽입된 단어입니다. 이들을 더한 뒤 참조문의 단어 수로 나누므로, 5%는 대략 20단어 중 1단어가 틀렸다는 뜻입니다. 수치가 낮을수록 좋고, 모델이 불필요한 단어를 많이 삽입하면 100%를 넘을 수도 있습니다.
모델 카드는 깨끗한 낭독 음성 같은 공개 테스트셋에서 WER을 보고하는데, 이는 보통 실제 녹음보다 쉽습니다. 같은 모델이라도 회의, 전화, 억양, 소음에서는 점수가 크게 달라질 수 있고, 채점 전 텍스트 정규화 방식도 결과를 바꾸므로, 출처가 다른 숫자는 항상 맞아떨어지지 않습니다. 자신의 오디오 샘플로 시험해 보세요. 중국어처럼 띄어쓰기로 단어를 구분하지 않는 언어에서는 대신 문자 오류율(CER)을 사용합니다.
관련 용어
- 음성 인식(ASR, 음성 텍스트 변환) 음성 인식은 ASR 또는 음성 텍스트 변환이라고도 불리며, 말한 오디오를 문자 텍스트로 바꿉니다.
- 벤치마크(Benchmark) 벤치마크는 모델을 비교하기 위한 표준화된 테스트로, 수학, 코딩, 지식 문제 세트 등이 사용됩니다. 점수는 참고가 되지만 과대해석하기 쉽습니다.