Text Generation Evaluation 11 - TER (Translation Error Rate)

패러프레이징 논문 읽다가 이것으로 평가하는 것이 있어서 적어봄..

사람이 만약 시스템의 출력을 reference paraphrase로 바꾸려는데 드는 과정에 쓰이는 insertion, deletions, substitutions, shifts의 수

정확한 정의는 다음과 같다.

 

보통 번역기의 성능 평가를 할 때 쓰이는 metric이다.

추가로 HTER은 human TER로 human의 reference로 바꾸는 TER을 계산한 것이다.

TER도 쉽게 계산할 수 있게 라이브러리등이 배포되어 있는 것으로 보인다.

좀 더 자세한 내용을 보려면: https://www.cs.umd.edu/~snover/pub/amta06/ter_amta.pdf