언어 모델의 불확실성 측정(Uncertainty Quantification, UQ)은 안전성과 신뢰성 향상에 중요한 역할을 한다. 이를테면, AUROC와 같은 메트릭을 사용하여 UQ 방법(예: 부정적인 시퀀스 확률)이 작업 정확성 함수(예: ROUGE-L)와 얼마나 잘 상관하는지를 평가한다. 그러나 UQ 방법과 정확성 함수가 동일한 요인에 의해 편향될 때 상호 편향이 발생하며, 이는 평가를 체계적으로 왜곡시킬 수 있다. 먼저, 어떠한 상호 편향이 AUROC 순위를 왜곡시키는 것을 공식적으로 증명했다. 또한, 7가지 방법을 테스트하여 이 현상이 실제로 발생하는 것을 확인했다.

<Apple 뉴스 본문 전체읽기>