환각은 언어 모델의 활용을 방해하는 중요한 문제 중 하나이지만, 정확한 측정은 여전히 어려운 과제입니다. 많은 과제 및 도메인별 지표가 충실성과 사실성 문제를 평가하기 위해 제안되어 왔지만, 이러한 지표의 견고성과 일반화는 아직 시험되지 않았습니다. 본 논문에서는 4개의 데이터셋, 5가지 모델 패밀리의 37개 언어 모델 및 5가지 디코딩 방법을 통해 6가지 다양한 환각 탐지 메트릭 세트를 대규모로 검증했습니다. 우리의 광범위한 조사는 이러한 메트릭의 강건성과 일반화에 대한 우려스러운 공백을 드러냅니다.

<Apple 뉴스 본문 전체읽기>