대형 언어 모델(Large Language Model, LLM)의 불확실성을 전달하는 일반적인 방법은 그 응답에 백분율 숫자나 주어진 단어를 추가하는 것이다. 그러나 이것이 우리가 할 수 있는 전부일까? 대신 단일 응답을 생성한 다음 그것을 회피하는 대신, 사용자에게 완전히 투명한 LLM은 내부 믿음 분포에 반사하고 가능한 모든 옵션과 그 가능성을 요약하여 출력해야 한다. 이 능력을 LLM이 가지고 있는지 테스트하기 위해 SelfReflect 측정 항목이 개발되었다. SelfReflect는 주어진 요약과 응답 분포 사이의 정보 이론적 거리로, LLM이 내부 응답 분포를 전달할 수 있는 능력을 측정하는 데 사용된다. SelfReflect를 통해 LLM이 사용자에게 가장 가능성이 높은 답변을 제공하는 방법과 그 믿음의 정도를 더 잘 이해할 수 있게 된다. 이러한 방식으로, LLM은 단일 응답만 제공하는 것을 넘어 다양한 응답 옵션과 그 확률을 전달함으로써 사용자와의 상호 작용을 개선할 수 있다.

<Apple 뉴스 본문 전체읽기>