정책 경량 알고리즘은 최근 언어 모델의 추론 능력 향상에 크게 기여하고 있다. 이 알고리즘의 매력적인 점은 스스로의 경로에서 탐색을 통해 학습할 수 있는 능력이다. 이러한 과정은 다양한 창의적 솔루션을 촉진하는 데 필수적이다. 그러나 본 논문에서 보여주듯이, 많은 정책 경량 알고리즘은 훈련의 일환으로 엔트로피를 자연스럽게 줄이는 경향이 있다. 이는 탐색된 경로의 다양성을 감소시키고, 결과적으로 탐색 능력이 제한된 정책을 초래할 수 있다. 따라서 우리는 훈련 과정에서 엔트로피를 적극적으로 모니터링하고 제어해야 한다고 주장한다.

<Apple 뉴스 본문 전체읽기>