언어 모델(LMs)을 위한 사전 훈련 후 방법은 원하는 행동을 지정하기 위해 인간 감독에 의존한다. 그러나 작업과 모델 행동이 매우 복잡해지면 이러한 방법은 중요한 제한 사항을 마주하게 된다. 이러한 시나리오에서 인간 감독은 신뢰할 수 없게 되며, LMs는 데모에서의 실수를 모방하거나 피드백의 고유한 결함을 악용하는 방식으로 학습하게 된다. 이러한 문제점을 극복하기 위해 레이블 없는, 비지도 학습 프레임워크인 내부 일관성 최대화(ICM)가 제안되었다. ICM은 LLMs의 학습을 개선하고 모델의 내부 구조를 최적화하는 데 도움이 될 수 있다.

<Mark Tech Post 뉴스 본문 전체읽기>