보상 모델은 인간 피드백으로부터 강화 학습에 중요한 역할을 한다. 그러나 현재의 최고 성능을 내는 모델들조차도 복잡한 인간 선호도의 전체 범위를 반영하는 데 여전히 어려움을 겪고 있다. 심층 훈련 기술을 사용해도 의미 있는 진전이 제한되어 있으며, 주요 원인 중 하나는 모델의 한계 때문으로 보인다. SynPref-40M과 Skywork-Reward-V2는 이러한 제약을 극복하기 위해 개발된 확장 가능한 인간-인공지능 정렬 모델이다. 이러한 모델은 최첨단 보상 모델에 대한 새로운 가능성을 열어줄 것으로 기대된다.

<Mark Tech Post 뉴스 본문 전체읽기>