대규모 언어 모델(Large Language Models, LLM)을 평가자로 활용하는 생성적 보상 모델이 검증 가능한 보상을 통한 강화 학습(Reinforcement Learning with Verifiable Rewards, RLVR) 분야에서 주목받고 있다. 이러한 모델은 열린 답변이나 복잡한 응답을 필요로 하는 작업에 적합하다. 기존의 엄격한 규칙 대신 LLM은 후보 응답을 기준 답변과 비교하여 이진 피드백을 생성한다. 이러한 형태의 보상 모델은 룰 기반 시스템보다 유연성과 다양성 측면에서 우수하다고 평가되고 있다. 그러나 이러한 LLM 보상 모델도 여전히 일부 약점을 가지고 있다. 이러한 약점을 드러내고 보완하는 새로운 방법론으로 마스터-RM(Master-RM)이 소개되었다. 마스터-RM은 LLM 보상 모델의 취약점을 식별하고 이를 보완함으로써 모델의 신뢰성을 향상시키는 역할을 한다. 이를 통해 보상 모델의 성능 향상과 안정성을 도모할 수 있게 된다. 이 같은 연구와 기술 발전은 인공지능 분야에서의 보상 시스템의 신뢰성과 효율성을 높이는 데 기여할 전망이다.

<Mark Tech Post 뉴스 본문 전체읽기>