보상 모델은 LLM(Long Language Model)과 인간 피드백을 정렬하는 데 중요한 역할을 한다. 그러나 보상 해킹 문제에 직면하고 있다. 이러한 모델은 주로 응답 길이나 형식과 같은 표면적 특성에 초점을 맞추고, 사실성이나 관련성과 같은 진정한 품질 지표를 식별하지 못하는 어려움이 있다. 이는 표준 훈련 목표가 의미 없는 상관 관계를 구별하지 못하기 때문에 발생한다. 이러한 문제를 해결하기 위해 구글 딥마인드는 Crome이라는 새로운 인과적 프레임워크를 제안했다. Crome은 보상 모델링에서 인과 추론을 강조하여 특성을 개선하고, 보상 모델이 올바른 지식을 학습하도록 돕는다. 이를 통해 LLM의 품질을 향상시키고 보상 시스템을 더 견고하게 만들 수 있다. Crome은 LLM 정렬에서의 보상 모델링 문제에 대한 혁신적인 해결책으로 소개되며, 보상 모델의 효율성과 안정성을 향상시키는 데 기여할 것으로 기대된다.

<Mark Tech Post 뉴스 본문 전체읽기>