다국어 추론 체육관: 14개 언어로 확장된 절차적 추론 문제 생성 환경

다국어 추론 체육관은 14개 언어로 절차적으로 검증 가능한 추론 문제를 생성하는 환경으로, 10개 언어에서 원어민 검증을 거친 94개 과제 템플릿을 제공한다. 난이도 조절과 무한 문제 생성이 가능하다.

대형 언어 모델의 사실성을 체계적으로 검증하는 FACTS 벤치마크 스위트

FACTS 벤치마크 스위트를 활용해 대형 언어 모델의 사실성을 체계적으로 평가하고 있습니다.

체크리스트는 보상 모델보다 언어 모델을 정렬하는 데 더 나은 방법입니다

언어 모델은 사용자 지시를 이해하고 따라야 합니다. 저자들은 보상 모델 대신 유연한, 지시별 기준을 제안하며, “체크리스트 피드백에서 강화 학습”을 제안합니다. 이를 통해 강화 학습이 지시 따르기에 미치는 영향을 확대할 수 있습니다.