이미지 캡셔닝은 컴퓨터 비전 분야에서 가장 기본적인 작업 중 하나로, 그 개방적인 특성 덕분에 최근 멀티모달 대형 언어 모델(MLLM)의 시대에 많은 주목을 받고 있습니다. 연구자들은 점점 더 상세하고 정확한 캡션을 생성하기 위해 강화 학습(RL)을 활용하는 방향으로 나아가고 있습니다. 그러나 기존의 캡셔닝-RL 방법과 평가 지표는 종종 캡션 품질의 좁은 개념에 초점을 맞추고 있어, 캡셔닝의 핵심 차원 간에 트레이드오프를 유발할 수 있습니다. 예를 들어, 유용성 중심의 목표는 종종 불필요하게 긴 캡션이나 왜곡된 캡션을 유도할 수 있습니다. 이러한 문제를 해결하기 위해 BalCapRL은 균형 잡힌 접근 방식을 제안합니다.

<Apple 뉴스 본문 전체읽기>