비주얼 쇼핑, 이미지 또는 문서 이해, 차트 분석 등을 구축하는 경우, 모델의 응답이 실제 이미지에 기반하고 있는지를 확인할 수 있는 방법이 필수적이다. 텍스트 전용 평가자는 캡션이 이미지에 충실하게 설명하고 있는지, 추출된 청구서 총액이 문서와 일치하는지, 화면 요약이 적절한지를 판단할 수 없다. 이러한 문제를 해결하기 위해 다중 모달 평가자(Multimodal Evaluators)인 MLLM을 활용하는 방법이 제안되고 있다. MLLM은 이미지와 텍스트 간의 관계를 평가하여 보다 정확한 결과를 제공할 수 있는 가능성을 지니고 있다.

<AWS Blog 뉴스 본문 전체읽기>