LLM(Large Language Models)을 기반으로 한 번역 시스템들은 어떤 경우에는 인간 번역가를 능가할 정도로 발전해왔다. 특히 문서 수준이나 문학 번역과 같은 복잡한 작업에서 LLM이 개선됨에 따라 더 나은 진전을 이루고 그 진전을 정확하게평가하는 것이 점점 더 어려워지고 있다. BLEU와 같은 전통적인 자동 메트릭은 여전히 사용되지만, 새로운 시스템인 TransEvalnia는 세밀하고 인간 중심의 번역 평가를 위한 프롬프팅 기반 시스템으로 개발되었다. 이 시스템은 개발자들이 LLM의 성능을 평가하고 개선하는 데 도움을 줄 것으로 기대된다.

<Mark Tech Post 뉴스 본문 전체읽기>