MT-Bench와 Arena-Hard의 저장소는 OpenAI의 GPT API를 사용하여 개발되었으며, 주로 GPT-4를 심사관으로 활용했습니다. 그러나 저희 팀은 이러한 저장소의 기능을 Amazon Bedrock API와 통합하여 Amazon의 심사관으로 Anthropic의 Claude Sonnet을 사용할 수 있도록 확장했습니다. 이번 게시물에서는 MT-Bench와 Arena-Hard를 사용하여 Amazon Nova 모델을 벤치마킹하고, Amazon Bedrock를 통해 사용 가능한 다른 주요 LLM과 비교합니다. Amazon Nova는 Amazon의 새로운 언어 생성 모델로, 다양한 자연어 처리 작업에 사용됩니다. 이 모델은 다른 선두적인 LLM(언어 생성 모델)들과 비교하여 얼마나 우수한 성능을 보이는지 분석하기 위해 MT-Bench와 Arena-Hard를 사용합니다. Amazon Nova 모델의 성능이 다른 모델들보다 우수한 것으로 나타나면, 이는 Amazon의 기술적 역량과 머신 러닝 분야에서의 선도적 위치를 강화하는 데 도움이 될 것입니다.

<AWS Blog 뉴스 본문 전체읽기>