AWS의 일본 GENIAC 프로그램을 통해 구축한 Foundation 모델에 대한 가속기 이상의 교훈
2024년, 일본 경제산업성이 Generative AI 가속기 도전을 시작했고, AWS는 GENIAC의 두 번째 사이클을 위해 클라우드 제공업체로 선정되어 12개 기관에 기반 모델 개발을 위한 인프라와 기술 지원을 제공했다.
도쿄 과학 연구소가 아마존 세이지메이커 하이퍼팟을 사용하여 70억 개의 파라미터를 가진 일본어 능력이 향상된 대형 언어 모델 Llama 3.3 Swallow을 성공적으로 훈련시켰다. 이 모델은 GPT-4o-mini 및 다른 선두 모델을 능가하는 일본어 작업에서 우수한 성능을 보여준다. 이 기술 보고서는 프로젝트 중 개발된 훈련 인프라, 최적화 및 모범 사례를 상세히 설명한다.