아마존 세이지메이커 AI가 EAGLE을 기반으로 한 적응형 추측 디코딩을 도입했습니다. 이 기술은 대규모 언어 모델 추론을 최대 2.5배 가속화하면서 출력 품질을 유지합니다. EAGLE은 생성 AI 모델의 추론을 가속화하기 위해 개발된 기술로, 아마존 세이지메이커 AI에서 이를 지원하게 되었습니다. EAGLE 2와 EAGLE 3는 아마존 세이지메이커 AI에서 사용할 수 있는 추측 디코딩 기술로, 이를 활용하면 솔루션 아키텍처를 최적화하고, 자체 데이터셋 또는 세이지메이커의 내장 데이터를 활용한 작업 흐름을 구축할 수 있습니다. 또한, 벤치마크 결과를 통해 처리량과 대기 시간에서 상당한 향상을 확인할 수 있습니다. 이 기술을 통해 생성 AI 모델의 추론 속도를 높이면서도 품질을 유지할 수 있어, 다양한 응용 분야에서 성능 향상을 이끌어내고 있습니다.

<AWS Blog 뉴스 본문 전체읽기>