Splash Music가 AWS Trainium을 사용하여 고급 HummingLM 모델을 활용하여 AI 기반 음악 생성의 새 기준을 세우고 있다. 2024 AWS Generative AI Accelerator의 선정된 스타트업으로, Splash Music는 AWS 스타트업과 AWS Generative AI 혁신 센터 (GenAIIC)와 긴밀히 협력하여 혁신을 가속화하고 음악 생성 FM 개발 라이프사이클을 가속화하고 있다.

이 글에서는 vLLM을 사용하여 확장 가능한 추론을 어떻게 할지 보여주고 AWS Deep Learning Containers (DLC)를 사용하여 모델 패키징과 배포를 간편화하는 방법을 소개합니다. 구조화된 프롬프트를 통해 관심 확장을 생성하고 이를 임베딩으로 인코딩하며, FAISS로 후보를 검색하고 결과를 유지하기 위해 검증을 적용하며, cold-start 도전을 과학적 실험으로 구성합니다. LLM과 인코더 쌍을 벤치마킹하고 추천 메트릭에 빠르게 반복하며 각 구성에 대한 명확한 ROI를 보여줍니다.

Amazon은 새로운 기능을 통해 에이전트를 대규모로 구축하고 배포하는 데 필수적인 측면에 대응하고 있습니다. 이러한 혁신은 실험을 넘어 비즈니스 프로세스에 신뢰할 수 있는 생산 준비 에이전트 시스템을 구축하는 데 도움이 될 것입니다.

AI 쇼핑 어시스턴트인 Rufus는 AWS AI 칩과 병렬 디코딩을 활용하여 프라임 데이의 수요를 충족시키며 응답 시간을 2배로 빠르게 하고 추론 비용을 50% 절감하며 피크 트래픽 중에도 원활한 확장성을 달성했습니다.

본문은 Trainium과 Inferentia로 여러 확산 트랜스포머를 실행하는 시리즈 중 첫 번째 게시물이다. 이 게시물에서는 PixArt-Sigma를 Trainium과 Inferentia 기반 인스턴스에 배포하는 방법을 소개한다.

본 포스트는 Trainium 및 Inferentia 기반 인스턴스에서 여러 확산 트랜스포머를 실행하는 시리즈 중 첫 번째로, PixArt-Sigma를 Trainium 및 Inferentia 기반 인스턴스에 배포하는 방법을 소개합니다.