Metagenomi가 AWS와 협력하여 Progen2 단백질 언어 모델을 AWS Inferentia에 구현하여, 고철분획 효소 생성 워크플로에 대해 최대 56% 비용 절감을 달성했다. EC2 Inf2 Spot 인스턴스와 AWS Batch를 사용하여 수백만 개의 특이 효소 변형을 비용 효율적으로 생성하였으며, 클라우드 기반 생성적 AI가 바이오테크 응용 프로그램에 대규모 단백질 설계를 더 접근 가능하게 만들었다.

Amazon은 새로운 기능을 통해 에이전트를 대규모로 구축하고 배포하는 데 필수적인 측면에 대응하고 있습니다. 이러한 혁신은 실험을 넘어 비즈니스 프로세스에 신뢰할 수 있는 생산 준비 에이전트 시스템을 구축하는 데 도움이 될 것입니다.

AI 쇼핑 어시스턴트인 Rufus는 AWS AI 칩과 병렬 디코딩을 활용하여 프라임 데이의 수요를 충족시키며 응답 시간을 2배로 빠르게 하고 추론 비용을 50% 절감하며 피크 트래픽 중에도 원활한 확장성을 달성했습니다.

본문은 Trainium과 Inferentia로 여러 확산 트랜스포머를 실행하는 시리즈 중 첫 번째 게시물이다. 이 게시물에서는 PixArt-Sigma를 Trainium과 Inferentia 기반 인스턴스에 배포하는 방법을 소개한다.

본 포스트는 Trainium 및 Inferentia 기반 인스턴스에서 여러 확산 트랜스포머를 실행하는 시리즈 중 첫 번째로, PixArt-Sigma를 Trainium 및 Inferentia 기반 인스턴스에 배포하는 방법을 소개합니다.

이 포스트는 비용 효율적이고 고성능 추론을 위해 AWS Inferentia2 인스턴스에 Mixtral 8x7B 언어 모델을 배포하고 제공하는 방법을 보여줍니다. Hugging Face Optimum Neuron을 사용한 모델 컴파일 및 Text Generation Inference (TGI) Container를 통해 LLMs를 배포하고 제공하는 방법을 안내합니다.