Metagenomi가 AWS와 협력하여 Progen2 단백질 언어 모델을 AWS Inferentia에 구현하여, 고철분획 효소 생성 워크플로에 대해 최대 56% 비용 절감을 달성했다. EC2 Inf2 Spot 인스턴스와 AWS Batch를 사용하여 수백만 개의 특이 효소 변형을 비용 효율적으로 생성하였으며, 클라우드 기반 생성적 AI가 바이오테크 응용 프로그램에 대규모 단백질 설계를 더 접근 가능하게 만들었다.
본문은 Trainium과 Inferentia로 여러 확산 트랜스포머를 실행하는 시리즈 중 첫 번째 게시물이다. 이 게시물에서는 PixArt-Sigma를 Trainium과 Inferentia 기반 인스턴스에 배포하는 방법을 소개한다.
본 포스트는 Trainium 및 Inferentia 기반 인스턴스에서 여러 확산 트랜스포머를 실행하는 시리즈 중 첫 번째로, PixArt-Sigma를 Trainium 및 Inferentia 기반 인스턴스에 배포하는 방법을 소개합니다.
이 포스트는 비용 효율적이고 고성능 추론을 위해 AWS Inferentia2 인스턴스에 Mixtral 8x7B 언어 모델을 배포하고 제공하는 방법을 보여줍니다. Hugging Face Optimum Neuron을 사용한 모델 컴파일 및 Text Generation Inference (TGI) Container를 통해 LLMs를 배포하고 제공하는 방법을 안내합니다.
