아마존 세이지메이커 AI와 아마존 베드락에서 vLLM을 사용하여 수십 개의 세밀하게 조정된 모델을 효율적으로 제공하기
본문에서는 Mixture of Experts (MoE) 모델에 대한 멀티-로라 추론을 구현하는 방법과 커널 수준의 최적화에 대해 설명하며, 이 작업에서 어떻게 이점을 얻을 수 있는지 보여줍니다. GPT-OSS 20B를 이 포스트 전체에서 주요 예제로 사용합니다.