Sparse Mixtures of Experts (MoEs)는 일반적으로 고정된 희소성 수준에서 작동하도록 훈련된다. 예를 들어, 상위 k개의 게이팅 함수에서 k를 지정한다. 이러한 전역적인 희소성 수준은 정확도/지연 시간 곡선상의 운영 지점을 결정한다. 현재, 여러 효율성 목표를 충족하기 위해서는 여러 모델을 훈련하고 유지해야 하는데, 이는 서빙을 복잡하게 만들고, 훈련 및 유지 비용을 증가시키며, 다양한 지연 시간, 효율성 및 에너지 요구 사항을 충족시키는 유연성을 제한한다. 우리는 사전 훈련된 MoEs가 런타임 희소성 변화에 대해 일반적으로 가정되는 것보다 더 견고하다는 것을 보여주고, MoE-PHDS를 소개한다. MoE-PHDS는 단일 MoE 모델을 사용하여 다양한 효율성 목표를 충족시키고 유지 관리 비용을 줄이며 유연성을 높인다.

<Apple 뉴스 본문 전체읽기>