Mixture-of-Experts(MoE) 모델은 인퍼런스 과정에서 모델의 매개변수 중 일부만을 사용하여 희소 전문가 활성화를 가능하게 합니다. 그러나 이러한 희소성을 실제 성능으로 전환하기 위해서는 전문가 캐싱 메커니즘이 필수적입니다. 이전 연구에서는 하드웨어 중심의 캐싱 정책을 제안했지만, 다양한 캐싱 정책이 서로 어떻게 상호작용하는지와 다양한 하드웨어 사양과의 관계는 잘 이해되지 않고 있습니다. 이를 해결하기 위해, 우리는 SpecMD라는 표준화된 프레임워크를 개발하였습니다. SpecMD는 다양한 하드웨어 구성에서 임의의 캐시 정책을 벤치마킹할 수 있도록 설계되었습니다. 이 프레임워크를 통해 연구자들은 캐싱 정책의 효과를 보다 명확하게 평가할 수 있을 것입니다.

<Apple 뉴스 본문 전체읽기>