DiceHuBERT는 HuBERT를 압축하기 위한 지식 증류 프레임워크로, 기존의 층별 및 특징별 매핑을 사용하는 방법과 달리 HuBERT의 자체 증류 메커니즘을 활용하여 원래 모델을 학생 모델로 직접 대체함으로써 학생이 HuBERT 사전 훈련시 사용된 동일한 자가 지도 학습 목표를 사용하여 학습되도록 함. 이러한 대체는 학생 모델에 추가 모듈이나 구조적 제약이 필요하지 않게 함. 학생 모델은 동일한 SSL 목표를 사용하여 더 작은 크기로 효과적으로 학습되며, HuBERT의 성능을 상당히 개선함. 그 결과, DiceHuBERT는 SSL 기반 음성 기초 모델인 HuBERT의 높은 성능을 유지하면서도 모델 크기를 크게 줄일 수 있음.

<Apple 뉴스 본문 전체읽기>