Microsoft Research가 제안한 BitNet Distillation은 기존의 완전 정밀한 Large Language Models (LLMs)을 특정 작업을 위해 1.58비트의 BitNet 학생으로 변환하는 파이프라인입니다. 이를 통해 FP16 교사에 대한 정확도를 유지하면서 CPU 효율성을 향상시킵니다. 이 방법은 SubLN 기반의 구조적 개선, 지속적인 사전 훈련, 로짓 및 멀티 헤드 어텐션 관계로부터의 이중 신호 증류를 결합하여 작동합니다. 이를 통해 최대 10배의 메모리 절약과 약 2.65배의 CPU 가속 효과를 얻을 수 있습니다. 논문 자세한 내용은 원문 링크를 참고하시기 바랍니다.

<Mark Tech Post 뉴스 본문 전체읽기>