Mirror Speculative Decoding (Mirror-SD)은 LLM 추론에서 속도와 정확도의 균형을 유지하면서 직렬 처리의 장벽을 깨는 새로운 알고리즘입니다. 기존의 방법들은 초안 모델을 사용하여 미래를 예측하는 방식으로 추론 속도를 높이지만, 자가회귀적인 초안 생성 비용으로 인해 한계가 있었습니다. 초안 크기를 늘리면 수락률이 상승하지만 추가 지연 시간을 초래하여 속도-정확도 트레이드오프를 악화시키는 문제가 있었습니다. Medusa, Hydra, EAGLE과 같은 이전 방법들은 초안 비용을 일부 감소시키지만 수락률을 저하시키거나 확장 가능성을 제한하는 오버헤드를 도입했습니다. Mirror-SD는 이러한 한계를 극복하고 더 나은 추론 성능을 제공합니다. Mirror-SD는 가지-완료 롤아웃을 실행하여… (본문 계속)

<Apple 뉴스 본문 전체읽기>