로컬-글로벌 어텐션 모델은 표준 트랜스포머에 대안으로 최근 등장했는데, 훈련 및 추론 효율성을 모두 향상시킬 것으로 약속되고 있다. 그러나 창 크기 선택은 핵심적인 문제이며, 이 연구는 최소한의 슬라이딩 윈도우 크기에 대해 조사한다. Gemma2와 Mistral과 같은 현재 모델은 성능을 유지하기 위해 보수적인 윈도우 크기를 채택한다.

<Apple 뉴스 본문 전체읽기>