사카나 AI와 NVIDIA 연구팀은 최근 LLM(대형 언어 모델)의 추론 속도를 20.5%, 훈련 속도를 21.9% 향상시키는 새로운 기술인 TwELL을 발표했다. 이 기술은 간단한 L1 정규화를 통해 피드포워드 레이어에서 99% 이상의 희소성을 유도할 수 있으며, 이러한 희소성을 새로운 희소 데이터 형식과 융합된 CUDA 커널을 사용하여 실제 GPU 처리 성능 향상으로 연결할 수 있다. 이 연구는 AI 인프라스트럭처의 효율성을 높이는 데 기여할 것으로 기대된다.

<Mark Tech Post 뉴스 본문 전체읽기>