사카나 AI와 NVIDIA, LLM의 추론 및 훈련 속도 향상 위한 TwELL 발표

사카나 AI와 NVIDIA 연구팀이 L1 정규화를 통해 피드포워드 레이어에서 99% 이상의 희소성을 달성하고, 새로운 희소 데이터 형식과 융합된 CUDA 커널을 활용해 GPU 처리 성능을 향상시켰다고 발표했다.