Zyphra는 자가 회귀 혼합 전문가(MoE) 모델을 이산 확산 모델로 변환한 최초의 사례인 ZAYA1-8B-Diffusion-Preview를 출시했다. 이 모델은 평가 성능에서 체계적인 손실 없이 변환이 가능하다는 점을 강조하고 있다. ZAYA1-8B-Diffusion-Preview는 메모리 대역폭에 의존하는 디코딩에서 계산 중심으로 전환함으로써 자가 회귀 방식에 비해 최대 7.7배의 추론 속도 향상을 달성했다. 이는 현대 GPU가 메모리 대역폭보다 FLOPs를 더 빠르게 확장하는 상황에서 중요한 장점으로 작용한다.

<Mark Tech Post 뉴스 본문 전체읽기>