NVIDIA는 NVFP4 마이크로 스케일링 포맷을 활용한 4비트 사전 훈련 방법론을 새롭게 발표했습니다. 이 방법론은 선택적 BF16 레이어, 16×16 랜덤 하다마르 변환, 2D 가중치 스케일링, 그리고 그래디언트에 대한 확률적 반올림을 결합하여 구성되었습니다. 이 기술은 10조 개의 토큰으로 훈련된 12B 하이브리드 맘바-트랜스포머에서 검증되었으며, 이는 공개적으로 문서화된 가장 긴 4비트 사전 훈련 실행 사례입니다. 이 방법론의 하위 정확도는 FP8 기준과 거의 유사한 성능을 보였습니다(62.58% 대 62.62% on MMLU-Pro).

<Mark Tech Post 뉴스 본문 전체읽기>