DeepSpeed 팀은 ZenFlow를 공개했습니다. 이 새로운 오프로딩 엔진은 대형 언어 모델 (LLM) 학습 중 발생하는 CPU로 인한 GPU 스톨 문제를 극복하기 위해 설계되었습니다. 옵티마이저와 기울기를 CPU 메모리로 오프로드하면 GPU 메모리 압력이 줄어듭니다. 그러나 ZeRO-Offload와 ZeRO-Infinity와 같은 기존 프레임워크는 각 훈련 단계마다 비싼 GPU를 대부분 대기시키는 문제가 있습니다. ZenFlow는 이러한 문제를 해결하여 효율적인 학습을 가능하게 합니다.

<Mark Tech Post 뉴스 본문 전체읽기>