대규모 언어 모델을 미세 조정할 때 역전파를 사용하면 메모리 소비가 많아지는 문제가 있습니다. 특히 자원 제한된 모바일 기기에서는 실용적이지 않을 수 있습니다. 이를 해결하기 위해 Zeroth-order optimization(ZO) 대신 모바일 기기에서 더 나은 메모리 사용과 계산량의 균형을 제공하는 역전파의 메모리 효율적인 구현(MeBP)을 제안합니다. 이를 통해 메모리 풋프린트를 크게 줄이면서도 모델 수렴 속도를 높일 수 있습니다. MeBP는 메모리 사용과 계산량 사이의 더 나은 균형을 제공하여 대규모 언어 모델을 효율적으로 미세 조정할 수 있습니다.

<Apple 뉴스 본문 전체읽기>