Apple의 머신 러닝 블로그에 소개된 이 연구는 코드 생성을 위한 확산 대형 언어 모델(dLLMs)의 이해와 개선에 대해 다룬다. 전통적인 자기 회귀 모델 대신 노이즈 제거 모델을 사용하는 dLLMs는 전체 시퀀스에 걸쳐 작동하기 때문에 매력적인 대안이다. 특히, dLLMs의 전역 계획 및 반복적 수정 기능은 코드 생성에 매우 유용하다. 그러나 현재 코딩을 위한 dLLMs의 훈련 및 추론 메커니즘은 아직 충분히 탐구되지 않았다. 이 연구에서는 dLLMs의 복호화 행동을 명확히 하고 그들의 코딩을 위한 잠재력을 발휘하기 위해 그들의 노이즈 제거 프로세스와 강화 학습 방법을 체계적으로 조사했다. 7B 규모의 dLLM인 DiffuCoder를 130B의 데이터로 훈련시켰다.

<Apple 뉴스 본문 전체읽기>