소규모 모델을 사용하여 진행되는 연구는 어떠한 가능성을 제시할까? 일반적으로, 연구자들은 프로그램 합성을 대형 언어 모델 (Large Language Models, LLMs)을 통해 연구한다. 그러나 이 방법은 분포 내외의 구분, 파인튜닝 효과, 토크나이제이션의 효과를 이해하고, 실험을 수행하기 위한 컴퓨팅 및 저장에 대한 높은 요구를 가져온다. 이에, 저자들은 Cadmus라는 시스템을 제안한다. Cadmus 시스템은 정수 가상 머신(VM)과 다양한 작업의 진정한 프로그램으로 이루어진 데이터셋, 그리고 약 200달러의 컴퓨팅 자원으로 훈련된 자가 회귀 트랜스포머 모델로 구성되어 있다. 이 시스템은 작은 모델을 사용하여 프로그램을 완성하는 것에 대한 연구를 가능케 한다. 더불어, Cadmus를 사용하면 분포 내외의 구분, 파인튜닝 효과, 토크나이제이션 등의 문제를 해결하고, 보다 효율적으로 실험을 수행할 수 있다.

<Apple 뉴스 본문 전체읽기>