코넬 대학교와 구글의 연구진은 코드 문자열에서 숫자 결과를 직접 예측하는 통합 회귀 언어 모델(RLM)을 소개했습니다. 이 모델은 GPU 커널 지연, 프로그램 메모리 사용량, 심지어 신경망 정확도와 지연까지 손수 조작된 특성 없이 예측합니다. T5-Gemma에서 초기화된 300M 파라미터 인코더-디코더는 단일 텍스트-숫자 디코더를 사용하여 이질적 작업과 언어 간 강력한 순위 상관관계를 달성합니다. 이 모델은 코드 스니펫을 입력으로 사용하고, 다양한 언어로 작성된 코드에서 GPU 커널 지연, 프로그램 메모리 사용량, 신경망 정확도 및 지연을 예측할 수 있습니다. 또한, 이 모델은 손실 함수의 gradient를 사용하여 학습됩니다. 이 연구는 다양한 언어 및 작업에서 양호한 성능을 보여주며, 이러한 모델은 실제 시스템에서 유용하게 활용될 수 있습니다.

<Mark Tech Post 뉴스 본문 전체읽기>