메타 FAIR가 공개한 코드 월드 모델 (CWM): 320억 파라미터의 오픈 가중치 LLM, 월드 모델을 활용한 코드 생성 연구 선도
메타 FAIR이 공개한 Code World Model (CWM)은 320억 개의 밀도 있는 디코더 전용 LLM으로, 코드 생성에 세계 모델링을 삽입하여 실행 추적 및 장기적 에이전트-환경 상호작용을 통해 학습합니다. 이 모델은 정적 소스 텍스트뿐만 아니라 실행 추적과 장기적 상호작용을 훈련시켜 코드를 생성합니다. CWM은 두 가지 큰 observation-action 궤적 패밀리에서 중간 훈련을 수행합니다. 이 모델은 코드 생성에 세계 모델을 통합하여 새로운 학습 방식을 제안합니다.
#AIPaperSummary #Applications #ArtificialIntelligence #LanguageModel #Machinelearning #NewReleases #TechNews #Technology
출처: Mark Tech Post
요약번역: 미주투데이 김지호 기자