Salesforce AI Research, 양방향 병렬 토큰 생성을 통한 이산 확산 코드 모델인 CoDA-1.7B 발표
Salesforce AI Research은 CoDA-1.7B를 발표했다. 이 모델은 코드를 위한 확산 기반 언어 모델로, 양방향 컨텍스트를 사용하여 전체 시퀀스를 정제하고, 왼쪽에서 오른쪽으로 다음 토큰 예측이 아닌 병렬로 여러 토큰을 업데이트한다. 이 연구팀은 Base와 Instruct 체크포인트 및 최종 훈련/평가/서빙 스택을 게시했다. CoDA의 아키텍처와 훈련에 대한 이해는 1.7B 파라미터 백본을 적용한다.
#AIPaperSummary #Applications #ArtificialIntelligence #LanguageModel #Machinelearning #NewReleases #OpenSource #TechNews #Technology
출처: Mark Tech Post
요약번역: 미주투데이 김지호 기자