다국어 인코더가 필요한 이유는 무엇일까? XLM-RoBERTa(XLM-R)는 5년 이상이라는 AI 연구 분야에서 비교적 긴 시간 동안 다국어 NLP 분야를 지배해왔다. 초기에는 BERT와 RoBERTa와 같은 인코더 전용 모델이 초기 진전의 중심이었지만, 대부분의 연구 에너지는 디코더 기반 생성 모델로 옮겨졌다. 그러나 인코더는 여전히 더 효율적이며 종종 디코더를 능가한다. 새로운 mmBERT 모델은 이전 모델보다 2-4배 더 빠르며 1800개 이상의 언어로 사전 훈련된 3T 토큰을 사용한다. 이 모델은 다국어 NLP 분야에서 중요한 발전을 이끌 수 있을 것으로 기대된다.

<Mark Tech Post 뉴스 본문 전체읽기>