다국어 언어 모델이 언어 식별(형태)과 의미 내용(의미)을 어떻게 표현하는지를 평가하기 위해 훈련이 필요 없는 ABX 스타일의 차별화 작업을 소개한다. 이 연구는 음성 처리에서 영감을 받아, 이러한 제로샷 작업이 표현상의 미묘한 차이가 신뢰성 있게 감지될 수 있는지를 측정한다. 이는 탐사(probing)에 대한 유연하고 해석 가능한 대안을 제공한다. XLM-R (Conneau et al, 2020)에 적용된 결과, 언어 식별은 훈련 과정 중에 감소하고 하위 레이어에 집중되는 것으로 나타났다. 의미 차별…

<Apple 뉴스 본문 전체읽기>