자기회귀 모델은 언어 모델링에서 놀라운 진전을 이루어왔다. 그들의 기본적인 이산 토큰에 대한 의존성, 단방향 컨텍스트, 그리고 한 번 통과하는 디코딩은 그들의 성공의 중심이지만, 이는 또한 새로운 모델링 유연성의 축을 제공할 수 있는 설계 공간의 탐색을 영감을 준다. 본 연구에서는 언어 모델링을 이산 토큰 공간에서 연속 잠재 공간으로 이동시키는 대안적 패러다임을 탐구한다. 우리는 연속 표현을 모델링하기 위해 트랜스포머 기반 자기회귀 정규화 플로우를 사용하는 새로운 프레임워크 TarFlowLM을 제안한다. 이 접근 방식은 기존 자기회귀 모델보다 더 큰 모델링 유연성과 효율성을 제공할 수 있다.

<Apple 뉴스 본문 전체읽기>