자기 지도 학습은 최근 머신 러닝 및 컴퓨터 비전 분야에서 주목받는 주제 중 하나이다. 이러한 기술은 레이블이 지정되지 않은 데이터에서 풍부한 표현을 학습하고, 이를 이용하여 다양한 작업을 수행할 수 있게 해준다. 이번 연구에서는 Representation Tokenizer(RepTok)라는 새로운 생성 모델링 프레임워크를 소개한다. RepTok은 이미지를 단일 연속 잠재 토큰으로 표현하는 방법을 제시한다. RepTok은 자기 지도 비전 트랜스포머(self-supervised vision transformers)로부터 얻은 토큰을 사용하여 이미지를 표현한다. 이때, 미세 조정이 필요한 부분은 의미론적 토큰 임베딩뿐이며, 표준 흐름 일치 목적을 사용하여 함께 훈련된 생성 디코더와 짝을 이룬다. 이러한 적응은 토큰을 저수준, 재구성 관련 세부 정보로 보강하여 충실한 이미지 재구성을 가능하게 한다. 또한, 원래의 SSL 공간의 유리한 기하학을 보존하기 위해 코사인 유사도 손실을 추가한다. 이러한 방식으로 RepTok은 이미지 생성 및 재구성 작업에 효율적으로 활용될 수 있다. 이 연구 결과는 자기 지도 학습의 효과적인 활용 가능성을 제시하며, 더 나아가 머신 러닝 분야에 새로운 가능성을 열어줄 것으로 기대된다.

<Apple 뉴스 본문 전체읽기>