Synthetic Bootstrapped Pretraining (SBP)은 언어 모델 (LM) 사전훈련 절차로, 먼저 사전훈련 데이터셋에서 문서 간 관계 모델을 학습한 후 이를 활용하여 공동 훈련을 위해 방대한 새로운 말뭉치를 합성하는 방법을 소개한다. 표준 사전훈련은 LM에게 단일 문서 내 토큰 간 인과 관계를 학습시키는 것을 목표로 하지만, 부트스트랩은 문서 간 풍부하고 학습 가능한 상호 관계를 효율적으로 모델링하도록 설계되어 성능 향상을 이끌 수 있다. SBP의 유효성을 검증하기 위해 계산 일치 사전훈련 설정을 설계하고 3B 파라미터를 사전훈련한다.

<Apple 뉴스 본문 전체읽기>