LinEAS: 활성화 스티어링의 분포 손실과의 엔드 투 엔드 학습

최근 일상생활에서 생성 모델의 활용이 증가함에 따라 그들의 생성을 효율적으로 제어할 수 있는 메커니즘이 필요해졌다. 안전한 콘텐츠 생성이나 사용자에게 스타일 변경을 탐색할 수 있는 도구를 제공하는 것과 같은 목적으로 말이다. 이러한 메커니즘은 비짝지지 않은 데이터(명시적인 선호도가 없는 데이터)의 양이 적고, 훈련 및 추론 시에 저렴하며, 출력 품질을 유지해야 한다. 최근 연구에서는 이러한 메커니즘을 모델 활성화에 독점적으로 개입함으로써 얻을 수 있다는 것을 보여줬다. 이는 프롬프트 사용 시 볼 수 있는 활성화 간의 분포 차이를 보정하는 것을 목표로 한다.
출처: Apple
요약번역: 미주투데이 서현진 기자