페더레이티드 러닝(FL)과 차별적 개인정보 보호(DP)는 광범위하게 연구되어왔지만, 이를 자동 음성 인식(ASR)에 적용하는 것은 대규모 트랜스포머 모델을 훈련하는 과정에서 발생하는 어려움으로 인해 크게 탐구되지 않았다. 특히 대규모 모델은 층별로 그래디언트의 이질성에 특히 취약하며, 얕은 모델에서 관측되는 상대적으로 일관된 그래디언트 동작과는 대조적이다. 결과적으로, 이전 연구들은 차별적 개인정보 보호 메커니즘 없이도 표준 최적화 기술로 수렴하기 어렵다는 문제에 직면해왔다. 이에 새로운 벤치마크, 적응형 옵티마이저, 그리고 그래디언트 클리핑을 제안함으로써 이러한 어려움을 해결하기 위한 연구가 진행되고 있다. 더 자세한 내용은 제공된 링크를 참고하면 될 것이다.

<Apple 뉴스 본문 전체읽기>