Apple은 Apple 디바이스와 서비스 전반에 걸쳐 사용되는 두 개의 다국어, 다모달 Foundation 언어 모델을 소개합니다. 첫 번째 모델은 Apple 실리콘에 최적화된 약 30억 파라미터의 온디바이스 모델로, KV-캐시 공유 및 2비트 양자화 훈련과 같은 구조적 혁신을 통해 구축되었습니다. 두 번째 모델은 Apple의 Private Cloud Compute에서 경쟁력 있는 비용으로 높은 품질을 제공하는 새로운 병렬 트랙 MoE(Mixture-of-Experts) 트랜스포머를 기반으로 합니다. 이 모델은 트랙 병렬성, 전문가들의 혼합 희소 계산 및 교대로 사용되는 글로벌-로컬 어텐션을 결합하여 고품질의 결과를 산출합니다.

<Apple 뉴스 본문 전체읽기>