트랜스포머 모델은 자연어 처리 분야에서 혁신적인 발전을 이뤘지만, 장기 의존성을 처리하는 능력은 한계가 있었다. 이에 구글 리서치팀은 타이탄(Titans)과 미라스(MIRAS)라는 새로운 메커니즘을 제안하며 이 문제에 도전하고 있다. 타이탄은 트랜스포머 모델의 백본에 심층 신경 메모리를 추가하여 장기 의존성을 높였다. 미라스는 시퀀스 모델에 연관 메모리를 부여하기 위한 일반적인 프레임워크로, 다양한 태스크에 대해 유연하게 적용될 수 있다. 이러한 새로운 아키텍처들은 훈련과 추론을 효율적으로 수행할 수 있도록 설계되었으며, 기존 트랜스포머 모델의 한계를 극복하고자 하는 목표를 가지고 있다.

<Mark Tech Post 뉴스 본문 전체읽기>