LLM은 최근 파라미터 수와 MoE 디자인, 대규모 컨텍스트 길이의 확대로 빠르게 발전해왔습니다. DeepSeek-R1, LLaMA-4, Qwen-3과 같은 모델은 이제 수조 개의 파라미터에 이르며 엄청난 컴퓨팅, 메모리 대역폭, 빠른 칩 간 통신이 필요합니다. MoE는 효율성을 향상시키지만 전문가 라우팅에서 도전을 야기하고 백만 개 이상의 토큰을 가진 컨텍스트 창은 모델의 성능을 향상시키는 데 필요한 병목 현상을 초래할 수 있습니다. 이러한 도전에 대응하기 위해 휴대폰은 CloudMatrix를 개발했습니다. CloudMatrix는 P2P 아키텍처로, 각 노드가 서로 통신하고 협력하여 효율적인 데이터 처리를 제공합니다. 이를 통해 대규모 LLM 모델의 효율적인 서빙을 달성할 수 있습니다.

<Mark Tech Post 뉴스 본문 전체읽기>