문샷 AI와 칭화대 연구진이 대규모 언어 모델(LLM)의 서비스 방식을 재구성하는 새로운 아키텍처인 PrfaaS를 제안했습니다. 기존의 LLM 서비스는 고대역폭 RDMA 네트워크에 의존하여 데이터 센터 내에서만 작동하도록 제한되어 있었으며, 이는 종종 동일한 랙 내에서만 이루어졌습니다. 이러한 제약은 LLM의 추론 과정에서 효율성을 떨어뜨리는 요인이었습니다. 연구팀은 PrfaaS를 통해 데이터 센터 간의 KVCache 구조를 도입하여 LLM의 추론 방식을 혁신적으로 개선할 수 있는 가능성을 제시하고 있습니다. 이 새로운 접근 방식은 LLM의 성능을 극대화하고, 더 나아가 다양한 응용 프로그램에서의 활용도를 높일 것으로 기대됩니다.

<Mark Tech Post 뉴스 본문 전체읽기>