구글과 MediaTek의 새로운 LiteRT NeuroPilot 가속기는 실제 생성 모델을 폰, 랩탑 및 IoT 하드웨어에서 데이터 센터로 요청을 보내지 않고 실행할 수 있는 구체적인 단계입니다. 기존의 LiteRT 런타임을 채택하여 MediaTek의 NeuroPilot NPU 스택에 직접 연결하여 개발자가 LLMs와 임베딩 모델을 배포할 수 있습니다. 이를 통해 MediaTek Dimensity NPUs가 장치 내 LLM의 주요 대상이 될 수 있습니다. 이러한 혁신적인 스택은 AI 인프라, 응용 프로그램, 기술 뉴스 등 다양한 분야에서 활용될 것으로 기대됩니다.

<Mark Tech Post 뉴스 본문 전체읽기>