이번 글에서는 현대 기술 스택의 포괄적인 스택을 사용하여 실용적인 RAG 채팅 기반 어시스턴트를 구현하는 방법을 시연합니다. 이 솔루션은 NVIDIA NIMs를 사용하여 LLM 추론과 텍스트 임베딩 서비스를 모두 제공하며, NIM Operator가 이들의 배포와 관리를 처리합니다. 아키텍처에는 Amazon OpenSearch Serverless가 포함되어 고차원 벡터 임베딩을 저장하고 유사성 검색을 위해 쿼리할 수 있습니다. 이를 통해 Amazon EKS Auto Mode와 NVIDIA NIMs를 이용하여 효율적이고 성능이 우수한 어시스턴트를 구축할 수 있습니다.

<AWS Blog 뉴스 본문 전체읽기>