SageMaker AI 엔드포인트에 호스팅된 Strands 에이전트를 위한 사용자 정의 모델 제공자 구축

이 게시물에서는 Strands 에이전트와 함께 LLMs를 사용할 때 Bedrock Messages API 형식을 네이티브로 지원하지 않는 SageMaker에 호스팅된 사용자 정의 모델 파서를 구축하는 방법을 살펴봅니다. 먼저, awslabs/ml-container-creator를 사용하여 SageMaker에 SGLang을 사용하여 Llama 3.1을 배포하는 방법을 설명합니다. 그런 다음, 이 모델을 Strands 에이전트와 통합하기 위한 사용자 정의 파서를 구현하는 방법을 안내합니다.
출처: AWS Blog
요약번역: 미주투데이 최정민 기자