Amazon Bedrock에서의 비용 추적 멀티 테넌트 모델 추론

AWS의 머신러닝 블로그에 따르면, 이 포스트에서는 Converse API의 requestMetadata 매개변수를 활용하여 Amazon Bedrock에서 멀티 테넌트 모델 추론 비용을 추적하고 분석하는 방법을 소개합니다. 이 솔루션은 AWS Glue를 사용한 ETL 파이프라인과 Amazon QuickSight 대시보드를 포함하고 있어서 사용 패턴, 토큰 소비, 그리고 다양한 테넌트 및 부서 간의 비용 할당을 시각화할 수 있습니다. 이를 통해 비용을 효율적으로 관리하고 리소스 할당을 최적화할 수 있습니다.
출처: AWS Blog
요약번역: 미주투데이 최정민 기자