아마존은 베드록(Amazon Bedrock) 서비스에서 추론 작업의 운영 가시성을 개선하기 위해 두 가지 새로운 아마존 클라우드워치(Amazon CloudWatch) 지표를 발표했다. 첫 번째 지표는 TimeToFirstToken(TTFT)으로, 추론 요청 시 첫 번째 토큰이 반환되기까지 걸리는 시간을 측정한다. 두 번째 지표는 EstimatedTPMQuotaUsage로, 예상 쿼터 사용량을 나타내어 서비스 용량을 사전에 관리할 수 있도록 돕는다. 이번 발표에서는 이 두 지표의 작동 방식과 알람 설정, 기준선 수립, 용량을 선제적으로 관리하는 방법에 대해 다루고 있다. 이를 통해 사용자는 추론 작업의 성능을 모니터링하고 효율적으로 운영할 수 있게 된다.

<AWS Blog 뉴스 본문 전체읽기>