Amazon SageMaker AI에서 실시간 추론을 위한 양방향 스트리밍이 소개되었습니다. 이는 추론을 트랜잭션 형식의 교환에서 연속적인 대화로 변환합니다. 이 블로그 글에서는 SageMaker AI 엔드포인트에 양방향 스트리밍 기능을 갖춘 컨테이너를 구축하고 배포하는 방법을 안내합니다. 또한 Deepgram의 미리 구축된 모델과 컨테이너를 사용하여 실시간 추론을 위한 양방향 스트리밍 기능을 활성화하는 방법도 소개됩니다. 이를 통해 사용자는 자체 컨테이너를 가져오거나 SageMaker AI에서 제공하는 파트너인 Deepgram의 사전 제작 모델과 컨테이너를 사용할 수 있습니다. 양방향 스트리밍 기능을 통해 실시간 추론이 가능해집니다.

<AWS Blog 뉴스 본문 전체읽기>