인공지능(AI) 관측성은 AI 시스템을 이해하고 모니터링하며 고유한 메트릭을 추적하여 평가하는 능력을 의미합니다. 이는 토큰 사용, 응답 품질, 대기 시간 및 모델 드리프트와 같은 AI 시스템의 고유한 메트릭을 추적함으로써 이루어집니다. 전통적인 소프트웨어와 달리 대형 언어 모델(LLMs) 및 기타 생성형 AI 응용 프로그램은 확률적인 성격을 가지고 있습니다. 이들은 고정되고 투명한 실행 경로를 따르지 않으므로 AI 관측성을 구현하는 것이 도전적입니다.

<Mark Tech Post 뉴스 본문 전체읽기>