수화 모델을 활용한 수화 주석 자동화

AI 기반의 수화 해석 기술은 고품질 주석 데이터의 부족으로 인해 한계를 겪고 있다. 최근 ASL STEM Wiki와 FLEURS-ASL과 같은 새로운 데이터셋이 등장했지만, 이들 데이터셋은 전문 통역사에 의해 수집된 수백 시간의 데이터가 포함되어 있음에도 불구하고 주석이 부분적으로만 이루어져 있어 충분히 활용되지 못하고 있다. 이는 대규모 주석 작업의 높은 비용 때문이기도 하다. 이에 대한 해결책으로, 연구팀은 수화 비디오와 영어를 입력으로 받아들여 가능한 주석을 순위별로 출력하는 의사 주석 파이프라인을 개발하였다. 이 파이프라인은 주석을 위한 시간 간격, 글로스, 철자 단어 및 수화 분류기를 포함한 다양한 가능성을 제시한다.
출처: Apple
요약번역: 미주투데이 서현진 기자