Perplexity AI가 새로운 유니그램 토크나이저를 오픈 소스로 공개했습니다. 이 토크나이저는 Hugging Face의 기존 토크나이저보다 p50 지연 시간을 5배 낮추는 성능을 자랑합니다. 또한, 이 기술은 생산 환경에서 CPU 사용량을 5-6배 줄이는 데 기여합니다. Perplexity AI는 이러한 개선을 통해 AI 인프라의 효율성을 높이고, 개발자들이 보다 원활하게 작업할 수 있도록 지원하고자 합니다. 자세한 내용은 MarkTechPost에서 확인할 수 있습니다.

<Mark Tech Post 뉴스 본문 전체읽기>