Perplexity사가 pplx-embed이라는 대규모 검색 작업에 최적화된 다국어 임베딩 모델을 출시했다. 이 모델은 웹 규모 데이터의 복잡성과 잡음을 처리하는 데 특화되어 있어서 전용 임베딩 API에 대한 대안으로 제작되었다. 이 모델은 양방향 어텐션과 확산과 같은 구조적 혁신을 통해 눈에 띈다. 대부분의 대규모 언어 모델(Large Language Models, LLMs)은 인과적인, 디코더 전용 아키텍처를 사용한다. 그러나 임베딩 작업에 있어서는 양방향 어텐션과 확산이 필요하다. 이러한 혁신적인 설계를 통해 Perplexity의 pplx-embed은 웹 규모 검색 작업에 적합한 모델로 주목받고 있다.

<Mark Tech Post 뉴스 본문 전체읽기>