Salesforce AI 연구팀은 애플리케이션이 많은 서로 다른 가격과 기능을 가진 LLM(모델)을 호출할 때, 어떤 서버가 각 요청에 응답해야 하는지 결정해야 할까? 이런 공백을 타겟팅하는 도구인 ‘xRouter’를 소개했다. 이 도구는 강화 학습 기반 라우터를 통해 언제 로컬에서 응답하고 언제 외부 모델을 호출해야 하는지 학습한다. 이를 통해 비용 효율적인 LLM Orchestration을 가능하게 한다.

<Mark Tech Post 뉴스 본문 전체읽기>