라이트시크 재단이 최근 에이전틱 작업을 위한 오픈소스 LLM 추론 엔진인 ‘토큰스피드’를 발표했다. AI 배포에서 추론 효율성은 중요한 병목 현상으로 자리잡고 있으며, Claude Code, Codex, Cursor와 같은 에이전틱 코딩 시스템이 개발 도구에서 소프트웨어 개발을 지원하는 인프라로 확장됨에 따라 이러한 요청을 처리하는 기본 추론 엔진에 대한 부담이 증가하고 있다. ‘토큰스피드’는 이러한 요구를 충족하기 위해 설계되었으며, TensorRT-LLM 수준의 성능을 목표로 하고 있다. 이 엔진은 오픈소스로 제공되어 개발자들이 자유롭게 활용할 수 있도록 하고 있다.

<Mark Tech Post 뉴스 본문 전체읽기>