시퀀셜 LLM의 병목 현상은 왜 발생할까? LLM의 시험 시간 계산 확장은 기존에는 단일 추론 경로를 확장하는 데 의존해왔다. 이러한 방식은 일정 범위 내에서는 추론을 개선하지만, 성능은 빠르게 수렴한다. 32K(최대 128K) 이상의 토큰 예산 증가는 무의미한 정확도 향상만을 가져온다. 병목 현상은 초기 토큰에서 발생한다. 이러한 문제를 극복하기 위해, ParaThinker라는 접근 방식을 제안한다. 이 방법은 병렬 사고를 사용하여 시퀀셜 추론에 대한 테스트 시간 계산을 확장한다. 이를 통해 터널 비전을 극복하고 LLM의 성능을 향상시킬 수 있다.

<Mark Tech Post 뉴스 본문 전체읽기>