이전 연구에서는 LLMs의 내부 작업을 조사하면서 특정 작업을 수행하는 희소한 하위 네트워크 또는 회로가 발견되었습니다. 또한, 파인튜닝을 통해 모델 성능이 향상되는 경우, 모델 내의 기존 회로가 강화되는 것으로 나타났습니다. 이러한 연구 결과들을 종합해 보면, 이러한 회로에 직접 개입하여 정확하고 작업에 특화된 업데이트를 수행할 수 있다는 가능성이 제시됩니다. 이러한 연구 결과를 바탕으로, Constructive Circuit Amplification이라는 새로운 방법이 제안되었습니다. 이 방법은 중요한 토큰을 식별하고 해당 토큰이 속한 회로를 강화하는 방식으로 작동합니다. 이를 통해 모델의 수학 추론 능력을 향상시킬 수 있다는 것이 연구팀의 주장입니다.

<Apple 뉴스 본문 전체읽기>