최근 대형 언어 모델(Large Language Models, LLMs)은 자연어 처리 분야에서 큰 주목을 받고 있으며, 특히 활성화 스티어링(Activation Steering) 방법은 생성된 언어를 향상시키는 데 효과적인 방법으로 인정받고 있다. 이러한 활성화 스티어링 방법은 대량의 적응 데이터 없이도 목표로 하는 업데이트를 수행하는 데 도움이 되는데, 이를테면 특정 토픽이나 개념을 강조하거나 제거할 수 있다. 본 논문에서는 이러한 활성화 스티어링 방법이 발견한 피처들이 얼마나 해석 가능한지에 대한 의문을 제기한다. 특히, “전문가 찾기(Finding Experts)” 방법을 통해 특정 개념(예를 들어 “고양이”와 같은 단어)에 대한 책임 있는 뉴런(neurons)을 식별하고 ExpertLens를 통해 이를 검사한다. ExpertLens는 이러한 특정 개념을 자세히 살펴보고 해석 가능한 특징을 제공함으로써 모델의 내부 작동 방식을 이해하는 데 도움을 준다. 이러한 연구 결과는 대형 언어 모델이 어떻게 특정 개념을 파악하고 처리하는지에 대한 통찰을 제공할 뿐만 아니라, 모델의 해석 가능성과 신뢰성을 높이는 데 도움이 될 것으로 기대된다.

<Apple 뉴스 본문 전체읽기>