대형 언어 모델(LLM)과 같은 복잡한 기계 학습 시스템의 행동을 이해하는 것은 현대 인공지능에서 중요한 과제입니다. 해석 가능성 연구는 모델 제작자와 영향을 받는 사람들에게 의사 결정 과정을 더 투명하게 만들기 위한 노력을 포함합니다. 이러한 시스템을 이해하기 위해서는 다양한 관점에서 분석할 수 있습니다. 예를 들어, 특정 입력 특징이 예측을 이끄는 방식인 ‘특징 귀속’, 모델 행동을 영향력 있는 훈련 예제와 연결하는 ‘데이터 귀속’, 내부 구성 요소의 기능을 분석하는 ‘기계적 해석 가능성’ 등이 있습니다. 그러나 이러한 관점에서 공통적으로 직면하는 문제는 ‘규모의 복잡성’입니다. 모델의 행동은 고립된 구성 요소의 결과가 아니라 복잡한 의존성과 패턴에서 나타납니다. 따라서 현실에 기반한 해석 가능성 방법은 이러한 영향력 있는 상호작용을 포착할 수 있어야 합니다. 이 블로그 포스트에서는 SPEX와 ProxySPEX라는 알고리즘을 통해 이러한 중요한 상호작용을 대규모로 식별하는 방법을 설명합니다. SPEX는 신호 처리 및 코딩 이론을 활용하여 상호작용 발견을 이전 방법보다 훨씬 더 큰 규모로 발전시킵니다. ProxySPEX는 복잡한 기계 학습 모델에서 공통적으로 나타나는 구조적 속성을 활용하여 계산 비용을 크게 줄입니다. 이러한 프레임워크는 특징, 데이터 및 모델 구성 요소 귀속의 새로운 응용 프로그램을 가능하게 합니다.

<The Berkeley Artificial Intelligence Research 뉴스 본문 전체읽기>