OpenAI는 Hugging Face에서 openai/circuit-sparsity 모델과 GitHub에서 openai/circuit_sparsity 툴킷을 공개했습니다. 이 릴리스는 ‘Weight-sparse transformers have interpretable circuits’ 논문의 모델과 회로를 패키징했습니다. 이 모델은 Python 코드로 훈련된 GPT-2 스타일 디코더 전용 트랜스포머입니다. 희소성은 훈련 후에 추가되지 않았습니다. Weight-sparse 모델은 밀집(dense) 백본(dense baselines)과 연결하기 위해 활성화 브릿지(activation bridges)를 사용합니다. 이 모델은 특히 Python 코드에 대해 훈련되었습니다. OpenAI는 이러한 모델과 회로를 공개함으로써 AI 인프라 및 기타 관련 분야에서 연구 및 응용의 가능성을 더욱 넓히고자 합니다.

<Mark Tech Post 뉴스 본문 전체읽기>