Transformers는 주의와 전문가 혼합을 사용하여 연산을 확장하지만, 여전히 지식 조회를 수행할 수 있는 기본 방법이 부족합니다. 그들은 동일한 지역적 패턴을 반복적으로 다시 계산하여 깊이와 FLOP를 낭비합니다. DeepSeek의 새로운 Engram 모듈은 MoE를 대체하는 것이 아닌 함께 작동하는 조건부 메모리 축을 추가함으로써 이 간극을 정확히 겨냥합니다. 이 모듈은 희소한 Large Language Models (LLMs)에서 작동하며, 모델이 더 효율적으로 작동하도록 지원합니다.

<Mark Tech Post 뉴스 본문 전체읽기>