제너레이티브 AI 경쟁은 오랫동안 ‘더 큰 것이 더 좋다’는 게임이었습니다. 그러나 산업이 전력 소비와 메모리 병목 현상의 한계에 부딪히면서, 대화가 원시 파라미터 수에서 아키텍처 효율성으로 이동하고 있습니다. Liquid AI 팀은 LFM2-24B-A2B를 발표하며 이러한 변화를 주도하고 있습니다. 이 모델은 240억 개의 파라미터로, 최신 LLM의 확장 병목 현상을 해결하고 있습니다. Liquid AI는 주의 메커니즘과 합성을 결합하여 이 모델을 만들었습니다. 이러한 혼합 아키텍처는 효율적인 모델 학습을 가능하게 하며, 초대규모 모델에서 발생하는 문제를 극복하는 데 도움이 됩니다.

<Mark Tech Post 뉴스 본문 전체읽기>