2025년 8월 1일, 기술 혁신 연구소(TII)에서 개발한 Falcon-H1 시리즈는 대형 언어 모델 (LLM)의 발전에서 중요한 진전을 이루었다. Transformer 기반 어텐션과 Mamba 기반 상태 공간 모델 (SSM)을 하이브리드 병렬 구성으로 통합한 Falcon-H1은 우수한 성능, 메모리 효율성 및 확장성을 달성했다. 이 모델은 여러 크기(0.5B에서 34B 파라미터)로 출시되었으며, 70B LLM과 견줄만한 성능을 자랑한다. Falcon-H1은 언어 모델의 발전에 새로운 지평을 열었고, AI 분야에서 더 나은 응용 가능성을 제시하고 있다.

<Mark Tech Post 뉴스 본문 전체읽기>