MedAIBase가 새로운 오픈소스 의료 언어 모델인 AntAngelMed를 공개했다. 이 모델은 1030억 개의 매개변수를 가지고 있으며, 1/32 활성화 비율의 Mixture-of-Experts(MoE) 아키텍처를 활용하여 추론 시 61억 개의 매개변수만 활성화된다. 이러한 구조 덕분에 AntAngelMed는 약 400억 개의 밀집 모델과 유사한 성능을 발휘하면서도 H20 하드웨어에서 초당 200개 이상의 토큰을 처리할 수 있다. 이 모델은 Ling-flash-2.0을 기반으로 하여 지속적인 사전 훈련, 감독된 미세 조정, GRPO 기반 강화 학습의 세 단계로 훈련되었다. AntAngelMed는 OpenAI의 HealthBench에서 오픈소스 모델 중 1위를 차지하며, MedAIBench와 MedBench 리더보드에서도 최상위를 기록하고 있다.

<Mark Tech Post 뉴스 본문 전체읽기>