oLLM은 Huggingface Transformers와 PyTorch를 기반으로 한 가벼운 Python 라이브러리로, NVIDIA GPU에서 대규모 컨텍스트 Transformers를 빠른 지역 SSD로 가중치와 KV-캐시를 공격적으로 오프로드하여 실행합니다. 이 프로젝트는 오프라인, 단일 GPU 워크로드를 대상으로 하며 명시적으로 양자화를 피하며 FP16/BF16 가중치를 사용하여 VRAM을 8-10 사이로 유지합니다. FlashAttention-2 및 디스크 기반 KV 캐싱을 활용합니다. 자세한 내용은 원문을 참고하세요.

<Mark Tech Post 뉴스 본문 전체읽기>