조건부 베이지안 하이퍼파라미터 최적화 파이프라인 구축하기

이 튜토리얼에서는 Hyperopt와 TPE 알고리즘을 사용하여 조건부 베이지안 하이퍼파라미터 최적화 워크플로우를 구현합니다. 다양한 모델 패밀리 간의 동적 전환을 보여주는 검색 공간을 구성합니다.

‘kvcached’ 만나보기: 공유 GPU에서 LLM 서빙을 위한 가상화된 탄력있는 KV 캐시를 가능하게 하는 머신러닝 라이브러리

‘kvcached’는 공유 GPU에서 LLM 서빙을 위해 가상화된 탄력있는 KV 캐시를 가능하게 하는 머신러닝 라이브러리입니다. 기존에는 모델당 큰 정적 KV 캐시 영역을 미리 예약하여 GPU 메모리를 낭비했지만, kvcached를 사용하면 이를 최적화할 수 있습니다.