LLM(Long Language Model)의 출력을 조정하는 것은 주로 디코딩 문제입니다. 모델의 다음 토큰 분포를 형성하기 위해 몇 가지 샘플링 컨트롤을 사용합니다. 이러한 샘플링 컨트롤에는 맥스 토큰(모델의 컨텍스트 한도 내에서 응답 길이 제한), 온도(랜덤성 증가/감소를 위한 로짓 스케일링), 상위 p/핵 및 상위 k(확률 질량 또는 순위로 후보 집합을 자르기), 빈도 및 존재 패널티(반복을 억제하거나 장려)가 포함됩니다. 상세한 내용은 링크를 참고해 주세요.

<Mark Tech Post 뉴스 본문 전체읽기>