모델이 텍스트를 처리하기 전에 입력 데이터를 토큰 ID로 변환합니다. 이 과정에서 발생하는 사소한 형식 차이, 예를 들어 공백, 줄 바꿈, 구두점 등이 모델의 성능에 큰 영향을 미칠 수 있습니다. 이러한 현상을 ‘토큰화 드리프트’라고 하며, 이는 데이터나 파이프라인, 로직에 변화가 없더라도 발생할 수 있습니다. 따라서 모델의 일관된 성능을 유지하기 위해서는 입력 데이터의 토큰화 방식을 주의 깊게 관리해야 합니다. 토큰화 드리프트를 해결하기 위해서는 입력 데이터의 형식을 표준화하고, 모델이 기대하는 방식으로 데이터를 처리하는 것이 중요합니다.

<Mark Tech Post 뉴스 본문 전체읽기>