표준 이산 확산 모델은 모든 관찰되지 않은 상태를 흡수하는 [MASK] 토큰으로 매핑하여 처리한다. 이는 노이즈 제거 단계 사이에서 마스킹되지 않은 토큰에서 추론될 수 있는 의미 정보가 손실되는 ‘정보 공백’을 만든다. 우리는 연속적으로 증가하는 이산 확산(CADD)을 소개하는데, 이는 연속적인 잠재 공간에서 이산 상태 공간을 보완한다. 이를 통해 마스킹된 토큰은 붕괴된 ‘정보 공백’ 대신에 잡음이 많지만 정보를 제공하는 잠재 벡터로 표현되는 점진적으로 손상된 상태를 얻게 된다.

<Apple 뉴스 본문 전체읽기>