생성 모형 안의 표현
확산 모형의 잡음 제거 과정에서도 의미 있는 표현이 학습되지만 자기 지도 인코더의 표현보다 품질이 낮을 수 있다. REPA는 좋은 외부 표현을 활용해 이 학습 부담을 줄이는 접근이다.
은닉 상태의 정렬
잡음 입력을 받은 잡음 제거 신경망의 은닉 상태를 투영한다. 이를 외부 사전 학습 시각 인코더가 깨끗한 이미지에서 얻은 표현과 맞추는 정규화를 더한다.
학습과 생성의 평가
DiT와 SiT 같은 확산 및 흐름 기반 트랜스포머에서 학습 효율과 생성 품질을 평가했다. 외부 시각 표현이 생성 모형의 표현 학습을 돕는 효과를 조사한 연구다.
관련 문서
DiT 확산 트랜스포머 / SiT 생성 모형 / DINOv2 / 자기 지도 학습 / 표현 학습 / 확산 모델