정렬 목표의 정보 차이
픽셀 공간의 잡음 제거는 높은 차원 자료를 복원하지만 사전 학습 의미 인코더의 목표는 강하게 압축돼 있다. 연구는 직접 회귀가 지름길 목적이 되어 다양성과 FID에 악영향을 줄 수 있다고 분석했다.
마스크 어댑터의 구성
정렬 목표를 변환하고 얕은 트랜스포머 어댑터에 부분 토큰 마스킹을 결합한다. 픽셀 생성에 필요한 정보와 의미 표현 정렬을 함께 다루도록 학습을 제약한다.
생성 품질과 수렴
ImageNet 256 해상도에서 JiT의 학습 수렴과 최종 생성 품질을 평가했다. 잠재 공간 모형에 효과가 있던 정렬을 픽셀 공간에 적용할 때 목표의 정보량까지 고려하는 연구다.
관련 문서
JiT 이미지 트랜스포머 / REPA 표현 정렬 / DiT 확산 트랜스포머 / SiT 생성 모형 / DINOv2 / 표현 학습