깨끗한 자료의 예측
원 연구는 깨끗한 자료와 잡음이 섞인 양을 예측하는 일을 구분한다. 자연 자료가 저차원 다양체에 놓인다는 가정에 따라 깨끗한 자료를 직접 예측하는 방식을 제안한다.
단순한 픽셀 트랜스포머
토크나이저나 사전 학습 및 추가 손실 없이 큰 픽셀 패치를 처리하는 트랜스포머를 구성한다. 잠재 공간 대신 높은 차원의 원자료에서 생성 모형을 학습하는 접근이다.
큰 패치에서의 평가
ImageNet 256 및 512 해상도에서 패치 크기 16과 32를 사용해 평가했다. 높은 차원의 잡음 양을 예측하는 설정과 비교해 예측 대상의 선택이 주는 효과를 조사했다.
관련 문서
PixelREPA / DiT 확산 트랜스포머 / REPA 표현 정렬 / SiT 생성 모형 / 확산 모델 / 비전 트랜스포머