잠재 패치의 처리
이미지 잠재 확산 모형에서 흔히 사용하던 U-Net을 잠재 패치 위에서 작동하는 트랜스포머로 대체한다. 확산 생성에 트랜스포머 구조의 확장 성질을 적용하려는 연구다.
연산량과 생성 품질
깊이나 너비를 늘리거나 입력 토큰 수를 늘려 순전파 연산량을 바꾸었다. 원 연구는 연산량이 큰 DiT에서 FID가 낮아지는 경향을 실험적으로 조사했다.
조건부 이미지 생성
ImageNet의 클래스 조건 256 및 512 해상도에서 평가했다. 모형 구조의 확장이 생성 품질과 어떤 관계를 갖는지 비교하고 큰 DiT-XL/2 모형의 결과를 분석했다.
관련 문서
SiT 생성 모형 / REPA 표현 정렬 / 변분 확산 모형 / 비전 트랜스포머 / 확산 모델 / 생성 모델