생성과 판별에 쓰는 표현
잡음을 제거하도록 학습한 확산 U-Net의 중간 특징이 이미지의 판별 정보도 담는지 조사한다. 생성 모형과 판별 모형을 완전히 다른 학습기로만 보는 대신 표현을 함께 활용하는 방향이다.
특징 풀링과 융합
어텐션을 이용해 특징 지도를 모으고, 서로 다른 U-Net 블록과 잡음 단계의 표현을 트랜스포머로 결합한다. 같은 연구는 확산에 맞춘 피드백 구성인 DifFeed도 제안했다.
판별 과제에서의 평가
완전 지도와 반지도 이미지 분류 및 세밀한 분류로의 전이, 탐지와 분할에서 평가했다. 텍스트가 없는 확산 모형의 표현을 쓰는 접근이며, 에너지 제약 확산의 동명 그래프 인코더와는 다르다.
관련 문서
DIFFormer 그래프 인코더 / REPA 표현 정렬 / DiT 확산 트랜스포머 / DDPM / 표현 학습 / 비전 트랜스포머