생성 모형에 나타나는 대응
이미지 확산 모형을 대응점 주석으로 명시적으로 가르치지 않아도 대응 정보가 나타나는지 조사한다. 이를 특징으로 추출해 실제 이미지 사이 관계를 찾는다.
추가 조정 없는 특징 활용
과제별 자료나 주석으로 미세 조정하지 않고 확산 특징을 이용한다. 의미적으로 비슷한 부분과 기하학적으로 이어지는 부분 및 시간에 따라 같은 대상을 찾는 대응을 평가했다.
의미 대응의 비교
Stable Diffusion에서 추출한 특징을 SPair-71k 의미 대응 과제에서 비교했다. 원 연구는 기존 특징과 지도 방법을 함께 평가했으며, 생성 학습과 대응 과제의 감독 신호를 구분했다.
관련 문서
Diffusion Hyperfeatures / DifFormer 시각 특징 융합 / 잠재 확산 모형 / DDPM / DINO / 표현 학습