위키득계정 ↗
기술

Diffusion Classifier

Diffusion Classifier기술
연구 공개
2023년
발표
ICCV 2023
원제
Your Diffusion Model is Secretly a Zero-Shot Classifier
판정 정보
확산 모형의 조건부 밀도
Diffusion Classifier는 텍스트 기반 이미지 확산 모형의 조건부 밀도 추정을 이미지 분류에 사용하는 방법이다. 이미지를 생성하는 용도에서 나아가 추가 훈련 없이 제로샷 분류에 활용한다.

생성 모형으로 분류하기

텍스트 기반 확산 모형은 표본 생성뿐 아니라 조건부 밀도를 추정하는 데에도 쓸 수 있다. 이 정보를 활용해 후보 조건 가운데 입력 이미지에 맞는 부류를 판단한다.

추가 훈련 없는 인식

Stable Diffusion 같은 사전 학습 모형을 추가 학습 없이 제로샷 인식에 사용한다. 원 연구는 판별 특징을 쓰는 방법과 비교하며 여러 개념을 결합해 추론하는 능력도 평가했다.

부류 조건 모형의 활용

ImageNet의 부류 조건부 확산 모형에서 일반적인 분류기를 추출하는 설정도 조사했다. 분포 변화에 대한 특성과 분류 성능을 살펴 생성 모형이 담은 인식 정보를 분석했다.

관련 문서

RDC 강건 확산 분류기 / 잠재 확산 모형 / CLIP / DIFT / ODISE / DDPM