위키득계정 ↗
기술

Diffusion-TTA

Diffusion-TTA기술
발표
NeurIPS 2023
지도 정보
확산 모델의 생성 피드백
갱신 대상
판별 모델의 매개변수
대상 과제
분류와 분할 및 깊이 예측
Diffusion-TTA는 확산 모델의 생성 피드백으로 판별 모델을 시험 시점에 적응시키는 방법이다. 판별 출력으로 확산 조건을 조절하고 이미지 우도를 높이는 기울기를 판별 모델에 전달한다.

정답 없는 입력의 적응

각 시험 예시에 대해 확산 모델이 제공하는 생성 피드백을 사용한다. 적응 대상에는 사전 학습한 이미지 분류기와 분할기 및 깊이 예측기가 포함된다.

판별 출력으로 생성 조건 조절

판별 모델이 내놓은 결과를 확산 모델의 조건으로 연결한다. 판별 결과가 생성 과정에 영향을 주고 그 과정에서 얻은 신호가 다시 판별 모델의 갱신에 쓰인다.

이미지 우도의 역전파

이미지 우도 목적을 최대화하도록 기울기를 판별 모델의 매개변수까지 역전파한다. 생성 모델을 단순 자료 생성기로만 사용하는 방식과 다른 연결이다.

여러 사전 학습 모델의 평가

연구는 ImageNet 분류기와 CLIP 및 픽셀 레이블링과 깊이 예측 모델을 평가했다. 시험 예시가 들어올 때마다 판별 모델을 계속 적응시키는 온라인 조건도 살폈다.

관련 문서

DUSA / DDA 확산 기반 적응 / SDA 합성 영역 정렬 / 마스크 오토인코더 시험 시점 학습 / Tent 시험 시점 적응 / MEMO 시험 시점 적응