위키득계정 ↗
기술

MEMO 시험 시점 적응

MEMO 시험 시점 적응기술
연구 공개
2021년
발표 학회
NeurIPS 2022
입력 조건
시험 예시 하나로 적용 가능
최적화 대상
증강 평균 출력의 엔트로피
MEMO는 한 시험 입력에 여러 자료 증강을 적용하고 평균 예측 분포의 엔트로피를 낮추는 적응 방법이다. 증강 사이의 일관성과 예측의 확신을 함께 유도한다.

시험 입력으로 견고함 개선

예상하지 못한 입력 교란이나 영역 변화에 대응하기 위해 시험 입력 자체로 모델을 적응시킨다. 학습 과정을 특정 방식으로 바꿔 두었다는 조건 없이 적용 범위를 넓히려는 접근이다.

여러 증강의 평균 예측

하나의 시험 예시에 서로 다른 자료 증강을 수행한다. 각각의 모델 출력 분포를 평균한 주변 분포를 만들고 그 분포의 엔트로피를 최소화한다.

일관성과 확신의 결합

이 목적은 증강을 달리해도 같은 예측을 하도록 유도하면서 예측의 확신도 유지하려 한다. 확률적이며 적응 가능한 모델에서 모든 매개변수를 갱신하는 구성을 제시했다.

다양한 모델의 평가

연구는 일반 ResNet과 견고하게 학습한 ResNet 및 비전 트랜스포머를 평가했다. ImageNet의 오염과 표현 변화 및 자연 적대 예시 같은 분포 변화 조건을 살폈다.

관련 문서

마스크 오토인코더 시험 시점 학습 / Tent 시험 시점 적응 / CoTTA / EATA 시험 시점 적응 / SAR 시험 시점 적응 / ImageNet 자연 적대 예시