모든 예시가 유용하지는 않다
시험 예시마다 역전파하면 계산 비용이 커질 수 있다. 엔트로피가 높은 예시는 잡음이 많은 기울기를 만들어 모델을 방해할 수 있어 적응에 사용할 자료를 선택하는 문제를 다뤘다.
선택한 예시의 엔트로피
신뢰할 수 있으며 중복되지 않는 자료를 능동적으로 선택한다. 모델은 선택된 시험 예시의 엔트로피 손실을 최소화하며, 모든 입력에 똑같이 적응하는 방식과 차이가 있다.
중요한 가중치의 보호
피셔 정규화로 중요한 모델 매개변수가 급격하게 바뀌지 않도록 제약한다. 중요도는 생성한 의사 레이블을 가진 시험 자료에서 추정해 기존 지식의 망각을 줄이려 했다.
효율과 성능의 평가
논문은 CIFAR-10-C와 ImageNet-C 및 ImageNet-R에서 효과를 살폈다. 다른 분포에 적응한 뒤 원래 분포의 성능이 떨어지는 문제와 계산 효율을 함께 평가했다.
관련 문서
CoTTA / Tent 시험 시점 적응 / 시험 시점 자기지도 학습 / WILDS / ImageNet 오염과 교란 평가 / 기계 학습