다양한 입력 조건의 불안정성
시험 입력에 여러 분포가 섞이거나 배치가 작고 클래스 비율이 불균형하면 적응이 오히려 성능을 낮출 수 있다. 연구는 배치 정규화가 이런 안정성에 중요한 영향을 준다고 분석했다.
정규화만 바꿔도 남는 문제
그룹 정규화나 레이어 정규화처럼 배치에 덜 의존하는 방식은 더 안정적일 수 있다. 그러나 큰 기울기를 만드는 잡음 예시 때문에 모든 입력을 한 클래스로 분류하는 붕괴가 여전히 나타날 수 있었다.
신뢰할 예시의 선택
일부 잡음 예시를 제거해 큰 기울기가 적응을 방해하는 영향을 줄인다. 단순히 모든 입력의 엔트로피를 낮추는 것보다 학습 신호의 신뢰도를 함께 고려한다.
평탄한 영역의 최적화
가중치가 평탄한 최소점으로 향하게 해 남아 있는 잡음에도 견디도록 한다. 논문은 동적인 시험 조건에서 기존 방법과 안정성 및 계산 효율을 비교했다.
관련 문서
RoTTA / EATA 시험 시점 적응 / CoTTA / Tent 시험 시점 적응 / 시험 시점 자기지도 학습 / 기계 학습