위키득계정 ↗
기술

TTN 시험 시점 정규화

TTN 시험 시점 정규화기술
발표
ICLR 2023
영문 이름
Test-time Normalization
결합 통계
원천 이동 통계와 시험 배치 통계
조절 기준
정규화 계층의 영역 변화 민감도
TTN은 원천 통계와 현재 시험 배치 통계를 계층별 영역 변화 민감도에 따라 보간하는 정규화 방법이다. 시험 배치 크기와 자료 흐름 조건에 따른 불안정성을 다룬다.

두 정규화 방식

기존 배치 정규화는 원천 자료에서 얻은 이동 평균과 분산을 사용한다. 전이적 배치 정규화는 현재 시험 배치에서 평균과 분산을 다시 계산한다.

시험 배치의 제약

시험 통계는 영역 변화에 대응하지만 배치가 작거나 예시가 독립적이지 않으면 추정이 불안정해질 수 있다. 연구는 원천 통계와 시험 통계 사이의 상충 관계를 분석했다.

민감도에 따른 보간

TTN은 각 배치 정규화 계층이 영역 변화에 민감한 정도에 따라 두 통계의 중요도를 조절한다. 둘 중 하나만 고르는 대신 통계를 보간하는 구성이다.

기존 적응 방법과의 결합

여러 배치 크기와 현실적인 평가 시나리오에서 견고함을 평가했다. 역전파로 모델 매개변수를 갱신하는 다른 시험 시점 적응 방법에도 결합할 수 있다.

관련 문서

Tent 시험 시점 적응 / DELTA 시험 시점 적응 / NOTE 시험 시점 적응 / SAR 시험 시점 적응 / RoTTA / TeSLA