위키득계정 ↗
기술

CoTTA

CoTTA기술
연구 공개
2022년
발표 학회
CVPR 2022
주요 조건
지속적으로 변하는 시험 분포
핵심 구성
평균 예측과 확률적 복원
CoTTA는 시험 환경이 계속 바뀌는 상황에서 원천 자료 없이 모델을 적응시키는 방법이다. 예측 평균화로 오류 누적을 줄이고 일부 가중치를 확률적으로 복원해 기존 지식의 망각을 완화한다.

시간에 따라 바뀌는 환경

시험 도메인이 고정돼 있다는 가정은 계속 동작하는 시각 시스템에서 맞지 않을 수 있다. 분포가 변하면 의사 레이블이 불안정해지고 잘못된 갱신이 오류를 누적시킬 수 있다.

평균화한 예측의 활용

가중치 평균 모델과 증강 평균 예측을 이용해 더 안정적인 학습 신호를 만든다. 현재 모델의 한 번의 예측만 따라가는 데서 생길 수 있는 오류 누적을 줄이려는 구성이다.

일부 가중치의 복원

각 반복에서 일부 뉴런을 원천 사전 학습 가중치로 확률적으로 되돌린다. 장기간 적응하면서도 원래 지식을 보존해 심각한 망각을 줄이는 역할을 한다.

연속 적응의 평가

모든 네트워크 매개변수의 장기 적응을 가능하게 하는 접근으로 제시됐다. 초기 논문은 네 분류 과제와 한 분할 과제에서 지속적인 시험 시점 적응을 평가했다.

관련 문서

EATA 시험 시점 적응 / Tent 시험 시점 적응 / 시험 시점 자기지도 학습 / Mean Teacher / WILDS / 기계 학습