위키득계정 ↗
기술

시험 시점 자기지도 학습

시험 시점 자기지도 학습기술
연구 공개
2019년
발표 학회
ICML 2020
영문 약칭
TTT
보조 과제
초기 연구의 회전 예측
시험 시점 자기지도 학습은 레이블 없는 시험 예시에서 보조 학습 문제를 만들고 예측 전에 모델을 갱신하는 방법이다. 학습과 시험의 분포가 달라지는 조건의 일반화를 목표로 제시됐다.

예측 전에 학습하기

시험 예시를 고정된 모델에 넣기만 하는 대신 그 입력 자체를 자기지도 학습 문제로 사용한다. 정답 레이블 없이도 보조 과제를 수행하며 모델 매개변수를 조정한 뒤 예측한다.

공유 표현과 두 과제

초기 모델은 주된 분류와 보조 과제가 일부 특징 추출기를 공유한다. 원래 학습 단계에서 두 과제를 함께 학습하고 시험에서는 보조 과제 손실로 공유 표현을 갱신한다.

회전 각도의 예측

원 연구는 이미지를 네 가지 각도로 회전시킨 뒤 어느 각도인지 맞히는 과제를 사용했다. 보조 과제가 의미 있고 단순한 단서로만 풀리지 않아야 적응에 도움이 되는 조건도 분석했다.

온라인 자료의 처리

단일 시험 예시의 갱신뿐 아니라 순서대로 도착하는 자료 흐름으로도 확장했다. 여러 이미지 분류와 분포 변화 조건에서 시험 중 적응의 효과를 평가했다.

관련 문서

Tent 시험 시점 적응 / WILDS / DomainBed / ImageNet 오염과 교란 평가 / 지름길 학습 / 기계 학습