위키득계정 ↗
기술

LAME 시험 시점 적응

LAME 시험 시점 적응기술
발표
CVPR 2022
영문 이름
Laplacian Adjusted Maximum-likelihood Estimation
변경 대상
모델의 출력
최적화
오목 볼록 절차
LAME는 모델의 매개변수 대신 출력 분포를 조정하는 온라인 시험 시점 적응 방법이다. 학습 자료와 목표 정답에 접근하지 않는 조건에서 라플라시안 보정 목적을 최적화한다.

시험 조건의 불확실성

실제 시험 환경은 기존 평가 조건과 다를 수 있다. 연구는 여러 사전 학습 모델과 현실적인 시나리오로 평가 범위를 넓혀 적응 방법의 하이퍼파라미터 민감도를 조사했다.

가중치를 유지하는 적응

신경망 매개변수를 갱신하는 대신 출력 분포를 적응시킨다. 원래 학습 자료를 볼 수 없고 시험 자료의 정답도 없는 온라인 조건을 다룬다.

원래 예측과 이웃 관계

목적 함수는 원천 모델의 예측에서 지나치게 멀어지는 것을 억제하면서 특징 공간에서 친화도가 높은 예시의 예측을 비슷하게 만든다. 시험 배치의 관계를 활용하는 라플라시안 보정이다.

효율적인 목적 최적화

오목 볼록 절차로 목적을 반복 최적화한다. 연구는 다양한 시나리오의 정확도뿐 아니라 실행 속도와 메모리 사용도 기존 적응 방법과 비교했다.

관련 문서

MEMO 시험 시점 적응 / Tent 시험 시점 적응 / SAR 시험 시점 적응 / RoTTA / EATA 시험 시점 적응 / 이웃 상호성 기반 원천 없는 적응