적응 손실을 고르는 문제
예측 엔트로피 같은 무정답 목적이 왜 적응에 유용한지 명확히 설명하기 어려울 수 있다. 연구는 메타 학습으로 적응 손실을 찾았을 때 원래 학습 손실에 따라 결과가 달라지는 현상을 분석했다.
학습 손실과의 관계
교차 엔트로피로 학습한 분류기에서는 온도를 조절한 소프트맥스 엔트로피와 비슷한 목적이 나타났다. 제곱 손실로 학습하면 다른 적응 손실이 나오는 차이를 확인했다.
볼록 켤레의 국소 근사
적절한 조건에서 무정답 켤레 함수가 원래 지도 손실의 좋은 국소 근사로 해석될 수 있음을 보였다. 이를 통해 일정한 부류의 지도 손실에서 적응 목적을 얻는 일반적인 절차를 제시했다.
부드러운 의사 레이블 해석
같은 방법은 특정한 부드러운 레이블을 사용하는 자기 학습으로도 해석된다. 연구는 이를 켤레 의사 레이블이라 부르며 PolyLoss를 포함한 여러 학습 손실과 벤치마크에서 평가했다.
관련 문서
Tent 시험 시점 적응 / MME 반지도 도메인 적응 / MEMO 시험 시점 적응 / EATA 시험 시점 적응 / 대칭 교차 엔트로피 / SHOT