위키득계정 ↗
기술

CAL 대조 능동 학습

CAL 대조 능동 학습기술
공개
2021년
학회
EMNLP 2021
영문 이름
Contrastive Active Learning
평가 범위
자연어 이해 네 과제와 일곱 자료 집합
CAL 대조 능동 학습은 모델 특징 공간에서는 가깝지만 예측 가능도가 크게 다른 예시를 고르는 획득 함수다. 어려운 자료와 다양한 자료를 함께 반영하는 선택을 목표로 한다.

대조적인 예시

불확실성 표본 선택은 어려운 예시에, 다양성 표본 선택은 서로 다른 예시에 초점을 맞춘다. 이 연구는 특징의 유사성과 예측의 차이를 함께 보는 대조 예시를 정의했다.

표현과 예측의 차이

모델의 특징 공간에서 유사한 자료인데도 예측 가능도가 최대한 다르게 나오는 지점을 선택한다. 표현이 가깝다는 이유만으로 같은 예측을 한다고 보는 대신 그 불일치를 활용한다.

자연어 이해의 평가

네 자연어 이해 과제와 일곱 자료 집합에서 여러 획득 함수와 비교했다. 도메인 안과 밖의 자료를 나눠 평가하고 선택한 자료의 특성 및 설계 요소를 분석했다.

관련 문서

BADGE 능동 학습 / ALFA-Mix / 손실 예측 능동 학습 / EPIG 능동 학습 / 강화 학습 기반 능동 선택 정책 / OpenAL 평가 프레임워크