관측과 맥락 표현
인코더는 관측 xₜ를 잠재 벡터 zₜ로 바꾼다. 자기회귀 모형은 현재까지의 잠재 벡터를 요약해 맥락 cₜ를 만든다. 미래 시점의 실제 표현과 이 맥락이 잘 맞는지 점수로 평가하므로 학습 목표는 잠재 공간의 예측에 놓인다.
여러 후보에서 찾기
한 실제 미래 표본과 여러 음성 표본에 양의 점수를 부여하고 실제 표본 점수를 전체 점수 합으로 나눈다. 점수가 실제 4, 음성 1과 1이면 선택 확률은 2/3이고 음의 로그 손실은 ln(3/2)다. 실제 표본 점수를 1로 낮추면 확률은 1/3, 손실은 ln3으로 커진다.
음성 표본과 정보량
대표적인 InfoNCE 구성은 음성 표본을 주변분포에서 뽑아 맥락에 맞는 표본과 비교한다. 필요한 표본 조건 아래 lnN−손실은 상호정보량의 하한과 연결된다. N은 실제 표본까지 포함한 전체 후보 수이며 유한 후보의 손실값을 정확한 정보량 자체로 해석하지 않는다.
배운 표현의 활용
개별 관측의 특징이 필요하면 zₜ를, 과거 맥락이 중요하면 cₜ를 후속 과제에 사용할 수 있다. 예측 간격과 음성 표본 선택이 달라지면 강조되는 특징도 바뀐다. 미래 정보가 맥락 입력에 미리 들어가는 누출을 막고 학습에 쓰지 않은 자료로 표현을 평가한다.
관련 문서
MINE 상호정보량 추정 / 상호정보량 / 신경망 / 자기회귀 모형 / 잠재 공간 / 교차 엔트로피