온도 스케일링

점수 순서를 유지하는 변환

모든 로짓을 같은 양수 T로 나누면 값의 대소관계가 바뀌지 않는다. T>1은 확률을 더 고르게 만들고 0<T<1은 높은 로짓에 확률을 더 집중시킨다. T=1이면 원래 출력이다. 여기서 온도는 물체의 실제 온도를 측정한 값이 아니라 확률 변환을 조절하는 매개변수다.

두 클래스의 직접 계산

두 클래스의 로짓이 2와 0이면 첫 클래스의 확률은 T=1에서 e²/(e²+1)≈0.881이다. T=2이면 e/(e+1)≈0.731이 되고 T=0.5이면 e⁴/(e⁴+1)≈0.982가 된다. 세 경우 모두 첫 클래스가 선택된다. 확률을 낮춘다고 그 예측이 자동으로 정확해지는 것은 아니다.

별도 자료에서 온도를 정하기

기본 모형의 매개변수는 고정하고 보정용 자료의 정답에 대한 음의 로그우도를 줄이는 T를 구한다. 이후 학습에 쓰지 않은 평가 자료에서 확률 보정과 성능을 확인한다. 평가 자료에서 온도를 골라 같은 자료의 결과만 보고하면 보정 성능을 낙관적으로 볼 수 있다.

정확도와 확률의 역할

최댓값 클래스를 선택하고 동률 처리도 같다면 분류 결과와 정확도는 변하지 않는다. 하지만 확률 문턱으로 보류 여부를 정하는 시스템에서는 행동이 달라질 수 있다. 단일 온도로 모든 클래스나 집단의 보정 문제를 해결한다고 보장되지는 않으며, 분포가 바뀐 뒤에도 이전 보정이 유효한지는 별도로 확인한다.