위키득계정 ↗
기술

등위 회귀

등위 회귀기술
영문명
Isotonic regression
다른 이름
등장 회귀
핵심 제약
예측값의 단조성
대표 기준
가중 제곱 오차 최소화
등위 회귀는 입력의 순서에 따라 예측값이 감소하지 않거나 증가하지 않도록 제약을 두는 회귀 방법이다. 직선 형태를 정하는 대신 순서 관계를 유지하면서 관측값과의 차이를 줄인다.

순서 제약의 의미

x1이 x2보다 작거나 같을 때 예측도 f(x1)이 f(x2)보다 작거나 같게 만드는 비감소 제약을 생각할 수 있다. 같은 예측값이 이어지는 구간도 허용된다. 모든 지점에서 반드시 엄격하게 커져야 한다는 뜻은 아니다. 감소 방향의 제약도 설정할 수 있다.

네 관측값의 조정

입력이 1,2,3,4이고 관측값이 3,1,5,4라고 하자. 동일 가중치의 제곱 오차 기준에서 비감소하도록 맞춘 적합값은 2,2,4.5,4.5다. 순서를 어긴 앞 두 값과 뒤 두 값이 각각 평균으로 묶인다. 오차 제곱 합은 1+1+0.25+0.25=2.5다. 관측값을 단순히 정렬해 1,3,4,5로 바꾸는 연산과는 다르다.

새 입력의 예측

관측 위치에서 정한 적합값 사이를 어떤 방식으로 연결할지에 따라 새 입력의 예측이 달라질 수 있다. 선형 보간을 쓰면 예제의 2와 3 사이 입력 2.5에서 예측은 3.25다. 학습 범위 밖에서는 끝값 유지나 오류 등 처리 규칙을 확인해야 한다. 단조 제약이 범위 밖의 추세를 알려 주지는 않는다.

가정과 활용

확률 보정처럼 점수가 높을수록 결과 확률이 낮아지지 않는 관계를 추정하는 데 사용할 수 있다. 그러나 실제 관계가 단조적이지 않으면 제약이 잘못된 구조를 강요할 수 있다. 제약 방향과 가중치, 보간 방식을 정하고 별도 자료에서 검증한다. 보정에 쓴 정답 자료를 최종 평가에 그대로 재사용하지 않도록 한다.

관련 문서

확률 보정 곡선 / 평균 제곱 오차 / 선형 회귀 / 중앙값 / 교차 검증 / 기계 학습