위키득계정 ↗
기술

RANSAC 회귀

RANSAC 회귀기술
약칭
RANSAC
영문 표현
Random sample consensus
핵심 단계
후보 추정과 합의 집합 선택
주요 설정
표본 수와 잔차 임계값
RANSAC 회귀는 표본 일부로 후보 회귀 모형을 만들고, 그 모형과 일치하는 표본 집합을 찾아 최종 모형을 추정하는 방법이다. 큰 오차를 가진 관측이 섞인 자료에서 합의 집합을 반복적으로 탐색한다.

작은 표본에서 후보 만들기

관측 다섯 개가 (0,1),(1,3),(2,5),(3,7),(4,100)이라고 하자. 처음 두 점으로 직선 y=2x+1을 정하면 앞의 네 점의 잔차는 0이고 마지막 점의 잔차는 91이다. 절대 잔차 0.5 이하를 일치한다고 정하면 네 점이 합의 집합에 들어간다. RANSAC은 이런 후보를 무작위로 여러 번 만들고 좋은 집합을 선택한 뒤 그 집합으로 다시 회귀를 수행할 수 있다.

반복 횟수의 의미

위 다섯 점에서 서로 다른 두 점을 균등하게 뽑는 경우는 10가지다. 앞의 네 점만으로 이루어진 쌍은 6가지이므로, 오염점 없이 뽑을 확률은 0.6이다. 이 추출을 서로 독립적으로 다섯 번 수행하면 적어도 한 번 깨끗한 쌍을 뽑을 확률은 1-0.4^5=0.98976이다. 이는 예제의 추출 사건에 대한 계산이며 실제 최적 모형을 찾을 확률이나 예측 정확도를 뜻하지 않는다.

임계값과 유효한 후보

잔차 임계값을 크게 잡으면 다른 구조의 점까지 합의 집합에 들어갈 수 있다. 작게 잡으면 정상적인 잡음도 제외할 수 있다. 사용하는 손실이 절대 오차인지 제곱 오차인지에 따라 임계값의 의미도 달라진다. 후보를 추정하는 데 필요한 표본 수와, 같은 입력값만 뽑혀 모형이 정해지지 않는 등의 퇴화 상황도 확인한다.

해석과 검증

합의 집합 바깥이라는 판정은 실제 자료가 틀렸다는 증명이 아니다. 여러 직선 구조가 공존하면 한 구조를 선택하고 다른 구조를 제외할 수도 있다. 난수와 반복 제한을 바꿔 안정성을 확인하고 별도 평가 자료에서 성능을 비교한다. 허버 회귀처럼 모든 표본의 영향을 완만하게 조절하는 방식과는 표본 집합을 선택하는 원리가 다르다.

관련 문서

허버 회귀 / 선형 회귀 / 잔차 / 이상치 / 확률 / 조합 / 기계 학습