투표 분류

표와 확률은 다른 정보다

양성 확률을 각각 0.51,0.51,0.01로 출력하는 세 이진 분류기를 생각하자. 각 분류기가 0.5보다 크면 양성을 고른다고 할 때 하드 투표는 양성 두 표로 양성을 선택한다. 같은 가중치로 확률을 평균하면 약 0.343이므로 소프트 투표는 음성을 선택한다. 두 방식은 같은 분류기들을 사용하더라도 서로 다른 결과를 낼 수 있다.

가중치를 주는 경우

세 분류기가 A,A,B를 예측하면 동일 가중치의 하드 투표에서는 A가 선택된다. 가중치를 차례로 1,1,3으로 두면 A의 표 무게는 2, B는 3이어서 B가 선택된다. 가중치는 성능 검증을 통해 정할 수 있지만, 평가 자료에 맞춰 계속 수정한 뒤 그 자료로 최종 성능을 보고하면 낙관적인 평가가 될 수 있다.

소프트 투표의 전제

확률을 평균하려면 모든 분류기의 출력이 같은 클래스 순서를 뜻해야 한다. 확률의 보정 상태도 중요하다. 지나치게 확신하는 한 모형이 다른 모형들의 판단을 압도할 수 있기 때문이다. 평균한 값이 0과 1 사이에 있고 합이 1이라는 조건만으로 실제 발생 빈도와 잘 맞는 확률이라고 보장되지는 않는다.

다양성과 검증

분류기 수를 늘리는 것만으로 성능 향상이 보장되지는 않는다. 같은 표본에서 같은 오류를 반복하는 모형들은 서로 보완하는 효과가 작을 수 있다. 단일 모형과 투표 결과를 같은 평가 조건에서 비교하고, 클래스별 오류와 추론 비용을 함께 살핀다. 동점이 날 때의 처리 규칙도 정해 두어야 하며 특정 클래스 번호가 본질적으로 더 우선이라는 뜻으로 해석해서는 안 된다.