범주 쌍 만들기
A,B,C,D의 네 범주라면 AB,AC,AD,BC,BD,CD의 여섯 문제를 만든다. AB 분류기는 A와 B의 표본만 사용하고 C와 D는 그 문제의 학습에서 제외한다. 범주가 10개면 쌍이 45개가 된다. 각 범주를 나머지 전체와 비교하는 일대나머지 분류와 다른 분해다.
투표의 예
세 범주 문제에서 AB가 A, AC가 A, BC가 C를 예측하면 A는 두 표, C는 한 표, B는 0표다. 단순 최다 득표 방식은 A를 고른다. 이때 각 분류기의 점수를 그대로 더한 값과 득표 수는 같은 개념이 아니다. 실제 도구는 동점을 구분하기 위해 점수 정보를 추가할 수 있다.
순환과 동점
같은 입력에 대해 AB는 A, BC는 B, AC는 C를 선택할 수도 있다. 그러면 세 범주가 한 표씩 받는다. 두 범주 사이의 개별 판단들이 항상 하나의 일관된 전체 순위를 만드는 것은 아니다. 동점 처리 규칙과 점수 보정 방식을 확인해야 같은 결과를 재현하기 쉽다.
비용과 검증
분류기 수는 범주 수의 제곱 규모로 늘지만 각 학습 문제에 들어가는 표본은 줄어든다. 따라서 일대나머지보다 언제나 빠르거나 느리다고 단정하지 않고 기본 학습기의 표본 수별 비용을 함께 본다. 드문 범주와 어려운 범주 쌍을 살피고 최종 결합 결과를 별도 자료에서 평가한다.