나눌 기준을 정하기
임계값 t 이하인 밝기를 한 집단, 더 큰 밝기를 다른 집단으로 나눈다고 하자. 각 집단의 비율을 가중치로 주어 집단 내부 분산을 더하고, 그 값이 작은 임계값을 찾는다. 비어 있는 집단은 별도로 처리해야 한다. 이 기준을 최적화한다는 의미이지 영상의 실제 물체와 배경을 언제나 정확히 구분한다는 뜻은 아니다.
네 밝기의 계산 예제
밝기가 0,1,4,5이고 각 값이 같은 횟수로 나온다고 하자. 임계값 2로 나누면 두 집단은 (0,1)과 (4,5)이며 각 분산은 0.25, 비율은 1/2이다. 가중 분산 합은 0.25다. 임계값 0이면 집단은 (0)과 (1,4,5)가 되고 가중 분산 합은 13/6, 약 2.167이다. 앞의 분할이 이 기준에서 더 낫다.
같은 히스토그램의 한계
밝기값들의 위치를 서로 바꾸어도 히스토그램은 같을 수 있다. 오츠의 전역 기준은 그 밝기들이 어디에 배치됐는지까지 직접 고려하지 않는다. 조명이 위치에 따라 크게 달라지거나 두 집단의 밝기가 많이 겹치면 결과가 목적에 맞지 않을 수 있다. 지역별 임계값을 사용하는 적응형 방식과는 정보의 범위가 다르다.
동점과 전처리
앞 예제에서는 임계값 1,2,3이 같은 두 집단을 만든다. 따라서 분할이 같더라도 반환된 임계값 숫자는 선택 규칙에 따라 달라질 수 있다. 평활화나 히스토그램 구간 설정도 계산을 바꾼다. 자동 임계값이라는 이유로 결과를 그대로 신뢰하지 말고 얇은 구조의 손실, 잡음과 배경의 오분류를 확인한다. 밝은 쪽을 전경으로 둘지 반전할지도 문제에 맞춰 정한다.