DeepCluster

군집 번호를 목표로 사용하기

현재 인코더로 자료의 특징을 계산한 뒤 k-means 등으로 묶는다. 각 이미지가 속한 군집 번호를 임시 레이블로 사용해 신경망이 이를 예측하도록 학습한다. 갱신된 특징으로 다시 군집을 구하므로 한 번 만든 군집이 끝까지 고정되는 절차와 다르다.

특징과 할당의 예

현재 특징이 0,1,8,9이고 두 군집의 중심이 0.5와 8.5라면 앞의 둘과 뒤의 둘로 나뉜다. 신경망은 이 임시 구분을 예측하도록 갱신될 수 있다. 다음 반복에서 특징이 달라지면 중심과 할당도 다시 계산한다. 이 예는 군집 단계의 계산이며 임의의 초기화에서 항상 이 해가 나온다는 뜻은 아니다.

번호와 의미의 구분

두 군집의 번호를 서로 바꾸어도 자료를 나눈 내용은 동일하다. 군집 번호 자체가 사람의 정답 범주 이름은 아니며 반복마다 번호가 일관된 의미를 갖는다고 가정하지 않는다. 의사 레이블은 표현을 개선하기 위한 현재 단계의 학습 신호다.

불균형과 붕괴

대부분의 이미지가 소수 군집에 몰리면 신경망이 입력을 구별하지 않는 해로 향할 수 있다. 군집별 균형 표본 추출 같은 조정을 사용하고 빈 군집이나 편중을 확인한다. 군집 예측 손실이 낮아진 사실만으로 유용성을 확정하지 않고 다른 자료의 분류와 전이 과제로 평가한다.