군집 손실만의 문제
군집화 목적만으로 특징 공간을 바꾸면 원 자료를 대표하지 않는 의미 없는 특징이 생길 수 있다는 문제에서 출발한다. 군집에 유리한 변형과 자료의 국소 구조 보존을 함께 고려한다.
재구성으로 제한하는 변형
입력보다 작은 잠재 표현을 갖는 오토인코더를 사용한다. 군집화 손실이 자료점을 옮기는 방향을 안내하는 동안 재구성 손실이 변형을 제약해 자료 생성 분포의 국소 구조를 유지하려고 한다.
공동 최적화
두 손실을 결합해 군집 배정과 특징을 함께 최적화한다. 미니배치 확률적 경사 하강과 역전파로 학습하며 원 연구는 영상과 텍스트 자료에서 국소 구조 보존의 효과를 평가했다.
관련 문서
DEC 심층 임베딩 군집화 / 오토인코더 / 군집화 / 역전파 / 확률적 경사 하강법 / 표현 학습