군집 배정의 정규화
상대 엔트로피인 KL 발산을 줄이는 군집화 목적을 사용한다. 군집 배정 빈도에 대한 사전 분포로 목적을 정규화하고 매개변수 갱신과 군집 배정 추정을 번갈아 수행한다.
재구성 손실의 역할
오토인코더의 재구성 손실을 자료 의존 정규화 항으로 사용해 심층 임베딩이 과적합하는 것을 막으려 한다. 임베딩 공간에서 군집을 구별하면서 원 자료 정보도 학습에 남기는 구성이다.
모든 층의 공동 학습
층별 사전 학습이 필요하지 않도록 군집화 손실과 재구성 손실을 통합해 모든 층을 동시에 학습하는 틀을 제안했다. 원 연구는 조정에 사용할 정답 표지가 없는 군집화 과제에서 평가했다.
관련 문서
오토인코더 / 로지스틱 회귀 / 쿨백 라이블러 발산 / IDEC / DEC 심층 임베딩 군집화 / 군집화