입력 전체를 그대로 복사하지 않기
전통적인 자동 인코더 구조를 나눠 두 하위망으로 구성한다. 각 경로는 자료 채널의 한 부분을 보고 다른 부분을 예측하는 어려운 과제를 학습한다. 두 경로에 모든 입력을 동일하게 주는 구성과 다르다.
두 경로의 상호 보완
하위망들은 함께 전체 입력 신호에서 특징을 추출한다. 여기서 분리는 입력 채널의 예측 관계와 망의 구조를 뜻하며 학습된 의미 요인이 항상 완전히 분리된다는 보장은 아니다.
예측 특징의 전이
채널 간 예측을 강제해 미지의 후속 과제에 잘 전이하는 표현을 유도하려 한다. 연구는 여러 대규모 전이 학습 평가에서 결과를 살핀다. 원래 채널을 맞히는 정도와 후속 과제의 유용성은 따로 확인해야 한다.
채널 관계의 독립 예
설명용으로 밝기 정보에서 색을 추정하면 형태 단서와 색의 여러 가능성을 함께 다뤄야 한다. 반대로 색에서 밝기를 추정하는 과제는 다른 정보를 요구할 수 있다. 실제 연구의 채널 설정을 옮기지 않은 양방향 예측의 예다.
관련 문서
Context Encoders / 분류 기반 자동 채색 / 자기 지도 학습 / 변분 자동 인코더 / 문맥 예측 표현 학습 / AMDIM