표현이 간직한 정보
영상 특징은 인식 시스템의 중요한 구성 요소지만 그 안에 어떤 정보가 남는지 바로 알기 어렵다. 역변환은 주어진 영상 표현에서 원 영상을 복원하는 문제로 이를 조사한다.
일반적인 역변환 틀
원 연구는 HOG와 SIFT 같은 표현 및 합성곱 신경망에 적용할 수 있는 일반 프레임워크를 제안했다. 서로 다른 표현에서 얻은 역변환을 비교해 시각 정보의 보존을 분석했다.
층에 따른 불변성
여러 CNN 층이 영상의 구체적인 정보를 유지한다는 결과를 제시했다. 동시에 기하적 변화와 영상 밝기 등 광도 변화에 대한 불변성의 정도가 층마다 다를 수 있음을 조사했다.
관련 문서
Network Dissection / GAN Dissection / 극값 섭동 설명 / 클래스 점수 기울기 시각화 / FullGrad / Captum