기울기와 영상 영역
목표 개념의 예측에 관련된 기울기를 마지막 합성곱 층에서 활용한다. 이 정보로 이미지의 어떤 영역이 해당 개념을 예측하는 데 중요한지 나타낸다.
기존 모델에 적용하기
완전 연결 층이 있는 합성곱 모델과 구조화된 출력, 다중 모달 입력 등 여러 구성에 적용하도록 제안했다. 모델 구조의 변경이나 재학습 없이 사용하는 시각적 설명 방식이다.
해상도와 활용
기본 출력은 거친 위치 지도이며 세밀한 시각화와 결합할 수 있다. 원 연구는 이미지 분류와 캡션, 시각 질의응답 모델에 적용하고 오류 및 자료 편향을 살펴보는 활용을 조사했다.
Grad-CAM++의 확장
별도 연구의 Grad-CAM++는 목표 범주에 대한 마지막 특징 지도의 양의 편미분을 가중 결합한다. 여러 객체 인스턴스와 위치 설명을 개선하는 방향으로 확장해 분류와 캡션 등의 과제를 평가했다.
관련 문서
클래스 활성화 지도 / Score-CAM / ReCAM / SEAM / CLIP-ES / 비판별 특징 활성화 지도