민감도 지도
분류 점수를 입력 영상에 대해 미분하면 각 픽셀의 작은 변화가 점수에 미치는 영향을 볼 수 있다. 이런 기울기 지도는 예측을 해석하는 출발점이지만 시각적으로 잡음이 많을 수 있다.
비슷한 입력의 표본화
관심 영상에 잡음을 더해 여러 비슷한 영상을 만든다. 각 표본에서 민감도 지도를 계산한 뒤 결과를 평균하는 것이 SmoothGrad의 핵심 과정이다.
다른 설명 방식과의 결합
기존 민감도 지도 알고리즘과 함께 사용할 수 있도록 제안했다. 논문은 잡음 수준과 표본 수, 시각화 방식이 결과에 미치는 영향도 조사했다.
시각적 해석의 범위
매끄럽게 보이는 지도와 모델의 실제 동작을 정확히 설명하는지는 구분할 필요가 있다. 원 연구도 시각적 잡음이 네트워크의 진짜 특성인지 다른 요인인지에 관한 해석 문제를 논의했다.