픽셀에서 개념으로
영상 분류기는 낮은 수준의 특징을 사용하지만 사람은 질감이나 객체 부분 같은 높은 수준의 개념으로 설명을 이해할 수 있다. TCAV는 내부 표현을 이런 개념과 연결한다.
개념의 방향
개념 활성화 벡터는 고차원 내부 상태에서 사람이 관심을 가진 개념을 나타낸다. 사용자가 정의한 개념을 통해 신경망이 학습한 표현을 탐색하는 방식이다.
방향 미분의 활용
방향 미분으로 특정 개념이 분류 결과에 주는 민감도를 구한다. 개별 픽셀의 중요도를 나열하기보다 하나의 개념이 예측에 얼마나 관련되는지 묻는 접근이다.
가설의 탐색
원 연구는 이미지 분류를 중심으로 개념에 관한 가설을 탐색했다. 개념의 선택과 표현을 이용해 모델의 동작에 대한 통찰을 얻는 방법으로 제안했다.
관련 문서
ACE 개념 설명 / 적분 기울기 / Grad-CAM / Score-CAM / 현저성 지도의 무작위화 검사 / ROAR 설명 평가