물체와 연결된 유닛
분할 기반 네트워크 해부 방법으로 물체 개념과 관련된 해석 가능한 유닛 집단을 찾는다. 생성 모델 내부에서 시각 개념이 어떻게 표현되는지 분석하는 출발점이다.
개입에 대한 반응
유닛에 개입했을 때 출력 물체를 제어하는 정도로 모델 내부의 인과 효과를 측정한다. 발견한 물체 개념을 새로운 영상에 삽입해 주변 문맥과의 관계도 조사한다.
결함과 표현 비교
서로 다른 층과 모델 및 자료 사이의 내부 표현을 비교했다. 생성 결과의 결함을 만드는 유닛을 찾고 제거하는 활용도 제시했다.
장면의 조작
장면 안의 물체를 대화형으로 조작하는 응용과 공개 해석 도구를 소개했다. 분석의 개입 효과는 해당 생성 모델 내부의 조작에 관한 결과다.
관련 문서
Network Dissection / TCAV / ACE 개념 설명 / 생성 사전 기반 데이터 증류 / Captum / Zennit 분석 도구