분할 지도에 생기는 잡음
연구는 CLIP의 의미 분할에서 영역이 잘못 구분되거나 잡음이 생기는 현상을 다룬다. 전체 영상의 개념 정렬에 강한 표현이 지역 구별에도 그대로 적합한지를 분석한다.
전체 특징과 지역 특징
여러 사전 학습 모델에서 잔차 연결과 어텐션 출력의 통계 특성을 비교했다. 논문은 영상 텍스트 대조 학습이 전체 특징을 강조하면서 지역의 구별 능력을 약화시킬 수 있다고 해석했다.
마지막 층의 세 변경
마지막 층의 잔차 연결을 제거하고 자기 상관 어텐션을 사용하며 피드포워드 네트워크를 제외한다. 특정 부분의 수정 하나가 아니라 이 구성을 함께 적용하는 방법이다.
실험의 범위
여러 벤치마크에서 더 선명하고 정확한 분할 지도를 보고했다. 잔차 연결이 이 설정에서 잡음의 원인이 된다는 분석을 모든 신경망의 잔차 구조가 해롭다는 주장으로 넓힐 수는 없다.