조밀 과제에 맞는 학습 단위
이미지 전체의 인스턴스 표현을 주로 학습하면 물체 검출과 분할에 필요한 지역 정보를 충분히 담지 못할 수 있다. FLSL은 조밀 예측과 자기 지도 학습의 단위를 맞추기 위해 특징 수준 학습을 제안한다.
트랜스포머의 군집 과정
연구는 비전 트랜스포머 내부의 평균 이동 군집 과정과 자연 이미지 의미의 관계를 분석한다. 트랜스포머를 임베딩과 군집의 공동 학습에 사용해 두 수준 특징 군집 방법을 구성한다.
목적과 전이 평가
문제를 형식적으로 정의하고 평균 이동 및 k평균 관점에서 목적을 만든다. 같은 뷰 내부와 서로 다른 뷰 사이의 특징 군집에 적합한 표현을 학습하려 한다. 후속 검출과 인스턴스 분할 등에서 전이를 평가한다.
공간 구조의 독립 예
설명용으로 한 장의 사진에 책상과 의자가 함께 있으면 전체 사진의 특징 하나만으로 두 물체의 지역 관계를 모두 구분하기 어렵다. 실제 연구 이미지를 옮기지 않은 인스턴스 요약과 특징 군집의 차이다.
관련 문서
비전 트랜스포머 / 평균 이동 자기 지도 학습 / DenseCL / PixPro / ReCo 분할 학습 / 자기 지도 학습