위키득계정 ↗
기술

EsViT

EsViT기술
전체 이름
Efficient Self-supervised Vision Transformers
구조
희소 자기 주의의 다단계 구성
사전 과제
지역 매칭
목표
효율과 지역 표현 품질의 결합
EsViT는 희소 자기 주의를 사용하는 다단계 구조와 지역 매칭 사전 과제를 결합한 자기 지도 비전 트랜스포머다. 계산 복잡도를 줄이면서 세밀한 지역 대응 표현을 학습하려 한다.

효율을 얻을 때 잃는 정보

다단계 구조와 희소 자기 주의는 모형 복잡도를 줄일 수 있지만 이미지 지역 사이의 세밀한 대응을 포착하는 능력이 낮아질 수 있다. EsViT는 이 상충을 경험적으로 분석한다.

지역 매칭을 사전 과제로 쓰기

지역 매칭 과제로 세밀한 지역 의존성을 배우게 한다. 구조 효율화와 지역 정보 학습을 함께 구성해 시각 표현 품질을 보완하려는 방향이다. 전체 이미지 분류 목적만 조정하는 설명과는 다르다.

표현 평가의 조건

연구는 선형 탐침과 여러 후속 선형 분류 과제의 전이를 평가한다. 사전 학습을 고정한 선형 평가와 전체 모형의 미세 조정은 다른 조건이다. 처리량과 정확도도 각각의 장치 및 자료 조건에 따라 비교해야 한다.

대응의 독립 예

설명용으로 계단 사진의 전체 범주를 맞혀도 두 증강에서 같은 난간 부분을 연결하는 표현은 부족할 수 있다. 전역 판단과 지역 매칭을 별도로 살펴야 한다. 실제 연구 이미지를 옮기지 않은 지역 표현의 예다.

관련 문서

비전 트랜스포머 / 자기 지도 학습 / DenseCL / PixPro / FLSL / 대조 학습