위키득계정 ↗
기술

LOCA 사전 학습

LOCA 사전 학습기술
전체 이름
Location-Aware Self-Supervised Transformers
지역 과제
패치 수준 군집
공간 과제
상대 위치 예측
전이 대상
의미 분할
LOCA는 패치 군집으로 얻은 조밀 의사 레이블과 상대 위치 예측을 결합하는 위치 인식 자기 지도 학습 방법이다. 물체 부분과 공간 배치를 학습해 의미 분할에 전이할 표현을 만들려 한다.

이미지 수준 목적의 한계

분류나 이미지와 문장의 정렬 같은 목적은 영상 전체 수준에서 학습한다. 공간 추론이 필요한 의미 분할의 미세 조정에는 이 표현이 최적이 아닐 수 있다. LOCA는 조밀하고 공간적인 사전 학습을 지향한다.

지역 의미와 상대 위치

패치 군집으로 조밀 의사 레이블을 얻고 상대 위치 예측 과제로 물체 부분과 공간 배치를 배우게 한다. 군집의 의미와 위치 관계를 함께 학습하는 구성이며 어느 하나만 맞히는 과제와 다르다.

사전 학습과 전이의 평가

자기 지도 사전 학습 표현을 다양하고 어려운 의미 분할 자료에 옮겨 평가한다. 사전 학습에서 픽셀 주석을 쓰지 않는 조건과 후속 분할망의 학습 조건을 구분해야 한다.

부분과 배치의 독립 예

설명용으로 문과 창문을 구별해도 어느 창문이 문 위에 있는지는 추가 공간 관계다. 부분 이름의 표현과 배치를 나타내는 표현은 함께 필요할 수 있다. 실제 연구 이미지를 옮기지 않은 지역 및 위치 과제의 예다.

관련 문서

Leopart / EsViT / FLSL / DenseCL / 의미 분할 / 자기 지도 학습