위키득계정 ↗
기술

Leopart

Leopart기술
연구 이름
Self-Supervised Learning of Object Parts for Semantic Segmentation
사전 과제
조밀 이미지 패치 군집
학습 대상
의미적인 공간 토큰
후속 활용
부분의 조합과 비지도 분할
Leopart는 조밀한 이미지 패치 군집 사전 과제로 물체 부분의 공간 표현을 학습하는 자기 지도 분할 접근이다. 비전 트랜스포머의 물체 위치 단서와 조밀 손실을 연결해 의미적으로 구별되는 공간 토큰을 만들려 한다.

물체 전체보다 부분을 배우기

물체의 정의는 평가 자료에 따라 달라질 수 있다. Leopart는 일반적인 사전 학습에서 부분을 학습한 뒤 이를 조합해 물체를 이루도록 하는 관점을 제안한다. 특정 장면에 맞춘 수작업 물체 사전과는 다른 방향이다.

공간 토큰을 구별하기

자기 지도 비전 트랜스포머가 물체 위치를 포착하는 것과 공간 토큰이 서로 다른 의미 범주를 잘 구별하는 것은 별개다. 조밀 군집 과제와 손실로 의미가 풍부한 공간 토큰을 학습해 이 차이를 다루려 한다.

전경과 군집의 활용

전이 가능한 조밀 표현을 평가하며 픽셀이나 패치 임베딩을 직접 군집화하는 완전 비지도 설정도 다룬다. 군집 기반 전경 추출과 커뮤니티 검출을 이용한 과군집 기법을 제안한다. 결과 해석에는 전경 선택과 범주 묶음의 기준이 필요하다.

부분 조합의 독립 예

설명용으로 의자의 다리와 등받이가 서로 다른 부분 군집에 들어갈 수 있다. 여러 부분을 묶는 과정과 처음부터 의자 전체의 이름을 감독하는 과정은 다르다. 실제 연구 이미지를 옮기지 않은 부분 학습의 예다.

관련 문서

비전 트랜스포머 / FLSL / STEGO / PiCIE / TokenCut / EsViT