위키득계정 ↗
기술

MaskDistill 물체 마스크

MaskDistill 물체 마스크기술
연구 이름
Discovering Object Masks with Transformers for Unsupervised Semantic Segmentation
초기 정보
자료 기반 물체 마스크
첫 학습
마스크 군집의 의사 정답
후속 정제
초기 모형으로 저품질 마스크 제거
MaskDistill 물체 마스크는 자료에서 생성한 물체 마스크를 군집화해 초기 분할망을 학습하고 저품질 마스크를 걸러 최종 모형을 만드는 비지도 의미 분할 접근이다. 물체 마스크를 픽셀 묶음의 사전 정보로 이용한다.

픽셀 묶음의 사전 정보

비지도 의미 분할은 픽셀을 물체나 부분 범주처럼 고수준 의미를 공유하는 묶음으로 나누려 한다. 이 접근은 특정 장면 구성에 맞춘 수작업 사전 대신 자료 기반으로 물체 마스크를 생성한다.

마스크 군집에서 초기 모형으로

물체 마스크를 군집화해 초기 물체 분할 모형의 의사 정답을 얻는다. 군집화는 외부 정답을 직접 관측하는 과정이 아니므로 마스크 품질과 묶음의 의미를 따로 살펴야 한다.

초기 모형으로 정제하기

초기 모형을 이용해 저품질 물체 마스크를 걸러 낸다. 정제한 마스크 모음으로 최종 분할망을 학습해 픽셀 묶음 사전의 잡음을 줄이려 한다. 모형이 자신의 초기 편향을 유지할 가능성까지 사라지는 것은 아니다.

정제의 독립 예

설명용으로 의자와 그림자가 붙은 마스크를 정제 대상으로 볼 수 있다. 하지만 작은 의자 전체를 잡음으로 제외하면 경계 품질과 별개로 누락이 생긴다. 실제 연구 이미지를 옮기지 않은 정제와 포괄성의 구분이다.

관련 문서

STEGO / TokenCut / CutLER / FreeSOLO / 의미 분할 / 자기 지도 학습