정해진 분류 목록의 한계
기본 범주의 이름을 붙인 자료에만 의존하면 학습하지 않은 물체를 구분하기 어렵다. SOLE은 개방 어휘 인스턴스 분할에서 다양한 언어 표현에 대응하는 문제를 다룬다.
점군에서 의미를 반영하기
클래스와 무관한 마스크를 만들거나 2차원 마스크를 투영하는 접근과 달리 점군에서 의미와 관련된 마스크를 직접 생성한다. 시각 언어 결합 과정에서 물체의 기하도 고려한다.
백본과 디코더의 융합
다중 모달 의미를 백본과 디코더 양쪽에 결합하는 네트워크를 사용한다. 세 종류의 모달 간 연관성을 감독 신호로 활용해 언어 지시의 대응과 마스크 품질을 학습한다.
범주 주석과 학습 신호
논문은 범주 주석 없이 학습하는 설정에서 여러 실내 벤치마크를 평가했다. 범주 주석을 사용하지 않는다는 말은 감독 신호나 학습 자체가 없다는 뜻과 다르며, 논문은 모달 간 연관성을 명시적으로 이용한다.
관련 문서
OpenMask3D / Open3DIS / ScanNet200 / Replica 데이터셋 / 점군 / 인스턴스 분할