위키득계정 ↗
기술

Mask3D 인스턴스 분할

Mask3D 인스턴스 분할기술
발표
ICRA 2023
입력
삼차원 점군
물체 표현
인스턴스 질의
학습 목표
개체 마스크 직접 최적화
Mask3D 인스턴스 분할은 트랜스포머 질의로 점군에서 물체별 마스크를 직접 예측하는 방법이다. 여러 크기의 점 특징을 반복해 참조하며 개체 마스크들을 병렬로 생성한다.

물체를 나타내는 질의

각 물체 개체는 하나의 질의로 표현된다. 트랜스포머 디코더는 여러 규모의 점군 특징에 반복적으로 주의를 기울여 이 질의를 학습한다.

점 특징과 마스크

학습한 질의와 점별 특징을 결합해 여러 개체 마스크를 한꺼번에 얻는다. 결과를 직접 마스크로 다루므로 마스크 자체를 최적화하는 손실을 사용할 수 있다.

기하 후처리의 부담

중심 같은 기하 속성을 골라 투표하거나 군집 반경을 수동 조정하는 절차에 의존하지 않으려는 설계다. 일반적인 트랜스포머 구성 요소로 분할을 표현하는 것이 핵심이다.

평가 자료

연구는 ScanNet과 ScanNet200 및 S3DIS와 STPLS3D에서 비교했다. 이름이 같은 이차원 모델의 삼차원 사전 학습 연구와는 별개이며, 여기서는 점군 개체 분할 방법을 뜻한다.

관련 문서

트랜스포머 / 점군 / 인스턴스 분할 / OneFormer3D / OpenMask3D / Open3DIS