위키득계정 ↗
기술

Open3DIS

Open3DIS기술
발표
CVPR 2024
주요 과제
개방형 삼차원 인스턴스 분할
결합 정보
이차원 마스크와 삼차원 물체 제안
평가
ScanNet200, S3DIS, Replica
Open3DIS는 여러 영상의 이차원 마스크를 삼차원 점군 영역으로 모아 물체 제안을 만드는 분할 방법이다. 이를 기존 삼차원 제안과 결합해 작거나 기하적으로 모호한 물체도 포함하려 한다.

작은 물체의 어려움

범주 독립적 삼차원 제안은 다양한 물체를 찾는 기반이지만 작은 물체나 모양이 불명확한 대상은 놓칠 수 있다. Open3DIS는 이 한계를 영상의 분할 정보로 보완한다.

프레임 사이의 마스크 결합

여러 프레임의 이차원 개체 마스크를 모아 기하적으로 일관된 점군 영역으로 대응시킨다. 이렇게 얻은 영역을 추가 물체 제안으로 사용한다.

삼차원 제안과의 결합

새 제안만 사용해 기존 방식을 모두 대체하는 것이 아니다. 삼차원에서 만든 범주 독립적 제안도 함께 결합해 더 넓은 대상 범위를 다루도록 한다.

자료별 비교

연구는 세 장면 자료에서 다양한 범주의 물체 분할을 평가했다. 성능 개선을 비교할 때에는 사용한 이차원 정보와 삼차원 제안의 조합 및 대상 크기를 함께 보아야 한다.

관련 문서

OpenMask3D / 점군 / 인스턴스 분할 / 의미 분할 / OpenScene / ConceptGraphs