물체 안의 움직이는 부품
실내 물체는 전체 위치만 바뀌는 것이 아니라 문이나 서랍 같은 부품의 상태가 바뀔 수 있다. MultiScan은 이런 관절 물체를 포함한 장면의 다층적인 이해를 다룬다.
수집과 주석의 구성
일반 모바일 장치로 실내를 스캔하고 웹 기반 의미 주석 도구로 물체와 부품의 표지 및 이동 매개변수를 작성한다. RGB-D 관측과 프레임별 카메라 자세 및 질감이 있는 표면 메시를 제공한다.
장면과 물체 및 부품
같은 장면을 여러 상태에서 관측해 물체 인스턴스와 부품 수준 정보를 연결한다. 서로 다른 스캔에서도 대상의 정체성과 부품의 움직임을 다룰 수 있는 자료 구성을 지향한다.
분할과 움직임의 평가
물체 및 부품 인스턴스 분할과 부품 이동 추정 과제에서 기존 방법을 평가했다. 물체 전체의 분할이 좋아져도 부품의 경계와 운동을 이해하는 성능은 별도로 확인해야 한다.
관련 문서
3RScan과 RIO / ARKitScenes / SceneVerse / 인스턴스 분할 / 점군 / 로봇 조작