관측 사이에 빠진 변화
실내 장면을 가끔 다시 스캔하면 물체가 움직이는 중간 과정은 보이지 않을 수 있다. ReScene4D는 이런 간헐적 관측에서도 영역을 분할하고 물체의 동일성을 연결하는 문제를 다룬다.
시간 정보를 공유하는 분할
기존 삼차원 의미 인스턴스 분할 구조를 사차원 설정에 맞게 조정한다. 고밀도의 연속 관측을 전제로 하지 않고 서로 다른 시점의 기하 및 의미 정보를 공유한다.
관측 간 표현의 연결
시공간 대조 손실과 마스킹 및 직렬화를 이용해 시간 정보가 전달되도록 한다. 공유한 문맥으로 인스턴스 추적의 일관성과 각 스캔의 기본 분할 품질을 함께 개선하려 한다.
시간적 일관성의 평가
mAP를 확장한 t-mAP로 시간에 걸친 인스턴스 정체성의 일관성을 평가한다. 3RScan에서 실험하며, 한 시점에서 물체를 잘 나누는 성능과 여러 시점에서 같은 물체로 연결하는 성능을 함께 살핀다.
관련 문서
3RScan과 RIO / 인스턴스 분할 / 대조 학습 / 점군 / ScanNet / 기하 정합