물체 목록에서 관계 구조로
장면 이해에는 물체의 존재뿐 아니라 서로 어떤 관계에 놓이는지도 중요하다. 의미 장면 그래프는 물체를 노드로, 관계를 간선으로 구성해 장면의 문맥을 명시적으로 표현한다.
점군에서 그래프 예측
제안 모델은 PointNet과 그래프 합성곱망을 바탕으로 삼차원 점군에서 장면 그래프를 추정한다. 개별 물체의 기하 특징과 물체 사이의 관계를 함께 학습하는 구조다.
주석 자료의 역할
3DSSG는 의미 정보가 풍부한 삼차원 장면 그래프를 반자동으로 구성했다. 장면 분할의 범주 정보에 더해 관계를 다루는 학습과 평가에 사용한다.
차원을 잇는 장면 검색
그래프를 중간 표현으로 사용해 삼차원 장면끼리 또는 이차원 영상과 삼차원 장면 사이를 대응시키는 검색을 평가했다. 원시 영상과 점군의 차이를 관계 구조 수준에서 연결하는 활용이다.
관련 문서
3RScan과 RIO / 장면 그래프 / PointNet / 그래프 신경망 / CrossWeave / Visual Genome