점 구름과 이미지의 보완
점 구름은 3차원 기하를 제공하지만 희소하고 색 정보가 부족하며 센서 잡음이 있을 수 있다. 이미지는 높은 해상도와 질감 정보를 제공한다. ImVoteNet은 두 입력의 차이를 이용해 RGB-D 장면의 검출을 보완한다.
이미지 특징을 공간에 연결하기
이미지에서 기하 및 의미 특징을 명시적으로 추출한다. 카메라 매개변수를 이용해 이 특징을 3차원으로 올리고 이미지 투표와 점 구름 투표를 결합한다. 영상의 픽셀 위치와 점 구름 좌표를 아무런 대응 정보 없이 합치는 방식은 아니다.
결합을 위한 학습
두 종류 특징의 상승 효과를 높이기 위해 다중 타워 학습 방식을 제안한다. 두 입력을 함께 쓴다는 사실만으로 각각의 약점이 항상 상쇄되는 것은 아니다. 영상과 깊이의 정합 상태 및 관측 범위를 확인해야 한다.
불일치 관측의 독립 예
설명용으로 색 영상에는 의자 등받이가 보이지만 깊이 점이 드물 수 있다. 이미지가 범주의 단서를 보태더라도 비어 있는 공간의 실제 치수가 모두 확인되는 것은 아니다. 실제 데이터셋 사례를 옮기지 않은 의미 정보와 기하 정보의 차이에 대한 예다.
관련 문서
VoteNet / Part-A2 / PointRCNN / PV-RCNN / PointNet / PointNet 플러스플러스