이차원 흐름의 확장
광학 흐름을 추정하는 RAFT를 바탕으로 하지만, 반복 갱신하는 대상은 픽셀별 이차원 이동이 아니라 삼차원 강체 운동장이다. 회전과 이동을 포함하는 SE(3) 표현을 사용한다.
강체 운동 임베딩
강체 운동 임베딩은 픽셀들을 강체 물체의 집단으로 부드럽게 묶는 표현이다. 각 픽셀을 독립적으로만 판단하는 대신 함께 움직이는 관계를 반영한다.
기하 일관성
미분 가능한 Dense-SE3 층이 임베딩의 기하 일관성을 강제한다. 학습한 표현과 운동 추정 사이에 구조적인 기하 제약을 연결한다.
객체 표지 없는 평가
논문은 FlyingThings3D와 KITTI에서 장면 흐름을 평가했다. 객체 인스턴스 감독을 쓰지 않는 조건에서 픽셀의 강체 운동 표현이 얼마나 유효한지 살폈다.
관련 문서
FlowNet3D / PointPWC-Net / 광학 흐름 / 기하 정합 / 어텐션 / 신경망