외형 차이의 영향 줄이기
실험실 영상과 일상 영상은 배경이나 옷차림 등이 다를 수 있다. Pose2Mesh는 관절 배치를 입력으로 삼아 영상 외형의 도메인 차이를 줄이려는 접근이다.
좌표를 직접 복원하기
메시 모델의 회전 매개변수를 영상에서 바로 예측하는 대신 꼭짓점의 삼차원 좌표를 추정한다. 회전 표현의 문제를 피하면서 표면 복원에 필요한 출력을 얻는다.
메시 연결 구조
그래프 합성곱은 메시가 어떻게 연결되는지 이용한다. 거친 구조에서 점차 세밀한 구조로 예측하는 과정으로 표면의 위상 정보를 활용한다.
입력 자세의 한계
이차원 자세를 사용한다고 촬영 환경의 문제가 모두 사라지는 것은 아니다. 앞단에서 관절이 틀리거나 가려지면 이후 복원에도 영향을 줄 수 있으므로 자세 검출과 메시 복원의 오차를 구분해야 한다.
관련 문서
I2L-MeshNet / MANO 손 모델 / HaMeR / 자세 추정 / 삼차원 재구성 / 그래프 신경망