관절 시퀀스에서 깊이로
한 장의 관절 배치에는 깊이의 모호함이 있지만 인접 프레임의 움직임이 추가 단서가 될 수 있다. VideoPose3D는 원래 RGB 영상의 모든 화소 대신 예측한 2차원 키포인트를 처리한다. 앞단 관절 검출의 오류도 3차원 추정에 영향을 준다.
시간 간격을 넓혀 보기
팽창 합성곱은 이웃 시간 표본 사이에 간격을 두어 넓은 범위의 정보를 처리할 수 있다. 간격 2의 세 표본을 t−2, t, t+2에서 읽는 예를 생각할 수 있다. 실제 전체 네트워크의 수용 범위는 층 구성에 따라 달라진다.
재투영 감독
3차원 정답이 없는 영상의 2차원 키포인트에서 자세를 추정하고 이를 다시 투영해 입력과 비교하는 학습을 사용한다. 재투영은 관측과 일치하도록 제한하지만 올바른 깊이를 유일하게 결정하지는 않는다. 반지도 학습과 완전한 무감독 학습도 구분해야 한다.
시간과 평가 조건
여러 프레임을 활용하는 구성에서는 사용 범위와 미래 프레임 포함 여부가 실행 조건에 중요하다. 입력 관절의 누락과 가림, 빠른 동작에서의 오차를 확인한다. 관절 위치의 정확도와 시간적 부드러움을 나누어 평가하고 실제 단위 및 기준 관절의 정의도 맞춰 비교한다.
관련 문서
MixSTE / OpenPose / HRNet / ViTPose / VIBE 인체 복원 / HMR 인체 복원