3차원 정답이 부족할 때
사람의 3차원 관절 주석을 충분히 모으기 어려운 문제를 다룬다. TriPose는 시간 정보와 여러 시점의 관측으로 학습 신호를 만든다. 3차원 정답이 없다는 조건과 여러 시점의 학습 자료도 필요 없다는 말은 다르다.
방향 추정과 삼각측량
여러 시점의 2차원 자세에서 카메라의 상대 방향을 추정한다. 관절 신뢰도가 높은 시점을 선택해 삼각측량으로 3차원 자세를 만든다. 보정 카메라를 미리 제공하지 않아도 되지만 카메라 관계 자체를 고려하지 않는 방법은 아니다.
학습과 추론 조건
생성한 자세로 2차원에서 3차원으로 올리는 순환망을 학습한다. 다중 시점 재투영 손실과 서로 다른 시점의 3차원 예측 일관성을 사용한다. 추론 시에는 단일 시점 영상만 요구하도록 구성한다.
신뢰도와 기하의 독립 예
설명용으로 두 영상에서 팔꿈치가 선명해도 두 카메라의 관찰 방향이 거의 같으면 깊이 추정은 어려울 수 있다. 검출 신뢰도와 기하 조건은 다른 정보다. 실제 연구의 평가 수치를 인용하지 않은 삼각측량 해석의 예다.
관련 문서
명시적 가림 학습 자세 추정 / VideoPose3D / PoseFormer / MotionBERT / HUND / LoopReg