프레임마다 다른 오차
한 장씩 처리한 자세가 각각 그럴듯해도 연결하면 관절이 갑자기 튈 수 있다. 시간 정보를 사용하는 모델은 연속 프레임의 관계를 활용한다. 단순한 평균으로 움직임을 흐리게 만드는 것과 실제 동작의 구조를 학습하는 것은 다르다.
시퀀스의 사전 지식
모션 캡처 자료의 실제 동작과 모델이 예측한 동작을 판별하는 적대적 학습을 활용한다. 영상 속 2차원 키포인트와 짝지어지지 않은 동작 자료를 함께 쓸 수 있다. 짝지어진 3차원 라벨이 없다는 사실을 3차원 동작 정보도 전혀 쓰지 않는다는 의미로 해석하면 안 된다.
연속성의 독립 예제
세 프레임의 관절 위치가 0,1,2라면 동일 시간 간격에서 위치 변화는 1과 1이다. 0,3,2라면 변화는 3과 −1이다. 후자는 갑작스러운 변화가 있지만 실제 빠른 동작도 가능하므로 부드러움 하나만으로 올바른 자세를 정할 수는 없다.
자연스러움과 정확도
운동학적으로 자연스러운 결과가 실제 촬영된 동작과 같은 것은 아니다. 관절 및 표면 오차와 시간적 흔들림을 구분해 평가한다. 가림과 빠른 이동, 촬영 각도 및 인물 검출 조건을 확인하고 옷의 표면까지 정확히 복원한 것으로 해석하지 않는다.
관련 문서
PARE 인체 복원 / HMR 인체 복원 / SPIN 인체 복원 / Nerfies / D-NeRF / RAFT 광류 추정