MotionBERT

움직임의 공통 표현

자세를 하나 추정하는 것과 여러 작업에 전달할 표현을 배우는 것은 목표가 다르다. MotionBERT는 다양한 움직임 데이터에서 시공간 관계를 학습한다. 학습된 인코더에 작업별 예측부를 연결하고 미세 조정하는 방식으로 표현을 활용한다.

불완전한 관측으로 학습하기

관절 좌표에 잡음이 있거나 일부 관측이 빠져도 움직임 구조를 파악하도록 복원 문제를 구성한다. 누락된 관절의 가능한 위치를 추론하는 과정이지, 영상에 보이지 않은 실제 위치를 직접 관측하는 과정은 아니다. 학습 데이터의 동작 범위도 추정에 영향을 준다.

시간 간격이 주는 의미

설명용으로 손목 좌표가 0, 2, 4로 변하는 세 관측을 생각하자. 관측 간격이 0.1초이면 구간별 변화율은 초당 20좌표 단위지만 간격이 0.2초이면 10이다. 좌표 나열만 같아도 시간 해석은 달라진다. 이 계산은 모델의 손실 함수를 나타내지는 않는다.

표현의 전이와 평가

DSTformer는 관절의 공간 관계와 시간 관계를 함께 처리하는 이중 스트림 인코더다. 공통 표현이 유용해도 후속 작업의 정답 정의와 학습 조건은 따로 맞춰야 한다. 관절 체계, 표본 간격, 가림의 빈도가 바뀌는 환경에서는 복원 정확도와 전이 성능을 나누어 확인한다.