몸 중심의 상호작용
특정 장소의 좌표만 외우는 대신 몸의 각 부분이 어떤 표면과 관계를 맺는지 표현한다. 이 몸 중심 표현을 통해 새로운 장면의 상호작용에도 적용하려 한다.
자료와 학습
PROX의 사람·장면 상호작용 메시와 PROX-E의 장면 의미 정보를 사용한다. 조건부 변이형 자동 인코더로 몸 자세에 따른 접촉과 의미 정보를 학습한다.
장면 속 인물 배치
사람의 삼차원 스캔에 맞춘 몸 모델을 대리 표현으로 사용하고, 그 자세가 예상하는 접촉에 맞는 장면 위치를 찾는다. 특정 자세에 어울리는 주변 표면을 탐색하는 활용이다.
자세 추정의 보완
관련 연구는 학습된 몸·장면 상호작용을 단안 자세 추정에도 활용했다. 접촉 확률은 모델의 예측이므로 실제 접촉 관측과 구분하고 장면 정합 및 자세 오차로 결과를 평가해야 한다.
관련 문서
PROX 장면 제약 자세 추정 / RICH 전신 접촉 데이터셋 / COUCH 사람 의자 상호작용 / BEHAVE 상호작용 데이터셋 / 변이형 자동 인코더 / 삼차원 재구성