위키득계정 ↗
기술

InterCap

InterCap기술
참여자와 물체
각각 10명과 10개
영상
RGB-D 동영상 223개
다중 관점 프레임
6만7천357개
프레임 구성
RGB-D 영상 6개
InterCap은 여러 관점의 RGB-D 영상에서 상호작용하는 전신과 물체를 마커 없이 추적하는 방법과 데이터셋이다. SMPL-X 전신 모델과 알려진 물체 메시를 사용하고 손·물체 접촉을 자세 추정에 활용한다.

전신과 손을 함께 관측하기

몸과 물체의 가림, 움직임 흐림, 작은 손 영역은 상호작용 복원을 어렵게 한다. InterCap은 손의 세부 모습과 전신의 배치를 함께 다루는 촬영·복원 구성을 제시한다.

촬영과 모델 조건

여러 Azure Kinect의 RGB-D 정보를 사용하고 알려진 물체 형상과 SMPL-X 모델을 영상에 맞춘다. 물체 템플릿이 없는 단안 복원 방법과는 입력 조건이 다르다.

접촉으로 자세 보완하기

손과 물체의 접촉은 두 대상의 자세를 함께 개선하는 단서다. 데이터에는 손이나 발이 물체와 닿는 상호작용도 포함되며, 각 프레임에 몸과 물체의 의사 정답 메시를 제공한다.

프레임 단위 구분

다중 관점 프레임 하나에는 여섯 개의 RGB-D 영상이 들어 있다. 시간별 프레임 수와 개별 카메라 영상 수를 구분해야 다른 데이터셋과 관측 규모를 정확히 비교할 수 있다.

관련 문서

BEHAVE 상호작용 데이터셋 / GRAB 전신 파지 데이터셋 / ContactPose / HOLD 손 물체 복원 / AssemblyHands-X / 삼차원 재구성