위키득계정 ↗
기술

GIMO

GIMO기술
과제
장면 속 사람 움직임 예측
자료
몸 자세·장면 스캔·일인칭 시선
동작 기록
관성 센서 기반 모션 캡처
모델 구성
시선 분기와 동작 분기의 양방향 연결
GIMO는 시선과 주변 장면을 활용해 사람의 움직임을 예측하는 연구와 데이터셋이다. 몸 자세 시퀀스, 장면 스캔과 시선을 담은 일인칭 자료를 연결하고 시선·동작 정보를 양방향으로 주고받는 모델을 제시한다.

장면과 의도의 단서

앞으로의 움직임은 주변 공간뿐 아니라 무엇을 하려는지에도 영향을 받는다. GIMO는 시선을 의도를 추론하기 위한 대리 단서로 활용하며 장면 문맥과 함께 다룬다.

시선과 몸의 기록

관성 센서로 몸 움직임을 기록해 특정 촬영 장소에 묶이지 않도록 했다. 몸 자세와 장면 스캔, 시선이 있는 일인칭 관측을 함께 제공한다.

양방향 정보 교환

제안한 네트워크는 시선과 동작 분기 사이에 양방향 통신을 둔다. 시선이 동작 예측에 정보를 주고 동작 정보가 시선 특징의 잡음을 다루는 데도 사용된다.

의도와 예측의 해석

시선은 의도 자체를 직접 측정하는 값이 아니다. 한 곳을 본 뒤 다른 행동을 할 수도 있으므로, 시선의 기여는 미래 움직임의 예측 오차와 다양한 장면 조건에서 평가해야 한다.

관련 문서

EgoBody / AMASS / HuMoR / Gaze360 / ETH-XGaze / 모션 캡처