위키득계정 ↗
기술

GazeD

GazeD기술
입력
단일 RGB 영상
출력
삼차원 시선과 자세
조건 정보
이차원 자세와 주변 장면
시선 표현
눈에서 고정 거리의 추가 관절
GazeD는 RGB 영상 한 장에서 삼차원 시선과 사람의 자세를 함께 추정하는 확산 모델이다. 영상의 이차원 문맥을 조건으로 여러 가능한 시선·자세 가설을 생성한다.

하나의 영상과 여러 가설

영상 한 장으로 삼차원 상태를 추정하면 모호함이 남을 수 있다. GazeD는 확산 모델을 이용해 이차원 문맥과 양립할 수 있는 여러 시선 및 자세 가설을 생성한다.

문맥을 조건으로 사용하기

잡음을 제거하는 과정에 이차원 자세, 사람 주변과 장면 문맥을 조건으로 준다. 눈 주변 외형만 보는 방식보다 몸과 주변 상황을 함께 활용하는 접근이다.

시선을 관절로 표현하기

눈에서 정해진 거리에 가상의 추가 신체 관절을 두어 삼차원 시선을 표현한다. 자세와 시선의 관련성을 이용해 확산 과정에서 둘을 함께 복원하려는 구성이다.

가설과 확신의 차이

여러 출력을 만들 수 있다고 그 분포가 실제 불확실성을 정확히 반영한다고 자동으로 결론낼 수는 없다. 방향 오차와 가설의 다양성, 신뢰도 평가를 구별해 살펴야 한다.

관련 문서

Gaze360 / ETH-XGaze / ST-WSGE / 확산 모델 / 자세 추정 / 컴퓨터 비전