별도 복원의 불일치
사람과 물체를 따로 복원하면 각각은 그럴듯해도 서로의 크기와 위치가 맞지 않을 수 있다. PHOSA는 공동 제약으로 가능한 삼차원 배치의 범위를 줄인다.
크기와 실루엣
물체 크기의 분포를 학습하는 손실과 가림을 고려한 실루엣 재투영 손실을 사용한다. 화면에서 보이는 윤곽뿐 아니라 상대적인 크기를 함께 고려하는 구성이다.
상호작용으로 배치 제한하기
사람이 다루는 물체와의 관계를 상호작용 손실에 반영한다. 큰 물체와 손에 드는 물체가 등장하는 실제 영상에서 사람·물체 배치의 복원 능력을 평가했다.
삼차원 감독의 범위
관련 연구는 장면이나 물체 수준의 삼차원 감독이 없는 자료에서 방법을 실행한다. 이 조건은 모든 사전 모델과 가정이 없다는 뜻은 아니며, 하나의 영상이 가진 깊이 모호함도 남아 있다.
관련 문서
CHORE / InterTrack / BEHAVE 상호작용 데이터셋 / HOLD 손 물체 복원 / 삼차원 재구성 / 컴퓨터 비전