손과 물체의 경계
손과 물체가 가까이 겹치는 영상에서는 둘의 경계를 정확히 찾기 어렵다. EgoHOS는 접촉 경계를 세밀하게 표시해 일인칭 행동 이해에 필요한 전경 분할을 다룬다.
관여하는 물체의 구별
영상에 보이는 모든 물체가 손의 상호작용 대상인 것은 아니다. 손과 실제로 관계를 맺는 물체를 분할하는 목표는 일반 물체 분할과 다르다.
다른 분포의 영상
제안한 문맥 인지 조합형 증강은 학습 분포 밖의 YouTube 일인칭 영상에 적응하기 위한 방법이다. 배경과 손·물체 구성을 고려하며 새로운 촬영 조건에서 분할을 평가한다.
후속 활용
손 상태 분류와 동영상 활동 인식, 손·물체 메시 복원 및 전경 인페인팅에 활용을 제시했다. 분할 경계가 정확한지와 후속 작업이 개선되는지는 각각 확인해야 한다.
관련 문서
HOI4D / ContactPose / ContactDB / ObMan / Ego4D / AssemblyHands