영역 분할과 알파 매트
인물 영역을 0과 1로만 나누는 것과 머리카락 경계의 부분적인 덮임을 추정하는 것은 다르다. 알파 매트는 전경이 화소에 기여하는 정도를 나타낸다. MODNet은 인물 사진에서 이런 세밀한 경계를 다루는 매팅 모델이다.
추가 트라이맵 없이 추정하기
트라이맵은 확실한 전경, 확실한 배경과 불확실한 영역을 지정하는 보조 입력이다. MODNet은 이를 따로 요구하지 않고 RGB 이미지에서 추정한다. 입력이 간단하다는 사실이 모든 배경이나 모든 종류의 물체에 같은 정확도를 보장하지는 않는다.
합성 값의 예
설명용으로 선형적인 한 밝기 채널에서 전경 0.8, 배경 0.2, 알파 0.25라면 합성 값은 0.25×0.8+0.75×0.2=0.35다. 전경과 배경을 모르고 0.35만 관찰하면 알파를 유일하게 결정할 수 없다. 모델은 학습된 시각 단서로 이 모호함을 다룬다.
하위 목표와 실제 영상
여러 하위 목표를 제약으로 연결해 함께 학습하며 다중 스케일 특징과 하위 목표의 일관성을 활용한다. 학습 환경과 실제 사진의 차이는 결과에 영향을 준다. 한 프레임의 경계 오차와 연속 영상에서의 깜빡임은 따로 확인하고 해상도별 실행 시간을 측정한다.
관련 문서
RVM 영상 매팅 / Cutie 영상 객체 분할 / DEVA 영상 분할 / 합성곱 신경망 / XMem / STCN