배경을 한 장 더 촬영하기
일상적인 사진이나 영상에서 사람을 정교하게 분리하는 문제를 다룬다. 촬영할 때 인물이 빠진 배경도 추가로 얻어 단서로 사용한다. 녹색 배경을 준비하거나 각 영상의 트라이맵을 직접 그리는 방식과 입력 조건이 다르다.
전경 색과 알파
매트는 단순한 물체의 이진 마스크가 아니라 픽셀별 전경 색과 알파를 포함한다. 경계의 반투명 성질을 다루기 위해 두 정보가 필요하다. 인물의 대략적인 영역이 맞는 것과 머리카락 주변 합성이 자연스러운 것은 다른 평가다.
합성과 실제 자료의 연결
먼저 합성된 정답 자료로 지도 학습한 매팅망을 만든다. 이후 첫 망과 합성 품질을 판별하는 판별기의 안내로 다른 망을 학습해 주석 없는 실제 영상과의 차이를 줄인다. 수작업 트라이맵이 없다는 조건을 정답 학습 자체가 없다는 뜻으로 확대하면 안 된다.
배경 차이의 독립 예
설명용으로 인물이 빠진 뒤 커튼이 움직이면 배경 사진과 인물 사진의 경계가 달라질 수 있다. 배경 입력을 얻었다는 사실만으로 완벽한 대응이 보장되지는 않는다. 실제 연구 이미지를 옮기지 않은 추가 관측의 조건에 대한 예다.
관련 문서
Background Matting V2 / FBA 매팅 / RVM 영상 매팅 / DART 배경 매팅 / 지식 증류 / 베이즈 정리