색만으로 나누기 어려울 때
배경 매팅에서는 조명 변화나 예상하지 못한 그림자가 전경 구분을 어렵게 할 수 있다. DART는 RGB 카메라만의 한계를 보완하기 위해 깊이 정보를 더한다. 정적인 배경을 전제로 하는 문제 설정을 확인해야 한다.
깊이 사전을 이용한 정제
기존 RGB 기반 배경 매팅에 깊이를 통합한다. 출력은 배경 깊이 사전을 넣은 베이지안 추론으로 정제한다. 색이나 밝기가 비슷한 영역에서도 거리 단서를 활용하는 방향이다. 깊이 센서의 오차가 없는 것으로 가정해서는 안 된다.
트라이맵과 알파 매트
정제한 사후 예측을 트라이맵으로 바꾼 뒤 매팅 알고리즘에 전달해 알파 매트를 얻는다. 큰 범용 배경 매팅망에서 기반망을 증류해 실시간 처리를 지향한다. 장치와 입력 크기가 다른 환경의 지연은 직접 확인해야 한다.
경계 처리의 독립 예
설명용으로 어깨 뒤의 그림자는 색으로는 전경과 비슷해도 배경 표면에 놓여 있을 수 있다. 깊이는 구분 단서가 되지만 머리카락 같은 가는 경계의 정확성은 별도로 살펴야 한다. 실제 실험 이미지를 옮기지 않은 색과 거리 단서의 예다.
관련 문서
이미지 매팅 / 배경 매팅 / Robust Video Matting / MODNet / 베이즈 정리 / 지식 증류