위키득계정 ↗
기술

Background Matting V2

Background Matting V2기술
관련 논문
Real-Time High-Resolution Background Matting
보조 입력
대상 없는 배경 사진
기본 처리
저해상도 결과 추정
정제 처리
선택한 고해상도 패치
Background Matting V2는 대상이 없는 배경 사진을 추가로 사용해 전경과 알파 매트를 추정하는 방법이다. 낮은 해상도의 기본 결과를 만들고 필요한 고해상도 패치만 정제하는 두 네트워크 구성을 사용한다.

빈 배경을 관측하는 이유

한 화소에 전경과 배경이 섞이면 원래 두 색과 알파를 동시에 알아내기 어렵다. 대상이 없는 배경 사진은 그중 배경에 대한 추가 단서를 제공한다. RGB 한 장만 쓰는 인물 매팅과 촬영 조건이 다르다.

전체 추정과 국소 정제

기본 네트워크가 낮은 해상도에서 결과를 계산하고 두 번째 네트워크가 선택된 고해상도 패치를 정제한다. 머리카락처럼 세밀한 영역의 품질과 전체 비용을 함께 다루는 설계다. 모든 위치에 같은 정제 계산을 적용한다는 뜻은 아니다.

패치 선택의 비용 예

설명용으로 같은 크기의 패치가 100개이고 그중 15개만 정제하면 정제 대상의 비율은 15%다. 그래도 기본 네트워크의 전체 처리와 패치 선택 비용은 남는다. 전체 실행 시간이 85% 감소한다고 단순히 계산할 수는 없다.

추가 사진과 실제 조건

배경 사진을 찍은 뒤 조명이나 카메라 위치가 바뀌면 관측 차이가 생길 수 있다. 배경이 움직이는 조건과 얇은 경계를 나누어 확인해야 한다. 비교에서는 보조 입력의 유무, 해상도 및 정제량을 명시하고 전경 색과 알파 및 최종 합성의 품질을 각각 평가한다.

관련 문서

MODNet / RVM 영상 매팅 / Cutie 영상 객체 분할 / 합성곱 신경망 / STCN / XMem