같은 위치로 여러 표면이 올 때
입력의 여러 위치가 중간 프레임의 같은 위치에 대응하면 어떤 표면이 보일지 판단해야 한다. 단순 평균은 앞뒤 물체를 섞을 수 있다. DAIN은 깊이 단서를 이용해 가림 관계를 다루는 방법이다.
가까운 표면을 우선하기
깊이 인지 투영은 중간 흐름을 구성할 때 가까운 물체의 표본을 우선하도록 설계한다. 계층 특징으로 주변 문맥도 얻고 입력 영상, 깊이 및 문맥을 변형해 출력에 활용한다. 깊이 추정 자체가 틀리면 가림 처리도 영향을 받을 수 있다.
혼합이 만드는 색의 예
설명용으로 앞의 빨간 물체와 뒤의 파란 물체가 같은 화면 위치에 겹친다고 하자. 불투명한 전경이라면 보이는 색은 앞의 빨강이지만 두 색을 평균하면 보라가 된다. 이 예는 가림 선택의 필요성을 보여주며 모델의 실제 합성 공식은 아니다.
보간과 실제 촬영의 차이
깊이 정보를 활용해도 가려진 부분의 내용이 완전히 관측되는 것은 아니다. 깊이 경계와 큰 움직임, 얇은 물체를 나누어 확인해야 한다. 깊이 및 광류 추정과 최종 합성의 비용을 포함하고 입력 간격 및 출력 수를 맞춰 품질과 실행 지연을 비교한다.
관련 문서
RIFE / FILM 프레임 보간 / Super SloMo / RAFT 광류 추정 / 광류 / Depth Anything