렌더링 중 영상 참조
새 영상을 그릴 때에도 가까운 입력 시점의 색과 특징을 활용한다. 따라서 학습된 가중치만으로 장면의 모든 정보를 대신하는 구성과는 다르다. 어떤 입력 시점이 제공되는지와 그 시점에서 실제로 보이는 부분이 결과에 영향을 준다.
가시성을 고려하기
같은 공간 위치를 여러 영상에 투영해도 일부 영상에서는 앞의 물체에 가려질 수 있다. IBRNet은 특징을 모으고 광선 위 정보를 고려해 밀도와 외관을 계산한다. 단순히 모든 입력 사진의 같은 화소를 평균하는 방식으로 이해하면 공간 대응과 가림 문제를 놓치게 된다.
평균만으로 부족한 예
두 카메라 중 하나에서만 빨간 물체가 보이고 다른 카메라에서는 그 앞의 파란 판이 보인다고 하자. 색을 무조건 절반씩 섞으면 보라색이 되지만 그 위치의 실제 물체 색을 나타낸다고 할 수 없다. 관측의 가시성을 판단해야 하는 이유를 설명하는 예다.
공유 학습과 장면별 조정
일반화된 모델로 새 장면을 처리하는 경우와 그 장면에서 추가 미세 조정을 하는 경우는 구분한다. 필요한 영상 수와 실행 비용도 함께 비교해야 한다. 입력 시점 밖에서 드러나는 영역의 품질을 확인하며 장면별 조정을 포함한 결과를 즉시 추론 성능으로 혼동하지 않는다.