작은 패치의 한계
무늬 없는 벽이나 반복되는 타일은 작은 패치만 비교하면 여러 시차가 비슷하게 보일 수 있다. PSMNet은 다른 규모와 위치에서 모은 문맥을 활용한다. 주변 정보를 쓴다고 실제로 가려진 면의 대응이 관측되는 것은 아니다.
비용 볼륨의 크기
높이 20, 너비 30, 시차 후보 40개인 스칼라 비용 볼륨에는 24,000개 값이 들어간다. 특징 채널이 8개라면 단순 원소 수는 192,000개다. 설명용 크기이며 실제 네트워크의 특징 해상도나 저장 형식 및 중간 활성값까지 계산한 수치는 아니다.
볼륨 정규화
3차원 합성곱은 영상의 가로와 세로 및 시차 방향의 관계를 함께 처리할 수 있다. 누적 모래시계 구조와 중간 감독을 사용해 비용 볼륨을 정규화한다. 여기서 3차원은 비용 배열의 축이며 실제 공간의 x, y, z 좌표로 바로 해석하는 것은 부정확하다.
결과를 해석하기
시차 지도에서 매끄러운 면과 깊이 경계가 적절히 구분되는지 확인한다. 3차원 볼륨을 사용하는 구성은 메모리와 계산 부담이 있을 수 있다. 같은 영상 크기와 시차 범위에서 비교하고 카메라 보정 오차와 네트워크의 대응 오차도 구분한다.
관련 문서
GwcNet / RAFT-Stereo / IGEV-Stereo / MVSNeRF / 합성곱 신경망 / DUSt3R