자세 오차와 장면
카메라의 위치나 방향이 잘못되면 여러 사진의 광선이 서로 맞지 않는다. 이 상태에서 색만 맞추려 하면 형상과 카메라 오류가 뒤섞일 수 있다. BARF는 카메라 프레임의 정렬과 장면 학습을 함께 다루는 문제로 접근한다.
주파수를 점진적으로 사용하기
좌표 인코딩의 고주파 성분을 처음부터 모두 적용하면 정렬을 어렵게 만들 수 있다. BARF는 주파수 대역에 부드러운 가중을 두고 최적화 진행에 따라 활성화한다. 처음의 매끄러운 표현으로 정렬을 돕고 이후 세부 구조를 표현하도록 한다.
작은 이동의 예
f(x)=sin(2πkx)의 기울기 최대 크기는 2πk다. k가 1에서 8로 커지면 최대 기울기도 여덟 배가 된다. 좌표의 작은 변화가 고주파 신호에서 크게 나타날 수 있다는 예이며 실제 카메라 자세 오차와 영상 오차의 관계가 이 식 하나로 결정되지는 않는다.
수렴 조건과 평가
카메라 자세를 함께 학습한다고 어떤 초기값에서도 올바른 해를 찾는 것은 아니다. 영상의 겹침과 장면의 무늬, 초기화 조건이 영향을 줄 수 있다. 재현한 이미지의 품질뿐 아니라 카메라 궤적이 서로 일관적인지 확인하고 장면 크기의 기준도 구분해 해석한다.