DEVA 영상 분할

대상을 찾기와 이어가기

한 프레임에서 어떤 영역이 대상인지 찾는 문제와 다음 프레임에서 그 영역을 유지하는 문제는 다르다. DEVA는 작업에 맞는 이미지 분할 모델과 범주 및 작업에 덜 종속적인 시간 전파 모델을 결합한다. 작업마다 전체 영상 모델을 다시 학습하는 부담을 줄이려는 접근이다.

여러 프레임의 가설 결합

프레임별 분할 결과가 흔들릴 수 있어 여러 시점의 가설을 양방향 전파로 조정한다. 일관된 결과를 만드는 과정이지 시간적으로 일치하기만 하면 정답이 된다는 뜻은 아니다. 이미지 모델이 놓친 대상이나 잘못된 구분이 후속 전파에도 영향을 줄 수 있다.

미래 정보와 대기의 예

설명용으로 현재 판단에 3프레임 뒤의 관측까지 사용하면 초당 30프레임에서 0.1초의 관측 대기가 필요하다. 계산과 전송 시간은 추가된다. 이는 실제 DEVA의 고정 설정이 아니며 양방향 정보 사용과 즉시 출력의 차이를 보여주는 예다.

분리 구조의 활용 범위

범주가 많은 영상 분할이나 언어로 대상을 지정하는 작업 등에서 이미지 모델을 바꾸어 활용할 수 있다. 모든 물체와 작업을 완벽하게 처리한다는 이름으로 해석해서는 안 된다. 이미지 분할 품질, 시간 전파 정확도와 전체 지연을 각각 확인하고 온라인 조건의 정보 범위도 명시한다.