시간 연속성을 계산에 활용하기
연속 영상의 각 프레임에 깊은 망 전체를 반복 실행하는 대신 계산을 시간축으로 분산한다. 깊은 층의 특징을 여러 얕은 부분망의 특징 조합으로 근사할 수 있다는 관찰에서 출발한다.
프레임별 부분 특징
부분망들을 연속 프레임에 배치해 각 시점에는 한 부분망으로 가벼운 특징 그룹을 추출한다. 분할에 사용할 전체 특징은 다시 조합한다. 각 프레임의 계산이 줄어드는 대신 시간에 걸친 정보의 정렬이 중요해진다.
전파와 증류
주의 전파 모듈로 프레임 간 기하 변형을 보완하며 특징을 합친다. 그룹별 지식 증류 손실을 도입해 전체 특징과 부분 특징 수준의 표현력을 높인다. 단순히 이전 프레임의 분할 지도를 그대로 복사하는 방식과는 다르다.
시간 변화의 독립 예
설명용으로 카메라가 급히 회전해 이전 프레임의 벽이 화면에서 사라질 수 있다. 과거 특징을 재사용할 때 위치 보정과 정보의 유효성을 확인해야 한다. 실제 연구 실패 사례를 인용하지 않은 시간 분산 표현의 평가 관점이다.
관련 문서
의미 분할 / DeepLab / HRNet / SMC 플러스플러스 / 광학 흐름 / 조건 디코더 영상 표현