위키득계정 ↗
기술

조건 디코더 영상 표현

조건 디코더 영상 표현기술
연구
Boosting Neural Representations for Videos with a Conditional Decoder
조건 정보
프레임 번호
특징 조정
시간 인식 아핀 변환
응용
영상 회귀 인페인팅 보간 압축
조건 디코더 영상 표현은 프레임 번호를 조건으로 사용해 신경망 내부 특징을 목표 프레임에 맞추는 영상 표현 강화 방법이다. 시간 인식 아핀 변환과 정현파 블록을 이용하고, 고주파 정보를 보존하는 복원 손실을 함께 사용한다.

중간 특징과 목표 프레임

신경망으로 영상을 표현할 때 중간 특징이 복원하려는 프레임과 충분히 맞지 않으면 표현 능력을 제대로 활용하기 어렵다. 이 방법은 기존 암시적 영상 표현을 강화하는 범용 구성을 제안한다.

시간을 조건으로 한 디코딩

프레임 번호를 사전 조건으로 사용하고 시간 인식 아핀 변환 모듈로 중간 특징을 조정한다. 정현파 기반 NeRV 계열 블록을 더해 다양한 특징을 생성하고 매개변수 분포를 균형 있게 만드는 방향도 다룬다.

복원과 압축의 연결

고주파 정보를 보존하는 복원 손실을 이용하고 엔트로피 최소화 기법을 통합해 영상 코덱을 구성한다. 복원 품질이나 수렴 속도와 최종 비트스트림의 압축 효율은 서로 관련되지만 동일한 측정값은 아니다. 저장 비트수와 복원 오차를 함께 확인해야 한다.

조건 조정의 독립 계산

설명용 특징 x=3에 시간별 아핀 변환 2x+1을 적용하면 7이 된다. 다른 시간에서 x-1을 사용하면 2다. 실제 모형 계수나 연산 순서를 재현한 값이 아니라 같은 특징도 조건별로 달리 조정할 수 있다는 뜻을 보여 준다.

관련 문서

NeRV / HNeRV / ENeRV / HiNeRV / DNeRV / DSNeRV