압축 표현과 확률 모형
이미지를 잠재 표현으로 바꾸는 변환과 그 값을 몇 비트로 저장할지 결정하는 확률 추정은 서로 다른 구성 요소다. S2LIC는 두 측면을 함께 다룬다. 좋은 특징을 얻는 것뿐 아니라 그 특징의 의존성을 효과적으로 설명해야 한다.
슬라이스 사이의 문맥
잠재 표현을 여러 슬라이스로 나누고 병렬 체커보드 문맥에서 ACGC 엔트로피 모형을 적용한다. 슬라이스 내부와 슬라이스 사이의 특징을 모은다. 적응형 전역 주의에서는 변형 주의를 이용해 실제 공간 관계와 문맥에 맞게 가중치를 조정한다.
주 변환 구조
잔차 SwinV2 트랜스포머로 전역 특징 정보를 포착하고 조밀 블록을 특징 향상 모듈로 사용한다. 변환 내부에서 이미지의 비선형 표현을 강화하려는 구성이다. 문맥 추정망의 역할과 주 변환망의 역할을 나누어 이해하면 구조를 파악하기 쉽다.
슬라이스 안과 밖의 예
설명용으로 두 슬라이스가 각각 (0, 1, 0, 1)을 갖는다면 각 슬라이스 안에는 반복이 있고 두 슬라이스 사이에도 일치가 있다. 한 방향의 관계만 보면 다른 중복을 놓칠 수 있다. 실제 잠재 차원이나 모델의 예측값이 아닌 문맥 관계의 예다.
관련 문서
eContextformer / ELIC 이미지 압축 / 체커보드 문맥 모형 / 채널 조건부 엔트로피 모형 / 스케일 하이퍼프라이어 / 가우시안 혼합 이미지 압축