확률 추정의 계산 부담
학습형 압축에서는 잠재 표현의 확률을 잘 추정하면 부호 길이를 줄일 수 있다. 문맥을 풍부하게 쓰는 트랜스포머는 계산 부담도 커질 수 있다. eContextformer는 압축 성능과 복호 계산 비용 사이의 균형을 다룬다.
그룹과 이동 창
패치 단위와 체커보드, 채널 단위 그룹을 함께 사용해 문맥 처리를 병렬화한다. 공간과 채널을 함께 살피는 이동 창 주의를 도입한다. 모든 기호를 서로 독립적으로 처리한다는 뜻이 아니라 사용 가능한 문맥을 구조화하는 접근이다.
이전 계산을 다시 쓰기
복호 과정에서 주의 범위를 동적으로 조절하고 앞선 주의 계산을 캐시한다. 반복되는 작업을 줄이는 최적화다. 문맥 모형이 가벼워지면 온라인 비트율 및 왜곡 최적화에 사용할 여유도 생길 수 있다.
기호 확률의 예
설명용 기호의 예측 확률이 1/16에서 1/4로 바뀌면 이상적인 정보량은 4비트에서 2비트로 줄어든다. 실제 파일에는 다른 기호와 부가 정보도 포함된다. 특정 기호의 정보량 변화가 전체 파일을 절반으로 만든다는 뜻은 아니다.
관련 문서
체커보드 문맥 모형 / ELIC 이미지 압축 / 채널 조건부 엔트로피 모형 / 가우시안 혼합 이미지 압축 / 스케일 하이퍼프라이어 / S2LIC