위키득계정 ↗
기술

Blosc2

Blosc2기술
주요 대상
수치 배열과 바이너리 자료
대표 구현
C-Blosc2
주요 구성
코덱과 필터
다차원 계층
B2ND
Blosc2는 수치 배열과 텐서 등 바이너리 자료를 압축하고 저장하는 형식과 라이브러리다. 여러 코덱과 필터를 조합하며 다차원 자료를 나누어 압축 상태에서 필요한 부분에 접근하는 구성을 제공한다.

압축 방식의 조합

자료의 성격에 맞춰 압축 코덱과 필터를 선택하는 프레임워크다. 압축률과 처리 속도 등의 조건에 맞춰 구성을 조정한다. 메모리 안의 자료 처리와 영속 저장에 사용할 수 있는 형식을 함께 제공한다.

다차원 자료의 분할

B2ND 계층은 다차원 배열을 두 단계로 나누어 저장하고 읽는 기능을 제공한다. 큰 압축 자료에서 원하는 영역을 더 세밀하게 선택하는 데 활용한다. 배열의 논리적 차원과 압축 자료의 분할을 연결하는 방식이다.

구현과 호환 범위

C 구현과 Python 래퍼를 제공하고 저장 형식의 명세를 공개한다. 이전 Blosc의 API와 메모리 형식에 대한 호환성을 제공하지만 새 형식의 자료를 이전 구현이 모두 읽을 수 있는 것은 아니다. 호환되는 API와 저장 형식의 방향을 구분할 필요가 있다.

관련 문서

TileDB / Zarr / HDF5 / NumPy / Python / 데이터 압축