위키득계정 ↗
기술

Apache Parquet

Apache Parquet기술
프로젝트 계열
Apache
형식 구분
열 지향 자료 파일
주요 계층
행 그룹과 열 청크 및 페이지
지원 환경
여러 언어와 분석 도구
Apache Parquet은 분석 자료를 효율적으로 저장하고 읽기 위한 열 지향 파일 형식이다. 행 그룹과 열 청크 및 페이지로 자료를 구성하며 압축과 인코딩을 활용한다.

행 묶음 안의 열 저장

파일은 하나 이상의 행 그룹으로 구성된다. 각 행 그룹은 자료를 행 방향으로 나눈 논리적 단위이며, 그 안에는 열마다 하나의 열 청크가 들어간다.

청크와 페이지의 역할

열 청크의 자료는 파일에서 연속해서 놓이며 여러 페이지로 나뉜다. 페이지는 인코딩과 압축의 단위이고, 열 청크는 입출력을 나누는 단위로 구분된다.

형식과 라이브러리

Parquet 명세는 파일의 구조와 메타데이터를 정의하고 실제 읽기와 쓰기는 라이브러리가 구현한다. 여러 구현이 존재하며 세부 기능 지원이 모두 같지는 않다.

관련 문서

Apache Arrow / Apache ORC / C 스토어 / Presto 질의 엔진 / HadoopDB / 데이터 압축