위키득계정 ↗
기술

Apache ORC

Apache ORC기술
프로젝트 계열
Apache
저장 방향
열 지향
색인 범위
파일과 스트라이프 및 행 그룹
지원 자료
기본 자료형과 복합 자료형
Apache ORC는 Hadoop 계열 분석 작업에 사용하는 열 지향 저장 형식이다. 파일과 스트라이프 및 행 그룹의 통계와 인덱스를 이용해 질의에 필요하지 않은 자료를 건너뛸 수 있다.

열을 중심으로 저장

자료를 열 방향으로 구성해 분석에서 쓰는 속성을 중심으로 접근한다. 구조체와 목록 및 맵 같은 복합 자료형도 지원해 단순한 숫자 표 이상의 자료를 표현한다.

여러 수준의 통계

파일 전체와 각 스트라이프의 열 통계는 파일 끝의 메타데이터에 담긴다. 행 그룹 수준의 인덱스는 통계와 함께 해당 위치로 이동할 정보를 제공한다.

읽을 영역의 선택

질의 조건과 통계를 비교하면 결과가 나올 수 없는 영역을 읽지 않을 수 있다. 값 개수와 결측 여부 및 자료형에 따른 최솟값과 최댓값 같은 정보가 이 판단에 사용된다.

관련 문서

Apache Parquet / Apache Arrow / 인덱스 (데이터베이스) / C 스토어 / Presto 질의 엔진 / 데이터베이스