위키득계정 ↗
기술

Apache Kudu

Apache Kudu기술
저장 구조
열 지향
행 식별
하나 이상의 열로 구성한 기본 키
분산 단위
Tablet
복제 합의
Raft
Apache Kudu는 자료를 열 단위로 저장하면서 기본 키를 통한 개별 행의 조회와 갱신 및 삭제도 지원하는 분산 저장 시스템이다. 분석 엔진과 연결해 새로 들어오거나 변경되는 자료를 처리한다.

분석과 행 변경을 함께 다루기

테이블의 열에는 자료형이 정해져 있고 행은 기본 키로 식별한다. 키를 사용한 개별 행 접근과 배치 분석을 같은 저장 자료에 적용할 수 있다. Java와 C++ 및 Python API로도 접근한다.

열 저장과 분산 배치

열별 저장은 자료의 인코딩과 압축 및 분석에 필요한 열의 읽기에 활용된다. 테이블은 Tablet이라는 단위로 나뉘며 해시나 범위 또는 두 방식을 조합해 분할할 수 있다. Tablet의 변경 복제에는 Raft 합의를 사용한다.

자료 처리 생태계와 연결

들어오는 자료를 저장한 뒤 Spark와 Impala 및 MapReduce 같은 도구로 처리할 수 있다. 저장 시스템이 자료의 보관과 행 접근을 맡고 연결된 분석 엔진이 질의와 처리 작업을 수행하는 구조다.

관련 문서

ClickHouse / Raft / MapReduce / Bigtable / Apache Parquet / 데이터베이스