위키득계정 ↗
기술

Dremel 분석 시스템

Dremel 분석 시스템기술
개발 조직
Google
연구 발표
VLDB 2010
분석 대상
읽기 전용 중첩 자료
핵심 구성
열 방향 배치와 다단계 실행 트리
Dremel은 읽기 전용 중첩 자료를 대화형 질의로 분석하기 위한 Google의 시스템이다. 열 방향 자료 배치와 여러 단계의 실행 트리를 결합해 대규모 집계 질의를 처리한다.

중첩 자료의 열 방향 표현

중첩된 레코드를 분석할 때도 필요한 필드 중심으로 읽을 수 있도록 열 방향의 저장 표현을 사용한다. 2010년 연구는 이런 레코드를 열 형태로 표현하는 방식을 주요 기여로 제시했다.

여러 단계의 질의 실행

실행 트리는 여러 처리 단계와 작업 노드에 걸쳐 질의를 수행하는 구성이다. Dremel은 이를 열 방향 배치와 결합해 큰 자료에 대한 집계를 대화형으로 처리하는 것을 목표로 했다.

일괄 처리와의 관계

초기 연구는 Dremel을 MapReduce 기반 계산을 보완하는 시스템으로 설명했다. 자료 처리 전반을 대체하기보다 읽기 전용 자료에 대한 분석 질의를 중심으로 역할을 구분했다.

관련 문서

Bigtable / SQL / 데이터베이스 / 관계형 데이터베이스 / MonetDB X100 / 병렬 컴퓨팅