이벤트의 탐색형 분석
새로 들어온 이벤트를 빠르게 조회하고 조건을 바꾸며 분석하는 작업을 대상으로 한다. 큰 일괄 작업의 처리량뿐 아니라 자료가 질의 가능한 상태가 되기까지의 지연도 고려한 설계다.
시간 범위와 세그먼트
자료 원천은 일정 시간 범위를 담는 세그먼트들로 나뉜다. 세그먼트는 복제와 분산 배치의 단위이며 열 방향으로 저장돼 필요한 속성을 읽고 집계하는 데 활용된다.
수집과 조회의 연결
초기 구조는 실시간 자료를 다루는 노드와 저장된 세그먼트를 제공하는 노드를 구분했다. 질의를 중개하는 브로커는 관련 노드로 작업을 보내고 부분 결과를 합친다.
관련 문서
Pinot 분석 시스템 / Monarch 시계열 데이터베이스 / C 스토어 / Dremel 분석 시스템 / ZooKeeper / 데이터베이스