위키득계정 ↗
기술

Pinot 분석 시스템

Pinot 분석 시스템기술
초기 개발 조직
LinkedIn
연구 발표
SIGMOD 2018
주요 작업
사용자 대상 OLAP 질의
수집 대상
스트리밍 자료 원천
Pinot은 스트림에서 들어오는 자료를 빠르게 수집하면서 많은 사용자의 분석 질의를 처리하기 위한 시스템이다. LinkedIn에서 개발됐으며 사용자에게 직접 제공되는 대화형 분석을 주요 대상으로 삼았다.

조회와 수집을 함께 처리

서비스에 분석 기능을 제공하려면 최근 자료를 반영하는 동시에 많은 질의에 응답해야 한다. Pinot의 초기 연구는 높은 자료 유입량과 동시 질의량 및 짧은 응답 지연을 함께 다루는 문제에 주목했다.

새 자료의 빠른 반영

자료를 큰 묶음으로 적재하는 작업이 끝나기만 기다리면 사용자는 최근 변화를 늦게 보게 된다. Pinot은 스트림 자료의 실시간에 가까운 수집을 지원해 이런 분석 요구에 대응한다.

운영 환경에서의 평가

연구는 LinkedIn에서 사용한 시스템의 설계와 운영 요구를 설명했다. 유사한 분석 저장소인 Druid와도 비교했으며, 결과는 해당 실험의 작업 부하와 구성에 관한 평가다.

관련 문서

Druid 분석 저장소 / Presto 질의 엔진 / HadoopDB / Dremel 분석 시스템 / 병렬 컴퓨팅 / 데이터베이스