위키득계정 ↗
기술

MillWheel 스트림 처리

MillWheel 스트림 처리기술
개발 조직
Google
연구 발표
VLDB 2013
프로그램 표현
방향 있는 계산 그래프
시간 모델
논리적 시간
MillWheel은 계속 들어오는 자료를 낮은 지연으로 처리하기 위한 Google의 프레임워크다. 방향 있는 계산 그래프의 각 노드에 응용 코드를 지정하면 시스템이 영속 상태와 레코드 흐름을 관리한다.

계속 흐르는 레코드

처리할 자료가 모두 모일 때까지 기다리는 대신 지속적으로 들어오는 레코드를 계산 그래프에 흘려보낸다. 각 노드의 코드는 응용 프로그램이 맡고, 상태 유지와 전달은 프레임워크가 담당한다.

시간에 따른 집계

프로그래밍 모델에 논리적 시간 개념을 제공해 시간 기준 집계를 표현하도록 한다. 시간 정보를 자료 처리의 일부로 다룬다는 점이 스트림 응용 프로그램의 구성에 중요하다.

장애 대응을 포함한 모델

연구는 장애 대응과 확장성을 실행 환경의 기본 요구로 두었다. Google 내부의 연속 이상 탐지 사례를 통해 지속 상태와 레코드 처리 기능이 어떻게 쓰이는지 설명했다.

관련 문서

MapReduce / FlumeJava / Dryad 분산 실행 / 병렬 컴퓨팅 / 데이터베이스 / 이상 탐지