위키득계정 ↗
기술

Dataflow 처리 모델

Dataflow 처리 모델기술
연구 발표
VLDB 2015
대상 자료
무한하거나 순서가 뒤섞인 입력
고려 기준
정확성과 지연 및 비용
관련 실행 모델
Apache Beam 모델
Dataflow 처리 모델은 끝없이 들어오거나 순서가 뒤섞인 자료에서 정확성과 응답 지연 및 처리 비용을 조절하기 위한 접근이다. 모든 자료가 도착했다고 확정하기 어렵다는 가정에서 계산의 의미를 정한다.

자료의 완결을 가정하지 않기

새 자료가 계속 도착하고 이전 자료가 철회될 수도 있는 환경에서는 입력이 완전히 끝났는지 알기 어렵다. 이 모델은 자료를 언젠가 완성되는 유한한 묶음으로만 취급하지 않는다.

시간과 결과의 구분

무엇을 계산할지와 어느 사건 시간 범위를 묶을지를 구분한다. 또한 실제 처리 시간 중 언제 결과를 내보낼지, 뒤에 나온 보정 결과가 앞선 결과와 어떤 관계인지도 별도로 다룬다.

요구에 맞는 절충

더 이른 응답과 더 완전한 결과 및 적은 비용을 동시에 최대화하기는 어렵다. Dataflow는 이 선택을 실행 시스템의 우연한 동작이 아니라 프로그래밍 모델에서 표현하도록 하는 데 초점을 둔다.

관련 문서

MillWheel 스트림 처리 / FlumeJava / MapReduce / Naiad 자료 흐름 시스템 / 병렬 컴퓨팅 / 데이터베이스