자료의 범위를 함께 표현하기
배치 원천의 유한 자료와 스트림 원천의 끝나지 않는 자료를 같은 모델에서 표현한다. 같은 변환 개념으로 두 종류의 입력을 다루므로 처리 흐름의 논리를 공통 방식으로 작성할 수 있다.
정의와 실행 환경의 연결
SDK는 자료 집합과 변환으로 구성한 파이프라인을 만든다. Runner는 이를 선택한 실행 백엔드의 API에 맞게 변환한다. Flink와 Spark 및 Google Cloud Dataflow 같은 환경으로 연결하는 Runner가 제공된다.
분석과 자료 통합의 활용
문제를 독립적으로 처리할 작은 자료 묶음들로 나눌 수 있는 작업에 활용한다. 원천에서 자료를 추출하고 형식을 변환해 다른 저장소로 보내는 ETL과 자료 통합 파이프라인도 적용 대상이다.
관련 문서
Dataflow 처리 모델 / Apache Samza / Apache Tez / MapReduce / FlumeJava / RDD 분산 자료 추상화