위키득계정 ↗
기술

Apache Samza

Apache Samza기술
시스템 유형
분산 스트림 처리
응용 특성
상태 유지 처리
처리 인터페이스
Streams DSL과 SQL 등의 API
실행 방식
YARN 또는 독립 라이브러리 등
Apache Samza는 여러 원천의 자료를 실시간으로 처리하는 분산 스트림 처리 프레임워크다. 상태를 유지하는 응용을 작성할 수 있으며 실행 환경과 자료 원천을 플러그인 방식으로 연결한다.

상태를 사용하는 연속 처리

들어오는 자료를 처리하면서 이전 처리의 상태를 유지하는 응용을 만들 수 있다. Kafka 같은 스트림 원천과 연결하며 증분 체크포인트와 배치 위치를 고려하는 기능을 제공한다.

응용 작성 인터페이스

저수준 API와 Streams DSL 및 Samza SQL 같은 표현 방식을 지원한다. 같은 코드로 배치와 스트리밍 자료를 처리하는 기능도 제공해 업무의 표현과 자료가 들어오는 방식을 연결한다.

원천과 실행 환경의 선택

YARN과 독립 라이브러리 같은 배치 방식을 사용할 수 있다. Kafka와 HDFS 및 클라우드 이벤트 서비스 등의 연결을 제공하므로 자료 원천과 처리 응용 및 실행 환경을 조합해 구성한다.

관련 문서

Apache Tez / MillWheel 스트림 처리 / Naiad 자료 흐름 시스템 / Dataflow 처리 모델 / SQL / MapReduce