위키득계정 ↗
기술

Apache NiFi

Apache NiFi기술
주요 역할
시스템 간 자료 흐름 관리
자료 객체
FlowFile
연산 단위
Processor
흐름 연결
큐와 역압력
Apache NiFi는 시스템 사이의 자료 흐름을 자동화하고 관리하는 소프트웨어다. 처리기들을 연결한 흐름으로 자료의 수집과 변환 및 전달을 구성하고 자료가 지나간 과정을 추적한다.

자료와 속성을 함께 전달

FlowFile은 흐름 안에서 이동하는 자료 객체다. 실제 내용과 이름 및 값으로 된 속성을 함께 표현한다. Processor는 이 속성과 내용에 접근해 라우팅과 변환 및 시스템 사이의 중개 작업을 수행한다.

속도가 다른 단계의 연결

처리기 사이의 연결은 큐처럼 동작해 앞뒤 단계가 서로 다른 속도로 실행되도록 한다. 큐의 부하에 상한을 두어 역압력을 적용할 수 있고 처리기와 연결을 묶어 재사용할 그룹을 구성할 수 있다.

상태와 내용 및 이력의 관리

FlowFile 저장소는 현재 흐름에 있는 객체의 상태를 관리하고 Content 저장소는 실제 내용 바이트를 보관한다. Provenance 저장소는 자료 흐름의 사건 이력을 저장하고 검색하도록 한다. 흐름을 구성하는 기능과 실행 중의 추적 기능이 함께 제공된다.

관련 문서

Apache Camel / Debezium / Apache Kafka / Apache Avro / JSON / OpenTelemetry