응용 안에 넣는 질의 엔진
DataFusion은 내장 SQL 엔진으로 사용하거나 새로운 데이터 시스템의 기반으로 수정해 활용할 수 있다. 데이터베이스와 자료 분석 도구 등에서 필요한 질의 계획과 실행 기능을 구성하는 데 쓰인다.
자료 형식과 실행
Parquet와 CSV 및 JSON과 Avro 같은 자료 형식을 지원한다. 벡터 단위 처리와 여러 스레드를 활용하는 실행 엔진을 제공하며 오브젝트 저장소에서 비동기로 자료를 읽는 기능도 갖춘다.
필요한 기능의 확장
사용자 정의 함수와 자료 원천 및 최적화 단계를 추가할 수 있다. 실행 계획과 실행 노드도 확장 대상이다. 기본 엔진을 그대로 사용하는 방식부터 특정 업무의 자료와 연산에 맞게 조정하는 방식까지 지원한다.
관련 문서
Apache Arrow / Apache Parquet / Apache Avro / SQL / Apache Calcite / InfluxDB