기존 함수의 실행 연결
Python이나 Pandas로 작성한 함수를 transform에 전달해 다른 계산 엔진에서 실행할 수 있다. 출력 스키마와 매개변수 등을 함께 지정한다. 함수의 처리 논리와 작업을 수행하는 분산 실행 환경을 연결하는 방식이다.
엔진과 자료 처리 흐름
읽기와 변환 및 저장 같은 API를 선택한 엔진의 맥락에서 구성할 수 있다. 로컬 Pandas와 Spark 및 Dask와 Ray 등의 실행을 지원한다. 사용하려는 엔진과 추가 기능에 맞춰 구성 요소를 연결한다.
SQL과 Python의 조합
FugueSQL은 SQL로 전체 자료 처리 흐름을 표현하면서 Python 코드를 호출할 수 있는 인터페이스다. 노트북 확장으로 전용 셀 문법과 구문 강조도 제공한다. SQL의 자료 선택과 함수로 작성한 처리 논리를 하나의 작업 흐름에 조합한다.
관련 문서
Narwhals / Ibis 데이터프레임 / Dask / Ray / Pandas / SQL