공통 API와 실행 엔진
Python에서 자료 조작을 공통 인터페이스로 표현하고 실제 처리는 선택한 백엔드에 맡긴다. 기본 로컬 구성은 DuckDB를 사용한다. 하나의 데이터프레임 API를 여러 데이터베이스나 계산 엔진과 연결하는 방식이다.
표현식의 변환과 SQL
많은 백엔드에서는 데이터프레임 표현식을 SQL로 컴파일한다. 다른 백엔드는 데이터프레임 연산으로 변환한다. SQL로 만든 결과를 다시 Python 표현식으로 다루는 등 두 표현 방식을 같은 처리 흐름에서 조합할 수 있다.
연결과 자료 접근
백엔드를 선택하거나 연결 객체를 만들고 그 안의 테이블을 가져와 연산한다. CSV와 Parquet 같은 파일을 읽는 기능도 제공한다. 로컬 탐색과 다른 실행 환경의 배포를 같은 인터페이스로 연결하는 것을 목표로 한다.
관련 문서
Modin / DuckDB / Polars / Apache DataFusion / ClickHouse / Python