표현식으로 구성하는 질의
필터와 그룹별 집계 및 정렬 같은 연산을 표현식으로 연결한다. 지연 질의는 실행을 요청할 때 최적화한 뒤 수행한다. 자료를 어떻게 변환할지 선언하는 단계와 실제 계산을 수행하는 단계를 나누는 방식이다.
SQL과 데이터프레임의 연결
SQL과 데이터프레임 API는 같은 최적화와 실행 계층을 사용한다. SQL 결과를 다시 표현식으로 처리하는 등 두 방식을 조합할 수 있다. 인터페이스가 달라도 하나의 분석 흐름으로 연결하는 구조다.
실행과 확장
다중 스레드와 벡터화 실행을 제공하며 메모리를 넘는 연산은 디스크에 넘겨 처리할 수 있다. Arrow 열 형식으로 자료를 공유하고 입출력 및 표현식 플러그인으로 기능을 확장한다. 지원 질의에는 선택적으로 GPU 실행도 연결할 수 있다.
관련 문서
Vaex / DuckDB / Apache Arrow / Dask / Pandas / Rust