익숙한 데이터프레임 인터페이스
Pandas의 사용 흐름을 유지하면서 자료와 계산을 분산하는 것을 지향한다. modin.pandas 인터페이스로 데이터프레임을 사용한다. 모든 API의 병렬 지원이 같은 것은 아니므로 사용하는 기능의 지원 범위를 구분할 필요가 있다.
계산 엔진과 작업 배분
설치된 실행 엔진을 감지하거나 설정으로 엔진을 지정할 수 있다. Ray와 Dask 및 Unidist를 통한 MPI 등의 구성이 있다. 로컬 실행에서도 필요한 계산 환경을 만들고 관리해 작업을 여러 자원에 배분한다.
큰 자료와 구성의 분리
메모리보다 큰 자료나 클러스터 환경의 데이터프레임 처리도 지원한다. 모듈식 구조로 상위 데이터프레임 인터페이스와 실행 구성 요소를 연결한다. 코드가 사용하는 API와 실제 계산을 맡는 엔진을 나누어 구성하는 방식이다.
관련 문서
Ibis 데이터프레임 / Polars / Vaex / Dask / Ray / Pandas