계산 형태에 따른 인터페이스
Futures는 임의의 Python 작업을 제출하고 결과를 모으는 계산에 사용한다. DataFrame은 pandas와 유사한 인터페이스를 제공하고 Array는 NumPy의 배열 연산을 큰 자료에 적용하는 데 활용한다.
작은 자료 묶음의 병렬 처리
큰 데이터프레임이나 배열을 여러 자료 묶음의 모음으로 다룬다. Bag은 Python 객체나 텍스트를 병렬로 처리하는 간단한 자료 구조다. 익숙한 연산 표현과 실제 작업 분배를 연결하는 것이 주요 방향이다.
로컬과 분산 환경
단일 장비에서 스레드 풀이나 로컬 클러스터를 사용하거나 여러 장비의 클러스터에 연결할 수 있다. 계산 자원은 클라우드와 고성능 계산 환경 및 Kubernetes 같은 방식으로 배치할 수 있다.
관련 문서
Python / NumPy / pandas / RDD 분산 자료 추상화 / Apache DataFusion / Metaflow