재사용할 중간 자료
반복 알고리즘과 대화형 분석은 같은 중간 결과를 여러 번 사용한다. RDD는 이런 자료를 메모리에 유지하도록 지정하고 여러 계산에서 재사용할 수 있게 한다.
변환과 계보
RDD는 저장된 자료나 다른 RDD에 결정적인 변환을 적용해 만든다. 개별 값을 계속 수정하는 대신 여러 항목에 적용할 변환을 표현하므로 생성 과정을 계보로 기록할 수 있다.
분할 단위의 복구와 저장
일부 분할을 잃어도 어떤 입력과 변환으로 만들었는지 알면 해당 부분을 재계산할 수 있다. 메모리 유지 여부와 분할 방식을 조절하며, 저장 전략에 따라 디스크나 복제도 활용할 수 있다.
관련 문서
MapReduce / FlumeJava / Dryad 분산 실행 / Pregel 그래프 처리 / 병렬 컴퓨팅 / 불변객체