위키득계정 ↗
기술

Vaex

Vaex기술
대상 언어
Python
주요 대상
큰 표 형태 자료
접근 방식
메모리 매핑과 지연 실행
주요 기능
집계와 시각적 탐색
Vaex는 큰 표 자료를 지연 실행과 메모리 매핑으로 탐색하는 Python 데이터프레임 라이브러리다. 필요한 시점에 자료를 읽고 표현식을 계산하며 통계 집계와 시각화를 연결한다.

메모리에 모두 올리지 않는 접근

디스크의 자료를 메모리 매핑으로 접근하고 필요한 시점에 읽는 방식을 활용한다. HDF5와 Arrow 형식을 지원한다. 필터와 표현식을 적용할 때 원본 자료를 디스크에 유지하며 계산을 지연하는 데이터프레임 구조다.

표현식과 그룹별 계산

열의 변환을 표현식으로 정의하고 값이 필요할 때 계산한다. 평균과 합계 및 개수와 표준편차 같은 통계와 그룹별 집계를 제공한다. 큰 자료의 탐색에 필요한 요약 계산을 데이터프레임 연산과 연결한다.

시각화와 개발 환경

히스토그램과 밀도 그래프 및 입체 볼륨 표현으로 자료를 탐색할 수 있다. Jupyter와 Voila를 이용한 노트북과 대시보드 통합도 제공한다. 원자료의 읽기와 집계 결과 및 시각적 탐색을 함께 구성하는 도구다.

관련 문서

Polars / Xarray / HDF5 / Apache Arrow / Pandas / Python