여러 자료 유형의 처리
표 형태의 자료와 이미지 및 음성·영상과 임베딩을 같은 처리 체계에서 다룬다. 일반적인 구조화 자료 분석과 AI 입력 준비를 연결하는 것이 목적이다. 서로 다른 자료 유형을 따로 떨어진 도구에서만 다루지 않도록 구성한다.
AI 연산과 외부 연결
프롬프트 실행과 임베딩 생성 및 자료 분류 같은 연산을 제공한다. 외부 모델 서비스와 Transformers 또는 사용자 정의 모델을 연결할 수 있다. 모델의 추론을 자료 처리 흐름의 한 단계로 구성하는 방식이다.
실행 환경과 저장소
로컬에서 시작해 Ray나 Kubernetes를 사용하는 분산 환경으로 연결할 수 있다. 객체 저장소와 Iceberg 및 Delta Lake 같은 자료 체계에도 접근한다. 자료를 읽는 위치와 연산을 수행할 환경을 함께 구성하는 엔진이다.
관련 문서
Datatable Python / Polars / Ray / Apache Iceberg / Delta Lake / Python