위키득계정 ↗
기술

Logstash

Logstash기술
처리 단위
사건 자료
처리 단계
입력과 필터 및 출력
자료 변환
필드 수정과 구조화
인코딩 처리
코덱
Logstash는 사건 자료를 입력받아 변환하고 다른 시스템으로 전달하는 데이터 처리 도구다. 입력과 필터 및 출력으로 이어지는 파이프라인을 구성하며 플러그인으로 다양한 자료 원천과 목적지를 연결한다.

입력에서 출력으로 이어지는 흐름

입력 플러그인은 파일이나 외부 서비스 등에서 자료를 받아 사건을 만든다. 필터는 그 사건을 가공하고 출력은 처리된 자료를 목적지에 보낸다. 하나의 사건을 여러 출력으로 전달하는 구성도 가능하다.

필터로 구조와 내용을 바꾸기

텍스트를 구조화하거나 필드 이름과 값을 수정하는 작업을 필터에 배치할 수 있다. 조건문과 결합하면 정해진 기준에 맞는 사건에만 변환을 적용하거나 필요 없는 사건을 제외할 수 있다.

코덱과 처리 단계의 구분

코덱은 입력이나 출력에 붙어 자료를 인코딩하거나 디코딩한다. JSON 해석이나 여러 줄의 기록을 한 사건으로 묶는 처리를 맡을 수 있다. 이렇게 자료의 표현을 해석하는 작업과 필터의 내용 변환을 나누어 구성한다.

관련 문서

Fluentd / Fluent Bit / JSON / MessagePack / Grafana Loki / 데이터베이스