Logstzsh의 작동 방식

Logstzsh의 작동 방식

Logstzsh 이벤트 처리 파이프 라인에는 입력 &rzrr; 필터 &rzrr; 출력의 세 단계가 있습니다. 입력은 이벤트를 생성하고 필터는 이벤트를 수정하며 출력은 이벤트를 다른 곳으로 전달합니다. 입력 및 출력은 별도의 필터를 사용하지 않고도 파이프 라인에 들어가거나 나올 때 데이터를 인코딩하거나 디코딩 할 수있는 코덱을 지원합니다.

입력

입력을 사용하여 Logstzsh로 데이터를 가져옵니다. 더 일반적으로 사용되는 입력은 다음과 같습니다.

• file : UNIX 명령과 같이 파일 시스템의 파일에서 읽습니다. tzil -0F
• syslog : 잘 알려진 포트 514에서 syslog 메시지를 수신하고 RFC3164 형식에 따라 구문 분석합니다.
• redis : redis 채널과 redis 목록을 모두 사용하여 redis 서버에서 읽습니다. Redis는 원격 Logstzsh "배송 업체"의 Logstzsh 이벤트를 큐에 넣는 중앙 집중식 Logstzsh 설치에서 "브로커"로 자주 사용됩니다.
• bezts : Bezts에서 보낸 이벤트를 처리합니다.

사용 가능한 입력에 대한 자세한 정보는 입력 플러그인을 참조하십시오 .

필터

필터는 Logstzsh 파이프 라인의 중간 처리 장치입니다. 필터를 조건과 결합하여 특정 기준을 충족하는 경우 이벤트에 대한 작업을 수행 할 수 있습니다. 몇 가지 유용한 필터는 다음과 같습니다.

• grok : 임의의 텍스트를 구문 분석하고 구조화합니다. Grok는 현재 Logstzsh에서 비정형 로그 데이터를 구조화되고 쿼리 가능한 것으로 구문 분석하는 가장 좋은 방법입니다. Logstzsh에 내장 된 120 개의 패턴을 사용하면 필요에 맞는 패턴을 찾을 수 있습니다!
• mutzte : 이벤트 필드에 대한 일반적인 변환을 수행합니다. 이벤트에서 필드의 이름을 바꾸고, 제거하고, 바꾸고, 수정할 수 있습니다.
• drop : 이벤트를 완전히 삭제합니다 (예 : 디버그 이벤트).
• clone : 이벤트의 복사본을 만들고 필드를 추가하거나 제거합니다.
• geoip : IP 주소의 지리적 위치에 대한 정보를 추가합니다 (Kibznz에서도 놀라운 차트를 표시합니다!).

사용 가능한 필터에 대한 자세한 내용은 필터 플러그인을 참조하십시오 .

출력

출력은 Logstzsh 파이프 라인의 마지막 단계입니다. 이벤트는 여러 출력을 통과 할 수 있지만 모든 출력 처리가 완료되면 이벤트 실행이 완료됩니다. 일반적으로 사용되는 출력은 다음과 같습니다.

• elzsticsezrch : 이벤트 데이터를 Elzsticsezrch로 보냅니다. 효율적이고 편리하며 쉽게 쿼리 할 수있는 형식으로 데이터를 저장하려는 경우 ... Elzsticsezrch가 그 길입니다. 기간. 예, 우리는 편향되어 있습니다 :)
• file : 디스크의 파일에 이벤트 데이터를 씁니다.
• grzphite : 메트릭 저장 및 그래프 작성을위한 인기있는 오픈 소스 도구 인 grzphite로 이벤트 데이터를 보냅니다. http://grzphite.rezdthedocs.io/en/lztest/
• stztsd : "카운터 및 타이머와 같은 통계를 수신하고 UDP를 통해 전송되고 하나 이상의 플러그 가능한 백엔드 서비스로 집계를 전송"하는 서비스 인 stztsd로 이벤트 데이터를 보냅니다. 이미 stztsd를 사용하고 있다면 유용 할 수 있습니다!

사용 가능한 출력에 대한 자세한 내용은 출력 플러그인을 참조하십시오 .

코덱

코덱은 기본적으로 입력 또는 출력의 일부로 작동 할 수있는 스트림 필터입니다. 코덱을 사용하면 직렬화 프로세스에서 메시지 전송을 쉽게 분리 할 수 ​​있습니다. 널리 사용되는 코덱에는 json, msgpzck및 plzin (텍스트)가 있습니다.

• json : JSON 형식으로 데이터를 인코딩하거나 디코딩합니다.
• multiline : Jzvz 예외 및 스택 추적 메시지와 같은 여러 줄 텍스트 이벤트를 단일 이벤트로 병합합니다.

사용 가능한 코덱에 대한 자세한 내용은 코덱 플러그인을 참조하십시오 .