about absolroot
home

Elastic Search이란 (ELK Stack)

 어디에 쓰는 도구?

엘라스틱 서치는 검색 엔진이다. 여기서 검색 엔진(search engine)이란, 웹에서 정보를 수집하여 검색 결과를 제공하는 프로그램이다. 우리가 많이 사용하고있는 데이터베이스는 비정형 데이터를 색인하고 검색하는 것이 불가능하다.
하지만 엘라스틱서치에서는 비정형 데이터를 색인하고 검색하는 것이 가능하다. 또한 엘라스틱서치의 장점 중의 하나인 역색인 구조을 사용함으로써 빠른 검색이 가능하다.
비정형 데이터 : 정해진 규칙이 없는 데이터; 예) 텍스트, 음성, 영상 등 색인 : 키워드를 찾아보기 쉽도록 정렬한 목록 역색인 : 키워드를 통해 문서를 찾는 방식

ELK Stack

로그 데이터를 수집, 분석 및 시각화하는 데 사용되는 오픈 소스 툴로 ELK 스택은 Elastic Search, Logstash 및 Kibana의 약어다. Logstash는 로그 데이터를 수집하고 Elastic Search는 데이터를 색인화하고 검색하는 용도로, Kibana는 데이터를 시각화한다. 결국 핵심은 Elastic Search가 데이터를 처리한다는 점에서 Elastic을 이해해야 한다.

 스플렁크 좋잖아. 왜 엘라스틱 서치야?

Splunk는 일단 유료다. 그리고 엄청 비싸다. 개인 사용 시 500MB의 일반 라이센스 한계를 가지고 있다. 3번까지 용량 초과가 가능해 스냅샷을 활용해 매번 새로 로딩하는 꼼수도 있지만 정상적으로 활용하기 위해 엘라스틱서치 방식을 알아둘 필요가 있다. (물론 splunk가 더 편하긴 하다.)
또 오픈소스로 활용하는 Wazuh, Zeek 등 대부분의 오픈소스 HDSI, NDSI가 엘라스틱서치 기반으로 동작하는 방식으로 많이들 구성돼있기에 이를 잘 알아둬야 한다.

 검색 방법은 똑같나?

엘라스틱서치의 검색 방식은 Json으로 상당히 불편하고 귀찮다. (물론 Wazuh 등 세팅하려면 하긴 해야한다)
Kibana라는 시각화 툴을 이용해 운영(Splunk web 서비스와 비슷한 형식)하게 되는데 여기서 사용하는 사용하는 쿼리문이 KQL(Kibana Query Language)로 다르지만 그나마 비슷하고 직관적이라 사용하기 용이하다.
SPL(Splunk Language) → KQL(Kibana Query Language) 에 대한 개념 잡기
다음 링크에서 무료로 관련 내용을 수강 가능하다.
간단한 KQL
KQL Cheat Sheet.pdf
87.4KB

✓ 다른 [정리] 포스트

베트남 환전 왜 한국에서 하면 안될까? (한국 vs 공항 vs 금은방)
Travel
베트남 환전 왜 한국에서 하면 안될까? (한국 vs 공항 vs 금은방)
Travel
Load more
︎ 더 많은 게시물을 보려면
︎ 작성자가 궁금하면?
 2024. Absolroot all rights reserved.