Elastic

Intro::

엘라스틱 서치에 대해 알아봅시다.

ElasticSearch 란??

주요 특징

1. 분산 시스템: Elasticsearch는 자연스럽게 분산되어 있어, 데이터와 검색 쿼리를 여러 노드에 걸쳐 자동으로 분산시킵니다. 이로 인해 높은 가용성과 확장성을 제공합니다.

2. 실시간 검색: 데이터를 인덱싱하고 나서 거의 실시간으로 검색 결과를 제공할 수 있습니다.

3. 다양한 데이터 처리: 텍스트, 숫자, 날짜 등 다양한 형식의 데이터를 처리할 수 있으며, 강력한 검색 기능과 데이터 분석 기능을 제공합니다.

4. 유연한 검색 기능: 전문 검색(full-text search)을 비롯해, 정확한 매칭, 페이징, 정렬 등 복잡한 검색 기능을 쉽게 구현할 수 있습니다.

5. 확장성: 손쉬운 스케일 아웃(노드 추가)을 통해 데이터 양의 증가에 따라 시스템을 확장할 수 있습니다.

주요 장점

1. 빠른 검색 속도: 역 인덱싱 구조 덕분에 대용량 데이터에 대한 빠른 검색 속도를 제공합니다.

2. 높은 확장성: 클러스터에 노드를 추가하면서 성능을 선형적으로 확장할 수 있습니다.

3. 다양한 클라이언트 라이브러리: Java, Python, .NET, Ruby 등 다양한 개발 언어를 위한 클라이언트 라이브러리가 제공되어 개발이 용이합니다.

4. 강력한 API: RESTful API를 통해 검색, 인덱싱, 관리 기능을 쉽게 사용할 수 있습니다.

주요 단점

1. 메모리 사용: Elasticsearch는 검색 속도 향상을 위해 많은 메모리를 사용합니다. 따라서 대규모 데이터를 처리할 때는 충분한 메모리 확보가 필요합니다.

2. 관리 복잡성: 클러스터가 커지면 관리가 복잡해질 수 있습니다. 적절한 모니터링과 관리 전략이 필요합니다.

3. 데이터 일관성: Elasticsearch는 최종 일관성(eventual consistency) 모델을 사용하기 때문에, 실시간으로 데이터가 갱신되는 환경에서는 일관성 문제가 발생할 수 있습니다.

Logstash

주요 기능

1. 데이터 수집: 로그스태시는 파일, 데이터베이스, 메시지 큐와 같은 다양한 소스로부터 데이터를 수집할 수 있습니다. 이를 위해 다양한 입력 플러그인을 지원합니다.

2. 데이터 처리: 수집된 데이터를 필터 플러그인을 사용해 변환하거나 가공합니다. 예를 들어, 데이터를 필터링하거나, 필드를 추가하거나, 조건에 따라 데이터를 변형하는 등의 작업을 할 수 있습니다.

3. 데이터 출력: 처리된 데이터를 Elasticsearch, 파일, 데이터베이스 등 여러 종류의 출력 목적지로 전송할 수 있습니다. 로그스태시는 이를 위해 다양한 출력 플러그인을 제공합니다.

주요 특징

1. 플러그인 기반 아키텍처: 로그스태시는 입력, 필터, 출력을 위한 수백 개의 플러그인을 제공하며, 이를 통해 매우 유연한 데이터 처리 파이프라인을 구성할 수 있습니다.

2. 다양한 데이터 형식 지원: 로그스태시는 JSON, XML, CSV 등 다양한 형식의 데이터를 처리할 수 있으며, 복잡한 데이터 구조도 쉽게 다룰 수 있습니다.

3. 강력한 데이터 변환 능력: 데이터를 수집하는 동안 다양한 필터를 적용하여 데이터를 원하는 형태로 가공할 수 있습니다. 예를 들어, grok을 사용하여 복잡한 텍스트 로그에서 정보를 추출하거나, 데이터를 조건에 따라 변형할 수 있습니다.

4. 확장성: 로그스태시는 여러 서버에 걸쳐 확장이 가능하며, 클러스터 형태로 배포하여 높은 처리량의 데이터를 처리할 수 있습니다.

사용 사례

• 로그 관리: 다양한 서버와 장치에서 생성된 로그를 수집하여 중앙 집중화하고, 분석하기 위해 Elasticsearch로 전송합니다.

• 보안 분석: 네트워크 트래픽 데이터나 접근 로그를 분석하여 보안 위협을 탐지하고 대응합니다.

• 성능 모니터링: 시스템의 성능 관련 데이터를 수집하고 분석하여, 시스템의 상태를 모니터링합니다.

단점

1. 리소스 소모: 로그스태시는 자바 기반으로 메모리와 CPU 소모가 상대적으로 높은 편입니다.

2. 설정 복잡성: 플러그인과 필터의 설정이 복잡할 수 있으며, 큰 설정 파일을 관리하기가 어려울 수 있습니다.

Kibana

주요 기능

1. 데이터 시각화: 다양한 차트, 맵, 그래프 등을 사용해 데이터를 시각화합니다. 사용자는 이러한 시각화 도구를 활용하여 대시보드를 만들고, 여러 시각화를 조합하여 복잡한 데이터 분석 결과를 한 눈에 파악할 수 있습니다.

2. 대시보드: 여러 시각화를 하나의 대시보드로 조합하여, 복합적인 데이터 분석 결과를 효과적으로 표현할 수 있습니다. 이 대시보드는 실시간으로 데이터를 업데이트하며, 공유하거나 다른 사용자와 협업할 수도 있습니다.

3. 실시간 데이터 분석: Elasticsearch의 실시간 데이터 처리 능력을 활용하여, 실시간으로 데이터를 분석하고 시각화합니다.

4. 개발자 도구: Elasticsearch 쿼리를 직접 작성하고 테스트할 수 있는 콘솔을 제공하여, 개발자가 데이터와 상호작용하며 필요한 쿼리를 개발할 수 있게 돕습니다.

5. 데이터 탐색: Discover 기능을 사용해 Elasticsearch에 저장된 원시 데이터를 탐색하고, 필터링하여 세부적인 분석을 수행할 수 있습니다.

6. 머신 러닝 지원: Kibana는 Elastic Stack의 머신 러닝 기능과 통합되어, 데이터에서 비정상적인 패턴을 자동으로 감지하고 예측할 수 있습니다.

장점

1. 직관적인 사용자 인터페이스: 사용자 친화적인 인터페이스로 복잡한 데이터 분석과 시각화 작업을 쉽게 수행할 수 있습니다.

2. 다양한 시각화 옵션: 매우 다양한 시각화 옵션을 제공하여 데이터를 다양한 관점에서 분석할 수 있습니다.

3. Elasticsearch와의 긴밀한 통합: Elasticsearch의 강력한 검색 및 분석 기능과 통합되어 대용량 데이터 처리가 가능합니다.

단점

1. 복잡한 쿼리 요구: 복잡한 데이터 분석을 위해서는 Elasticsearch 쿼리 언어에 대한 이해가 필요할 수 있습니다.

2. 리소스 요구량: 큰 데이터 세트를 처리하고 시각화하는 데 많은 리소스를 소모할 수 있습니다.

Beats

주요 특징

• 경량성: Beats는 시스템의 리소스를 매우 적게 사용하며, 성능에 큰 영향을 주지 않습니다.

• 유연성: 다양한 유형의 데이터를 수집하고, Elasticsearch 또는 Logstash로 보낼 수 있는 유연한 구성 옵션을 제공합니다.

• 확장성: 개별 Beat는 독립적으로 작동할 수 있으며, 여러 서버에 걸쳐 배포가 가능해 대규모 환경에서도 효과적으로 데이터를 수집할 수 있습니다.

• 실시간 데이터 수집: 데이터를 실시간으로 수집하고 처리하여, 거의 실시간의 분석 및 모니터링이 가능합니다.

Elasticsearch 환경 설정

• jvm.options

Elasticsearch는 Java의 가상머신 위에서 실행이 되는데 7.0 기준으로 1gb의 힙메모리가 기본으로 설정되어 있습니다. 이 설정들은 jvm.options 파일에서 아래 내용들을 수정하여 변경할 수 있습니다.

• elasticsearch-8.13.3/config/jvm.options 에 위치

• elasticsearch.yml

elasticsearch 실행 환경에 대한 실제 설정들은 대부분 elasticsearch.yml 파일에서 설정합니다.

• cluster.name: "<클러스터명>"
• node.name: "<노드명>"
• node.attr.<key>: "<value>"
• path.data: [ "<경로>" ]
• path.logs: "<경로>"
• bootstrap.memory_lock: true
• network.host: <ip 주소>
• http.port: <포트 번호>
• transport.port: <포트 번호>
• discovery.seed_hosts: [ "<호스트-1>", "<호스트-2>", ... ]
• cluster.initial_master_nodes: [ "<노드-1>", "<노드-2>" ]
• node.master: true
• node.data: true
• node.ingest: true
• node.ml: true

References::

1. 서문 | Elastic 가이드북

이 문서의 허가되지 않은 무단 복제나 배포 및 출판을 금지합니다. 본 문서의 내용 및 도표 등을 인용하고자 하는 경우 출처를 명시하고 김종민(kimjmin@gmail.com)에게 사용 내용을 알려주시기 바랍니다.

https://esbook.kimjmin.net/01-overview