엘라스틱서치 실무 가이드 1

Intro::

엘라스틱서치 실무 가이드 1-3 장 정리본입니다.

설치 및 환경 세팅

services:
  es01:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.17.21
    container_name: es01
    environment:
      - cluster.name=javacafe-cluster
      - node.name=javacafe-node1
      - network.host=0.0.0.0
      - http.port=9200
      - transport.tcp.port=9300
      - cluster.initial_master_nodes=javacafe-node1
      - path.repo=/es/book_backup/search_example,/es/book_backup/agg_example
      #      - discovery.seed_hosts=es02, es03
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - data01:/usr/share/elasticsearch/data
      - ./search_example:/es/book_backup/search_example
      - ./agg_example:/es/book_backup/agg_example
    ports:
      - 9200:9200
      - 9300:9300
    networks:
      - elastic

  kibana:
    image: docker.elastic.co/kibana/kibana:7.17.21
    container_name: kibana
    restart: always
    environment:
      ELASTICSEARCH_HOSTS: http://es01:9200
    ports:
      - 5601:5601
    depends_on:
      - es01
    networks:
      - elastic

volumes:
  data01:
    driver: local

networks:
  elastic:
    driver: bridge

• git clone https://github.com/javacafe-project/elastic-book-snapshot.git

• agg_example, search_example 경로를 알맞게 docker-compose.yml 에 작성
• docker-compose.yml와 같은 레벨에 해당 폴더들을 위치하였습니다.

• 책에 따라 논리적인 스냅샷을 등록 후 확인해봅시다.
• 추후 스냅샷을 사용해 인덱스를 복구해 사용하면 됩니다.

기본 개념

• 엘라스틱서치의 데이터는 인덱스, 타입, 문서, 필드 구조로 구성되어집니다.

• 인덱스
• 여러 도큐먼트로 구성된 데이터 저장 공간.

• 타입
• 인덱스의 논리적 구조를 의미
• 장르별로 별도의 인덱스를 각각 생성해서 사용해야 한다고 합니다.

• 문서(Document)
• 데이터가 저장되는 최소 단위입니다.
• 기본적으로 JSON 형태의 데이터로 저장됩니다.

• 필드
• 문서를 구성하기 위한 속성이라고 합니다.
• 일반적인 데이터베이스의 칼럼과 비교할 수 있으나 칼럽이 정적인 데이터인 데 반해 필드는 좀 더 동적입니다.
• 하나의 필드는 목정에 따라 다수의 데이터 타입을 가질 수 있습니다.

• 매핑
• 문서의 필드와 속성을 정의하고 그에 따른 색인 방법을 정의하는 프로세스 입니다.

노드의 종류

1. 마스터 노드
1. 클러스터의 전반적인 관리를 담당하는 노드입니다.

2. 데이터 노드
1. 실질적인 데이터를 저장하고 검색, 통계 같은 데이터 관련 작업을 수행합니다.

3. 코디네이팅 노드
1. 사용자의 요청만 받아서 처리합니다.

4. 인제스트 노드
1. 문서의 전처리 작업을 담당합니다.
2. 인덱스 생성 전 문서의 형식을 다양하게 변경할 수 있습니다.

주요 API

1. 인덱스 관리 API (indices API)

2. 문서 관리 API (Document API)

3. 검색 API (Search API)

4. 집계 API (Aggregation API)

• 스키마리스 기능은 가급적이면 사용하지 말자!
• 데이터 공간이 낭비될 가능성이 존재하고, 원하는 동작을 하지 않게 될 수 있다.

필드 데이터 타입

Keyword

• 검색 시 필터링되는 항목

• 정렬이 필요한 항목

• 집계해야 하는 항목

Text

Array

PUT movie_search_datatype/_doc/1
{
    "title": "해리포터와 마법사의 돌",
    "subtitleLang": ["ko", "en"]
}

Numeric

• long

• integer

• short

• byte

• double

• float

• half_float

Date

PUT movie_text/_mapping/_doc
{
    "properties": {
        "date": {
            "type": "date", "format": "yyyy-MM-dd HH:mm:ss"
        }
    }
}

Range

Boolean

Geo-Point

IP

Oject

Nested

PUT movie_search_datatype/_doc/7
{
    "title": "해리포터와 마법사의 돌",
    "companies": [
        {
            "companyCd": "1",
            "companyName": "위너브라더스"
        }, {
            "companyCd": "2",
            "companyName": "Heyday Films"
        }
    ]
}

PUT movie_search_datatype/_mapping/_doc
{
    "properties": {
        "companies_nested": {
            "type": "nested"
        }
    }
}
 
PUT movie_search_datatype/_doc/7
{
    "title": "해리포터와 마법사의 돌",
    "companies": [
        {
            "companyCd": "1",
            "companyName": "위너브라더스"
        }, {
            "companyCd": "2",
            "companyName": "Heyday Films"
        }
    ]
}

분석기의 구조

CHARACTER FILTER

TOKENIZER FILTER

TOKEN FILTER

동의어 사전

동의어 추가

동의어 치환하기

References::