Elastic Search에 관한 책을 읽고 정리한 글.

책의 버전은 6.4.3 대의 버전을 기준으로 작성되었으므로 변경 사항은 릴리즈 노트를 참고해 글의 내용을 변경함.

• 검색 시스템

  • 대용량의 데이터를 기반으로 신뢰성 높은 검색 결과를 제공하기 위해 검색 엔진을 기반으로 구축된 시스템
  • 비 정형 데이터의 색인 및 검색이 주 목적
  • 구성 요소
    • 수집기: 필요한 정보를 수집하는 프로그램. ex ) 크롤러, 스파이더, 웜, 웹 로봇
    • 스토리지: 데이터를 저장하는 물리적 장소
    • 색인기: 의미 있는 용어를 추출하고 검색에 유리한 역 색인 구조로 저장
    • 검색기: 역 색인 구조에서 유사도 기반의 형태소 분석기를 이용하여 유용한 정보를 추출

• Elastic Search (이하 es )

  • 분산 처리를 이용한 준 실시간의 비 정형 데이터 색인/검색 엔진
  • 특징
    • 전문 검색 및 통계 분석에 특화
    • 멀티 테넌시: 필드명만 같다면 여러 인덱스(table)에서 한꺼번에 조회 가능
    • 확장성과 가용성이 뛰어남
  • 단점
    • 트랜잭션과 롤백 기능이 없음
    • 데이터의 업데이트 대신 삭제 후 추가의 방식을 선택 → 업데이트 성능 하락
  • 용어
    • 인덱스: RDBMS에서의 Table
    • 샤드: Table의 파티션
    • 타입: 인덱스의 논리적 구조 . 인덱스 당 하나의 타입만 사용 가능 → 데이터베이스의 스키마와 유사
    • 문서: Table에서의 Row. 다만 비 정형 JSON 형태이다
    • 필드: 데이터 타입. 하나의 json field에 여러 필드 타입 설정이 가능하다
    • 맵핑: RDBMS에서의 인덱스와 유사. 색인 방법을 정의하는 프로세스. 필드명 중복 사용이 불가
    • 클러스터: 노드의 모음. Es를 구성하는 가장 큰 단위
    • 노드: es 클러스터를 구성하는 하나의 구성 단위
      • 마스터 노드 : 클러스터 관리를 전반적으로 담당. 별도 독립해서 운영하자
      • 데이터 노드: 실제 데이터 저장. 검색/통계 작업 담당
      • 코디네이팅 노드
        • 사용자의 요청을 라우팅. 집계 연산이 많다면 별도로 운영하자
        • 모든 데이터 노드에 질의어를 전달하는 역할
      • 인제스트 노드: 문서의 전 처리 작업 담당. 색인 전 스크립트로 파이프라인 구성 가능
    • 샤드: 전체 데이터의 부분 집합. 인덱스가 생성 된 후에는 샤드의 수 변경이 불가하다

• 데이터 모델링 = 맵핑

  • 인덱스 생성 시에 들어온 데이터의 필드를 정의 한다
  • 타입을 변경하기 위해서는 인덱스를 삭제 후 다시 생성해야 한다
  • _id 메타 필드는 반드시 정의하자 → 없을 시 자동으로 es가 생성한다
  • 여러 인덱스를 묶어서 검색할 수 있는 멀티테넌시 지원

• 필드 타입

  • keyword
    • 별도의 분석기를 거치지 않는 원문 그대로 색인
    • 필터링, 집계, 정렬에 많이 사용된다
  • text: 분석기/검색기를 통과하는 전문(full text) 타입
  • array
    • 여러 개의 데이터를 같은 타입으로 저장할 수 잇는 타입
    • nested: 기본적으로 or 연산하는 array 검색을 and 연산으로 검색할 수 있다
  • numeric
    • 숫자형 데이터 타입
    • long, integer, short, byte, double 등등이 사용 가능 하다
  • date: 날짜형 데이터 타입. 문자열로 처리된다
  • range
    • 범위가 있는 데이터를 저장하는 타입.
    • 범위의 시작과 끝을 정의해야 한다

• 역 색인 구조

  • 해당 문서를 토큰화하여 검색 구조를 생성하는 방식
  • 각 토큰에 따라 역으로 문서 수, 빈도, 위치 , 문서 번호 등을 기록한다
  • 토크나이저
    • 전 처리 필터를 거친 후 문서를 어떤 방식으로 토큰화 할지 결정하는 프로세스
    • 여러 필터를 통해 유용한 토큰만 남기도록 설정 할 수 있다
    • 토큰 필터: 분리된 토큰을 변형/추가/삭제 할 때 이용되는 필터
      • synonym: 동의어를 처리하는 토큰 필터. 동의어 사전을 이용 할 수 있다
  • 분석기
    • 입력 문서를 특정 규칙에 따라 분석하여 토큰을 생성하는 프로세스
    • 기본 분석기: 공백/특수 기호를 기준으로 분리하고 모든 문자를 소문자로 변경하여 분석

• 주요 API

  • 인덱스 관리
    • 초기 데이터 모델링에 주의하자 → 수정할 수 없다
    • 인덱스 명은 반드시 소문자로 설정해야 한다
    • 별칭(alias)을 이용하여 검색하고 복사된 인덱스로 순식간에 교체 할 수 있다 → 이를 이용하여 인덱스를 런타임에 교체 가능하다
  • 문서 추가/삭제/수정
    • bulk Api는 트랜잭션이 적용되지 않는다 → 일부만 실패 또는 성공 가능
  • 검색
    • 검색 API를 모두 이용하기 위해서는 querydsl 페이로드를 이용한 검색을 해야 한다
    • 쿼리 컨텍스트 검색
      • 전문 검색 시 분석기에 의해 term(단어) 으로 분해되어 분석됨
      • 루씬을 사용하므로 상대적으로 느림
      • 캐싱되지 않고 디스크 연산을 사용
      • match 쿼리에서 사용됨
    • 필터 컨텍스트 검색
    • 페이징 처리는 모든 데이터를 읽어 크기만큼 잘라내므로 뒤로 갈 수록 느려진다
    • Profile API를 이용하여 쿼리의 explain을 볼 수 있다
    • Suggest API
    • Completion Suggest API
    • Ngram 분석기
  • 집계

• 유저 클라이언트

• 루씬과의 관계

• transaction log = TransLog