일래스틱 스택은 대용량 데이터 분산 검색 및 분석, 로그 수집 및 변환, 시각화에 이르기까지 다양한 데이터 처리를 지원하는 강력한 플랫폼이다. 이 책은 일래스틱서치의 검색 및 분석 기능과 로그스태시, 키바나, 엑스팩을 활용해 데이터를 효율적으로 처리하는 방법을 설명한다. 아울러 운영 환경에서 일래스틱 스택을 도입할 때 고려해야 할 사항을 소개하고, 데이터 분석 애플리케이션을 구축하는 방법을 설명한다. 일래스틱 스택을 처음 접하거나 실무에 도입하려고 준비하고 있다면 이 책이 훌륭한 지침서가 될 것이다.

[목 차]

1장. 일래스틱 스택 소개

__일래스틱서치 개념 및 사용 이유
____스키마리스 및 도큐먼트 지향
____검색
____분석
____풍부한 클라이언트 라이브러리와 REST API 지원
____운영 및 확장 용이
____거의 실시간(Near real time)
____신속성
____결함 허용성(Fault tolerant)
__일래스틱 스택의 구성 요소
____일래스틱서치
____로그스태시
____비트
____키바나
____엑스팩
________보안
________모니터링
________보고서
________알림
________그래프
____일래스틱 클라우드
__일래스틱 스택의 사용 사례
____로그 및 보안 분석
____제품 검색
____메트릭 분석
____웹 검색 및 웹 사이트 검색
__다운로드 및 설치
____일래스틱서치 설치
____키바나 설치
__요약

2장. 일래스틱서치 시작하기

__키바나 콘솔 UI 사용하기
__핵심 개념
____인덱스
____타입
____도큐먼트
____노드
____클러스터
____샤드 및 복제본(Replicas)
____매핑(Mapping) 및 타입
________데이터 타입
________매핑
____역색인
__CURD 연산
____색인 API
________ID를 제공해 도큐먼트 색인하기
________ID를 제공하지 않고 도큐먼트 색인하기
____조회 API
____업데이트 API
____삭제 API
__인덱스 생성 및 매핑 관리
____인덱스 생성
____기존 인덱스에 타입 매핑 생성
____매핑 업데이트
__REST API 개요
____공통 API 규칙
________JSON 응답 형식
________다중 인덱스 처리
__요약

3장. 유사도 검색

__텍스트 분석의 기초
____일래스틱서치 분석기 이해하기
________문자 필터
________토크나이저
________토큰 필터
____내장형 분석기 사용하기
________표준 분석기
____맞춤형 분석기로 자동 완성 구현하기
__구조화된 데이터 검색
____Range 쿼리
________숫자 타입
________스코어 증폭
________날짜 범위
____Exists 쿼리
____Term 쿼리
__전문 텍스트 검색
____Match 쿼리
________Operator
________minimum_should_match
________Fuzziness
________Match Phrase 쿼리
____Multi Match 쿼리
________multi_match 쿼리 사용하기
________특정 필드의 스코어 높이기
________다양한 multi_match 쿼리 타입
__복합 쿼리 작성
____Constant score 쿼리
____Bool 쿼리
________OR 조건 결합
________AND 및 OR 조건 결합
________NOT 조건 추가
__요약

4장. 일래스틱서치 분석

__집계 기초
____Bucket 집계
____Metric 집계
____Matrix 집계
____Pipeline 집계
__데이터 분석 준비
____데이터 구조 이해하기
____로그스태시를 사용해 데이터 업로드하기
__Metric 집계
____합계, 평균, 최소, 최대 집계
________Sum 집계
________Average 집계
________Min 집계
________Max 집계
____통계 및 확장 통계 집계
________Stats 집계
________Extended Stats 집계
____Cardinality 집계
__Bucket 집계
____문자열 데이터 버킷팅
________Terms 집계
____숫자 데이터 버킷팅
________Histogram 집계
________Range 집계
____필터 데이터 집계
____중첩 집계
____맞춤형 조건 버킷팅
________Filter 집계
________Filters 집계
____날짜 및 시간 데이터 버킷팅
________Date Histogram 집계
____지리 정보 데이터 버킷팅
________Geo distance 집계
________GeoHash grid 집계
__Pipeline 집계
____시간 경과에 따른 사용율 누적 합계 계산
__요약

5장. 로그 데이터 분석

__로그 분석 과제
____로그스태시
________설치 및 환경 설정
________로그스태시 다운로드 및 설치
__로그스태시 아키텍처
__로그스태시 플러그인 개요
____플러그인 설치 및 업데이트
________입력 플러그인
________출력 플러그인
________필터 플러그인
________코덱 플러그인
____플러그인 탐색
________입력 플러그인 탐색
________출력 플러그인
________코덱 플러그인
________필터 플러그인
__인제스트 노드
____파이프라인 정의
____인제스트 API
________Put 파이프라인 API
________Get 파이프라인 API
________Delete 파이프라인 API
________Simulate 파이프라인 API
__요약

6장. 로그스태시를 활용한 데이터 파이프라인 구축

__로그스태시를 사용한 로그 구문 분석 및 강화
____필터 플러그인
________CSV 필터
________Mutate 필터
________Grok 필터
________Date 필터
________Geoip 필터
________Useragent 필터
__비트 소개
____일래스틱 비트
________파일비트
________메트릭비트
________패킷비트
________하트비트
________윈로그비트
________오디트비트
____커뮤니티 비트
____로그스태시와 비트의 차이점
__파일비트
____파일비트 다운로드 및 설치
________윈도우에 설치
________리눅스에 설치
____아키텍처
____환경 설정
________Prospector 설정
________전역 옵션
________일반 옵션
________출력 설정
________모듈
__요약

7장. 키바나를 활용한 데이터 시각화

__키바나 다운로드 및 설치
____윈도우에 설치하기
____리눅스에 설치하기
____키바나 설정하기
__데이터 준비
__키바나 UI
____사용자 상호 작용
____인덱스 패턴 설정
____탐색
________일래스틱서치 쿼리 문자열
________일래스틱서치 DSL 쿼리
____시각화
________키바나 집계
____시각화 만들기
____시각화 타입
________선, 영역, 막대 차트
________데이터 테이블
________마크다운 위젯
________메트릭
________목표
________계량기
________기여도 차트
________좌표 지도
________지역 지도
________태그 클라우드
____시각화 활용하기
________시간 경과에 따른 응답 코드 분석하기
________상위 10개의 요청 URL 검색하기
________시간 경과에 따른 상위 5개국 대역폭 분석하기
______다른 국가에서 유입된 웹 트래픽 분석하기
________가장 많이 사용하는 사용자 에이전트 검색하기
____대시보드
________대시보드 구축하기
________대시보드 저장하기
________대시보드 복제하기
________대시보드 공유하기
__타임라이온
____타임라이온 UI
____타임라이온 표현식
__플러그인 사용하기
____플러그인 설치하기
____플러그인 제거하기
__요약

8장. 일래스틱 엑스팩

__엑스팩 설치
____일래스틱서치에 엑스팩 설치하기
____키바나에 엑스팩 설치하기
____엑스팩 제거하기
__엑스팩 설정
__보안
____사용자 인증
____사용자 권한 부여
____보안 실행
________사용자 생성하기
________역할 생성하기
________도큐먼트 또는 필드 레벨 보안
________엑스팩 보안 API
__일래스틱서치 모니터링
____모니터링 UI
________일래스틱서치 메트릭
____워치 구조
____워치 활용하기
________알림 만들기
________워치 삭제, 편집, 비활성화
__요약

9장. 일래스틱 스택 운영 환경에 적용하기

__일래스틱 스택을 클라우드 환경에 호스팅하기
____일래스틱 클라우드 시작하기
____키바나 사용하기
____설정 재정의
____스냅숏 복구
__일래스틱 스택을 개별 구축 환경에 호스팅하기
____하드웨어 선택
____운영체제 선정
____일래스틱서치 노드 설정
________JVM Heap 크기
________스와핑 비활성화
________파일 디스크립터
________스레드 풀 및 가비지 컬렉터
____일래스틱서치 관리 및 모니터링
____도커 컨테이너 활용하기
____클라우드 환경 사용 시 고려 사항
________인스턴스 타입 선택
________포트를 노출하지 않도록 변경
________프록시 요청
________로컬 주소에 HTTP 바인딩
________EC2 검색 플러그인 설치
________S3 저장소 플러그인 설치
________주기적인 스냅숏 설정
__백업 및 복구
____스냅숏 저장소 설정하기
________공유 파일 시스템
____클라우드 또는 분산 파일 시스템
____스냅숏 생성하기
____스냅숏 복구하기
__인덱스 별칭 설정
____인덱스 별칭 이해하기
____인덱스 별칭 사용법
__인덱스 템플릿 설정
____인덱스 템플릿 생성
____인덱스 즉시 생성
__시계열 데이터 모델링
____예측할 수 없을 정도로 확장되는 인덱스
________일래스틱서치 병렬 처리 단위
________샤드 개수가 유사도 점수에 미치는 영향
________샤드 개수가 집계 정확도에 미치는 영향
____시간 경과에 따른 매핑 변경
________신규 필드 추가
________기존 필드 제거
____도큐먼트 자동 삭제
____시간 기반 인덱스 사용 방법
________시간 기반 인덱스 확장
________시간 경과에 따른 매핑 변경
________도큐먼트 자동 삭제
__요약

10장. 데이터 분석 애플리케이션 구축

__애플리케이션 소개
____센서에서 생성된 데이터 이해하기
____센서 메타데이터 이해하기
____최종 저장된 데이터 이해하기
__일래스틱서치 데이터 모델링
____인덱스 템플릿 정의
____매핑 이해하기
__메타데이터 데이터베이스 설정
__로그스태시 데이터 파이프라인 구축
____웹 기반 JSON 요청 수락하기
____MySQL의 메타데이터로 JSON 데이터 강화하기
________jdbc_streaming 플러그인
________mutate 플러그인
________일래스틱서치에 결과 도큐먼트 저장하기
__로그스태시에서 HTTP를 이용한 데이터 전송
__키바나 데이터 시각화
____키바나에서 인덱스 패턴 설정하기
____시각화 구축하기
________시간 경과에 따른 평균 온도 변화는 어떻게 될까?
________시간 경과에 따른 평균 습도 변화는 어떻게 될까?
________시간 경과에 따라 각 위치에서 온도와 습도 변화는 어떻게 될까?
________온도와 습도를 지도에서 확인할 수 있을까?
________센서는 각 부서에 어떻게 분산돼 있을까?
____대시보드 만들기
__요약

11장. 서버 인프라 모니터링

__메트릭비트
____메트릭비트 다운로드 및 설치
________윈도우에 설치하기
________리눅스에 설치하기
____아키텍처
________이벤트 구조
__메트릭비트 설정
____모듈 설정
________modules
________metricbeat
____일반 설정
____출력 설정
____로그
__시스템 메트릭 수집
____system 모듈을 활용한 메트릭비트 실행
____별칭 지정하기
____키바나에서 시스템 메트릭 시각화하기
__시스템 아키텍처
__요약

[본 문]

일래스틱 스택은 대용량 데이터 분산 검색 및 분석, 로깅, 시각화를 위한 강력한 도구 모음이다. 일래스틱 스택 6 버전은 사용자가 데이터에서 독창적이고 실용적인 통찰력을 얻을 수 있도록 다양한 기능을 제공한다. 이 책은 일래스틱 스택의 기본 개념을 학습하고, 일래스틱 스택을 활용해 실시간 데이터 처리 애플리케이션을 구축하는 방법을 설명한다.
일래스틱 스택 6 버전의 새로운 기능과 일래스틱서치, 키바나, 로그스태시, 엑스팩을 설치하고 설정하는 방법을 알아본다. 아울러 일래스틱서치를 통한 분산 검색 및 분석 방법, 로그스태시를 이용한 로그 처리, 키바나로 데이터를 시각화하는 방법을 소개한다. 키바나와 비트를 사용해 맞춤형 플러그인을 만드는 방법과 일래스틱 엑스팩을 활용해 보안 및 모니터링을 효과적으로 적용하는 방법도 알아본다. 또한 일래스틱 클라우드를 활용하는 방법, 실제 운영 환경에서 일래스틱 스택을 도입할 때 유용한 팁을 제공한다.
('지은이의 말' 중에서)

현대 사회에서 정보의 중요성은 두말할 필요가 없다. 개개인의 선택에서부터 기업의 의사 결정에 이르기까지 정보는 핵심 요소다. 이제는 넘치는 정보의 홍수 속에서 얼마나 가치 있고 올바른 정보를 얻느냐가 더 중요해졌다. 오늘날 출시되는 많은 애플리케이션은 이러한 정보를 기반으로 서비스되고 있다. 하지만 정보를 얻는 것은 쉬운 일이 아니다. 뚜렷한 의미라고는 찾아보기 힘든 1차원적인 데이터(data)를 수집하고 가공해야 비로소 정보(information)라 부를 수 있는 것이다. 그마저도 정보를 어디에 보관하고 어떻게 관리해야 하는지와 같은 수많은 문제가 애플리케이션 개발자와 시스템 관리자의 고민을 더해준다.
일래스틱 스택을 활용하면 골치 아픈 데이터 문제를 효율적으로 처리할 수 있다. 이 책은 일래스틱 스택을 어디에 접목할 수 있을 것인지에 대해 알아보고, 일래스틱서치와 로그스태시, 키바나, 엑스팩으로 이뤄진 각 구성 요소를 하나씩 파헤친다. 또한 스택의 핵심이라 할 수 있는 일래스틱서치를 사용할 때 숙지해야 할 핵심 개념을 살펴보고, 예제를 통해 검색 쿼리 및 집계 활용법을 학습한다. 따라서 일래스틱서치를 처음 접하는 독자라도 책에서 안내하는 개념과 단계별 예제를 따라 하다 보면 금세 사용법을 숙지할 수 있을 것이다. 그리고 데이터 처리를 위한 로그스태시와 비트, 데이터 시각화를 위한 키바나의 개념 및 실습 예제와 운영 환경에 스택을 도입할 때 고려해야 할 사항과 보안 및 모니터링, 백업 및 복구 등을 설명한다.
책에서 설명하는 예제는 2017년 11월에 출시된 6.0.0 버전을 기반으로 하고 있지만, 2018년 4월 출시 버전인 6.2.4 버전을 사용해도 무방하다. 일래스틱 스택의 버전이 발 빠르게 업데이트되면서 다양한 기능이 계속 추가되고 있다. 책을 읽다 보면 일래스틱 스택이 제공하는 각양각색의 기능에 혀를 내두를 정도다. 하지만 책에서 설명하는 근본 개념과 실습 예제는 쉽사리 변하지 않으므로 걱정하지 말자. 이 책을 밑거름 삼아 일래스택 스택에 대한 개념을 익히고, 요구 사항에 맞게 스택의 각 구성 요소를 활용해보자. 아무쪼록 이 책이 일래스틱 스택에 입문할 수 있는 훌륭한 지침서가 되길 바란다.
('옮긴이의 말' 중에서)

★ 이 책에서 다루는 내용 ★

- 일래스틱 스택의 구성 요소와 6.0 버전에 새롭게 도입된 기능
- 일래스틱서치의 기본 개념 및 유사도 검색, 집계 기능 이해
- 로그스태시를 활용한 효과적인 데이터 파이프라인 구축 방법
- 데이터 파이프라인을 활용한 대용량 데이터 검색 및 로깅 처리 방법
- 키바나를 활용해 데이터를 시각화하고 실시간으로 데이터를 다루는 방법
- 엑스팩을 활용한 보안 및 모니터링, 알림 기능 이해
- 일래스틱 스택을 활용한 데이터 분석 애플리케이션 구축 방법
- 일래스틱 애플리케이션을 개별 구축 환경 또는 클라우드 운영 환경에 적용하는 방법
- 비트 플랫폼을 활용해 서버 및 애플리케이션을 모니터링하는 방법

★ 이 책의 대상 독자 ★

데이터에서 뛰어난 통찰력을 얻고, 데이터를 효과적으로 다루고 싶은 독자를 위한 책이다. 데이터 분산 및 실시간 처리를 위해 일래스틱 스택의 활용법을 배우고자 한다면 이 책이 훌륭한 지침서가 될 것이다. 일래스틱 스택을 접해본 적 없는 독자라도 책에서 안내하는 친절한 설명을 따라 하다 보면 자연스럽게 기초 개념을 학습할 수 있을 것이다.

★ 이 책의 구성 ★

1장, '일래스틱 스택 소개'에서는 일래스틱 스택의 핵심 구성 요소를 소개한다. 일래스틱서 치의 사용 사례와 함께 일래스틱 스택이 제공하는 분산 및 확장 가능한 검색 및 분석의 중요성을 알아본다. 일래스틱 스택의 모든 구성 요소를 간략히 소개하고, 스택에서 담당하는 역할을 자세히 살펴본다. 또한 책 전반에 걸쳐 살펴볼 예제를 위해 일래스틱서치와 키바나를 다운로드하고 설치하는 방법을 설명한다.
2장, '일래스틱서치 시작하기'에서는 일래스틱 스택의 핵심 요소인 일래스틱서치의 핵심 개념을 설명한다. 인덱스와 타입, 노드 및 클러스터 개념을 살펴보고, REST API를 사용해 필수 연산 작업 및 데이터 타입, 매핑 방법을 알아본다.
3장, '유사도 검색'에서는 일래스틱서치의 검색 방법을 상세히 설명한다. 텍스트 분석, 토크나이저, 분석기 개념을 소개하고, 분석 및 유사도 기반 검색이 필요한 이유를 설명한다. 개념을 숙지한 후에 다양한 사용 사례와 예제를 기반으로 유사도 검색을 알아본다.
4장, '일래스틱서치 분석'에서는 다양한 집계 타입을 소개하고 기본적인 이해를 돕기 위한 예제 코드를 살펴본다. 간단한 집계부터 복잡한 집계 기능까지 두루 살펴보며, 대용량 데이터에서 강력한 통찰력을 얻는 방법을 소개한다. 아울러 다양한 집계 타입을 사용하는 이유도 설명한다.
5장, '로그 데이터 분석'에서는 로그스태시의 기본 개념과 아키텍처, 데이터 파이프라인을 구축하기 위한 설치 및 설정 방법을 소개한다. 또한 일래스틱 5 버전에서 도입된 인제스트 노드를 소개하고, 일래스틱 인제스트 노드를 활용해 파이프라인을 구축하는 방법도 알아본다.
6장, '로그스태시를 활용한 데이터 파이프라인 구축'에서는 로그스태시가 제공하는 데이터 변환 및 집계, 필터링 방법을 설명한다. 다양한 필터 방법을 사용해 실시간 혹은 거의 실시 간으로 데이터를 처리하는 스트림 처리 프레임워크 구축 방법을 알아본다. 또한 비트 플랫폼과 로그 파일을 목적지로 전송하는 파일비트(Filebeat)를 소개한다.
7장, '키바나를 활용한 데이터 시각화'에서는 데이터 스토리텔링을 위해 키바나로 대시보드 를 만드는 방법을 설명한다. 또한 샘플 데이터 집합과 단계별 예제를 통해 손쉽게 시각화를 구축하는 방법을 알아본다.
8장, '일래스틱 엑스팩'에서는 일래스틱서치와 로그스태시, 키바나를 활용한 데이터 파이프 라인과 시각화를 구축하고 나면 특정 사용 사례에 필요한 확장 기능이 필요하다. 일래스틱 엑스팩을 설치하고 설정하는 방법, 엑스팩을 활용한 보안, 모니터링, 알림 방법을 소개한다.
9장, '운영 환경에 일래스틱 스택 도입'에서는 운영 환경에서 일래스틱 스택을 사용할 때 알아야 할 사항을 다룬다. 다양한 사용 사례에서 고려해야 할 필수 설정과 애플리케이션을 운영 환경에 적용할 때의 권장 사항을 알아본다.
10장, '데이터 분석 애플리케이션 구축'에서는 지금까지 학습한 개념을 사용해 센서 데이터 분석이라는 완전한 애플리케이션을 구축하는 방법을 설명한다. 일래스틱서치에서 데이터 모델링 방법, 데이터 파이프라인을 구축하고 이를 활용해 데이터를 수집하는 방법, 키바나로 데이터를 시각화하는 방법을 배운다. 또한 엑스팩을 사용해 데이터 파이프라인을 효과적으로 보안 및 모니터링하는 방법, 특정 상황에서 알림을 받는 방법을 소개한다.
11장, '서버 인프라 모니터링'에서는 일래스틱 스택을 활용해 구축한 애플리케이션을 실시간으로 모니터링하는 방법을 알아본다. 비트 플랫폼의 메트릭비트(Metricbeat)를 소개하고, 이를 사용해 서버 및 애플리케이션을 모니터링하는 방법을 설명한다.

파라나브 슈클라(Paranav Shukla)
발렌스 데이터랩(Valens DataLabs)의 설립자이자 CEO, 기술 전문가, 남편, 두 아이의 아버지다. 또한 JVM 기반의 프로그래밍 언어를 사용하는 대용량 데이터 아키텍트이자 소프트웨어 장인이다. 약 14년간 포춘(Fortune)지에서 선정한 500대 기업 및 스타트업을 대상으로 엔터프라이즈 애플리케이션을 설계하며 다양한 경험을 했다. 자바, 스칼라, 하둡 에코 시스템, 아파치 스파크, NoSQL 데이터베이스를 활용해 JVM 기반의 확장 가능하고 반응형 및 데이터 중심 애플리케이션 설계에 필요한 전문 지식을 갖고 있다. 요즘은 빅데이터 엔지니어링 및 분석, 머신 러닝에 관심이 많다.
발렌스 데이터랩은 기업이 데이터를 활용해 경쟁 우위를 확보할 수 있도록 돕고 있다. 특 히, 빅데이터와 웹 기술을 사용해 차세대 기술과 클라우드 기반 및 반응형, 데이터 중심 애플리케이션 개발을 전문으로 다룬다. 또한 지속 가능한 소프트웨어 시스템을 위해 애자일(Agile) 및 린(Lean) 방법론, 테스트 및 행위 주도 개발, 빌드 및 배포 자동화를 중요시 한다.
독서 및 크리켓(cricket) 경기 관람, 악기 연주, 음악 감상 및 노래 부르기를 즐긴다.
트위터 계정은 @pranavshukla81이고, 이메일은 pranav.shukla@valensdatalabs.com이다.

샤랏 쿠마(Sharath Kumar)
미국에 있는 댈러스(Dallas) 소재의 텍사스 대학교(The University of Texas)에서 컴퓨터 과학 석사 학위를 취득했다. IT 업계에서 10년 이상 종사했으며, 현재는 오라클에서 일래스틱서치 솔루션 아키텍트로 근무하고 있다. 일래스틱 스택의 열혈 팬이며 오라클 코드 이벤트(Oracle Code Event) 같은 콘퍼런스에서 다양한 기술을 발표하기도 했다. 일래스틱 공식 회사에서 증명하는 세계에서 손꼽히는 기술 전문가 중 한 사람으로, 일래스틱 공인 강사 자격을 갖고 있으며 일래스틱 교육을 제작하는 데 도움을 주기도 한다. 아울러 데이터 과학 및 머신 러닝 애호가기도 하다.
트래킹과 음악을 즐기고 사랑스러운 애완동물인 구뚜(Guddu)와 밀로(Milo)와 함께 놀기 도 한다. 주식 시장 분석을 위해 파이썬 기술을 탐구하는 것을 좋아한다. 이메일은 mnsk07@gmail.com이다.

옮긴이 장준호
배우고 학습하는 것을 즐기는 평범한 개발자다. 장인 개발자로 한걸음 더 도약하기 위해 늘 노력하고 있다.