일래스틱 스택을 활용하면 로깅, 메트릭, 성능 분석 데이터를 통합해 관리할 수 있으며, 머신러닝을 적용해서 비용 효율적으로 시스템을 모니터링하고 분석할 수 있다.
이 책은 운영 분석, 근본 원인 분석, 보안 분석에 일래스틱 스택을 활용하거나 새로 적용하려는 사용자가 일래스틱 스택의 머신러닝 기능을 빠르게 활용할 수 있도록 시스템 설치부터 다양한 시나리오에서의 활용 방법까지 설명한다.
하루하루 늘어가는 시스템의 문제에 빠르게 대응하고, 수동 작업을 자동화하려는 많은 개발자와 운영자의 시간을 절약하고 핵심 작업에 집중하는 데 도움될 것이다.

이 책에서 다루는 내용

■ 머신러닝 기능을 사용하기 위한 일래스틱 스택 설치
■ 다양한 이상 징후 유형을 감지할 때 일래스틱 머신러닝을 사용하는 방법
■ IT 운영과 보안 분석에 효과적인 이상 징후 탐지 방법 적용
■ 일래스틱 머신러닝 결과를 사용자 정의 뷰, 대시보드, 사전 예방적 얼러팅에 활용
■ 생성된 잡을 결합해 다양한 인프라스트럭처의 이상 징후 상관관계
■ 일래스틱 머신러닝을 최대한 활용하기 위한 다양한 팁과 트릭

[목 차]

1장. IT 분야의 머신러닝
__역사적인 도전 극복
____데이터 과잉
____자동 이상 탐지 시대의 도래
__작동 원리
____특이하다는 것의 정의
____일반적인 학습과 비지도 학습
______확률 모델
______모델 학습
______추세 제거
______비정상 점수 매김
__효과적 운영
____작업
____ML 노드
____버킷화
____데이터피드
__인덱스 지원
____.ml-state
____.ml-notifications
____.ml-anomalies-*
__오케스트레이션
__요약

2장. 머신러닝용 일래스틱 스택 설치
__일래스틱 스택 설치
____소프트웨어 다운로드
____일래스틱서치 설치
____키바나 설치
____플래티넘 기능 활성화
__일래스틱 ML 기능의 안내
____분석할 데이터 수집
____키바나에서의 ML 작업 타입
______데이터 비주얼라이저
______단일 메트릭 작업
______멀티메트릭 작업
______Population 작업
______Advanced 작업
____API를 통한 ML 제어
__요약

3장. 이벤트 변경 탐지
__정상적인 발생률을 이해하는 방법
__카운트 함수 탐구
____카운트 요약 정보
____카운트 분할
____기타 카운팅 함수
______non-zero 카운트
______distinct 카운트
__모집단 분석에서 카운팅
__드물게 발생하는 것을 탐지
__범주화를 통한 메시지 기반 로그 카운팅
____ML에 의해 범주화될 수 있는 메시지 유형
____범주화 과정
____범주 카운팅
____하나로 통합
____범주화를 사용하지 않을 경우
__요약

4장. IT 운영 분석과 근본 원인 분석
__전체 애플리케이션의 가시성
____KPI의 중요성과 한계
____KPI를 넘어서
__데이터 구성
____효과적인 데이터 분할
______ML 작업에 대한 사용자 정의 쿼리
______데이터 처리 시 강화
____문맥 정보 활용
______분할된 분석
______통계적 영향 요인
__근본 원인을 분석하고자 모든 정보를 함께 가져오기
____장애 시나리오
____시각적 상관관계와 분할된 영향 요인
____요약

5장. 일래스틱 머신러닝을 사용한 분석
__현장에서의 보안
____데이터 규모와 다양성
____공격 형태
__위협 사냥 아키텍처
____레이어 기반 처리
____위협 인텔리전스
__조사 분석
____손상 수준 평가
__요약

6장. ML 분석에 따른 얼러팅
__결과 표현
__결과 인덱스
____버킷 결과
____레코드 결과
____영향 요인 결과
__키바나에서 머신러닝 UI의 알람
____키바나 ML UI의 기본 와치 해부
__수동으로 ML 알람 생성
__요약

7장. 키바나 대시보드에서 일래스틱 ML 데이터 사용
__키바나의 시각화 옵션
____시각화 예제
____타임라이온
____시계열 비주얼 빌더
__이상 탐지 분석용 데이터 준비
____데이터셋
____데이터 수집
____이상 탐지 작업 생성
______글로벌 트래픽 분석 작업
______요청한 호스트의 HTTP 응답 코드 프로파일링
______호스트별 트래픽 분석
__시각화 구성
____인덱스 패턴 설정
____TSVB에서 ML 데이터 사용
____상관관계 히트 맵 생성
____타임라이온에서 ML 데이터 사용
____대시보드 구성
__요약

8장. 키바나 캔버스와 함께 일래스틱 ML 사용
__캔버스 소개
____캔버스란?
____캔버스 표현식
__일래스틱 ML 캔버스 슬라이드 만들기
____데이터 준비
____캔버스 데이터 테이블에서의 이상
____새로운 SQL 통합 사용
__요약

9장. 예측
__예측과 예언
__예측 사용 사례
__예측: 운영 이론
__단일 시계열 예측
____데이터셋 준비
____예측용 ML 작업 생성
__예측 결과
__다중 시계열 예측
__요약

10장. ML 팁과 트릭
__작업 그룹
__분할과 비분할 작업의 영향 요인
__스크립트 필드에 ML 사용
__단방향 함수를 사용하는 이점
__기간 무시하기
____다가오는 (알려진) 시간의 창 무시
______달력 이벤트 생성
______원하는 기간을 무시하도록 데이터피드 중지와 시작
____사후에 예기치 못한 타임 창 무시
______작업을 복제하고 히스토리 데이터를 다시 실행
______모델 스냅숏 되돌리기
__사용 사례를 과도하게 엔지니어링하지 말자
__ML 작업 처리량에 대한 고려 사항
__맞춤형 규칙을 활용한 하향식 알람
__ML 배포 크기 산정
__요약

이 책의 대상 독자

ML 전문가나 맞춤형 개발에 의존하지 않고 일래스틱서치 내의 머신 데이터에 대한 추가적인 통찰력을 얻고자 하는 IT 전문가를 위한 책이다. 자동화된 고급 이상 탐지와 예측을 통해 수동 데이터 분석을 강화하고자 하는 사람에게 매우 유용할 것이다. 이 책을 최대한 활용하려면 일래스틱 스택을 다뤄본 경험이 도움이 될 것이다.

이 책의 구성

1장, 'IT 분야의 머신러닝'에서는 IT와 보안 운영에서 수동 데이터 분석의 역사적 도전 과제를 소개하고 기본 배경을 설명한다. 또한 내부에서 일어나는 작업을 본질적으로 이해하는 데 도움이 되도록 일래스틱 ML의 운영 이론의 포괄적인 개요를 제공한다.
2장, '머신러닝용 일래스틱 스택 설치'에서는 일래스틱서치, 키바나, 메트릭비트, ML 기능의 활성화에 대해 포괄적이고 자세한 설치 절차를 안내한다. 또한 ML 분석 작업의 기본 기법을 소개하고자 메트릭비트 데이터로 실행한 데이터 분석의 몇 가지 작업 사례를 제공한다.
3장, '이벤트 변경 탐지'에서는 유효 로그 파일 분석의 핵심인 수치 기반 분석 기법을 자세히 설명한다.
4장, 'IT 운영 분석과 근본 원인 분석'에서는 이질적인 데이터 소스에서 온 데이터를 상관된 뷰로 전체적으로 검사하고 분석하는 데 일래스틱 ML을 활용하는 방식이 기존 방식과 비교해 분석가를 어떻게 돕는지 설명한다.
5장, '일래스틱 머신러닝을 사용한 보안 분석'에서는 오늘날 사이버 적들이 제기하는 지능적이고 영구적인 위협을 탐지하고 해결하는 것에 이상 탐지와 행동 분석이 어떻게 보안 전문가를 돕는 필수 기능이 됐는지 알려준다. 일래스틱 ML이 행동 이상 징후를 탐지하는 접근 방식은 보안 기반 머신 데이터에 일래스틱 스택을 사용하는 분석가들의 전략에 완벽하게 들어맞는다.
6장, 'ML 분석에 따른 얼러팅'에서는 일래스틱 얼러팅의 사전 통지 기능을 ML로 발견한 통찰력과 통합해 이상 탐지를 훨씬 더 실용적으로 만드는 몇 가지 기법을 설명한다.
7장, '키바나 대시보드에서 일래스틱 ML 데이터 사용'에서는 ML에서 수집한 정보로 기존 키바나 대시보드 시각화를 강화하는 방법을 설명한다.
8장, '키바나 캔버스와 함께 일래스틱 ML 사용'에서는 ML의 실시간 데이터 분석을 통해 픽셀 단위까지 완벽한 실시간 보고서를 작성하는 방법을 다룬다.
9장, '예측'에서는 일래스틱 ML의 정교한 시계열 모델을 이상 탐지를 넘어서 사용할 수 있는 방법을 설명한다. 예측 기능은 용량을 계획하는 것과 같은 사용 사례를 지원할 수 있도록 향후 추세와 행동을 추정할 수 있게 한다.
10장, 'ML 팁과 트릭'에서는 다른 장에서는 잘 맞지 않는 다양하고 실용적인 조언을 담고 있다. 이 유용한 내용은 일래스틱 ML을 최대한 활용할 수 있게 돕는다.


역자후기

IT 회사들의 서비스를 구성하는 스택이 점점 복잡해지고 데이터가 늘어나면서 시스템의 문제를 빠르게 감지하고 원인을 분석하는 작업은 점점 어려워지고 있다.
일반적으로 로깅 분석, 메트릭 분석, 성능 분석을 위해 개별 도구나 통합 도구를 도입해 시스템 운영에 활용하고 있지만 이러한 도구를 유지하고 관리하는 작업도 만만치 않다. 더구나 시스템의 복잡도와 규모가 서비스의 성공에 비례해 증가하기 때문에 좋은 도구가 준비돼 있더라도 단순히 모니터링 데이터를 쌓아 분석하는 기존 방식으로는 규모, 정확도, 대응 속도 면에서 한계가 있다. 이런 한계를 극복하고자 최근에는 데브옵스(DevOps)를 넘어 에이아이옵스(AIOps)를 표방하는 도구들이 유행처럼 출시되고 있다.
일래스틱 스택을 활용하면 로깅, 메트릭, 성능 분석 데이터를 통합해 관리할 수 있을 뿐 아니라 머신러닝을 적용해 비용 효율적으로 시스템을 모니터링하고 분석할 수 있다.
이 책은 운영 분석, 근본 원인 분석, 보안 분석 등에 기존 일래스틱 스택을 활용하고 있거나 새로 적용하려는 사용자가 일래스틱 스택의 머신러닝 기능을 빠르게 활용할 수 있도록 시스템 설치부터 다양한 시나리오에서의 활용 방법까지 설명한다.
하루하루 늘어가는 시스템의 문제에 빠르게 대응하고 수동 작업을 자동화하려는 많은 개발자와 운영자의 시간을 절약해 핵심 작업에 집중하는 데 도움이 되길 바란다.


Rich Collier의 말

데이터 분석, 수동 차트 작성, 임곗값 지정, 알림은 수십 년 동안 IT 및 보안 운영의 고유한 영역이었다. 정교한 머신러닝 알고리즘과 기술이 등장하기 전까지 사전 예방적 통찰력, 문제 감지, 근본 원인 분석은 분석가들에게 많은 부담이 됐다 현대 애플리케이션과 인프라의 복잡성과 규모가 기하급수적으로 증가하면서 도움이 필요한 상황인 것은 분명하다. 일래스틱 머신러닝은 시계열 머신 데이터와 관련된 이상 감지와 예측 사용 사례를 위한 효과적이고 사용하기 쉬운 솔루션이다. 이 책은 독자가 데이터 과학을 잘 알지123 못하더라도 고급 분석 기술과 운영에 능숙해질 수 있도록 도와줄 것이다.

바할딘 아자미
일래스틱의 솔루션 아키텍트다. 사용자 행위와 소셜 분석에 집중한 마케팅 데이터 플랫폼, 리치파이브(ReachFive)의 공동 설립자였으며, 탈렌드(Talend)와 오라클(Oracle) 같은 다양한 소프트웨어 개발사에서 솔루션 아키텍트 및 아키텍트로도 일했다. 『키바나 5.0 배우기』 이전에 『Scalable Big Data Architecture』(Apress, 2015), 『Talend for Big Data』(Packt, 2014) 같은 책을 저술했다. 파리에서 살고 있으며 파리 폴리텍 대학에서 컴퓨터 과학 석사 학위를 취득했다.



옮긴이 최중연
네이버에서 모니터링 서비스를 개발하고 있으며, 메트릭을 저장하고 처리하기 위해 카프카를 사용하고 있다. 실시간 분석과 이상 탐지에 대한 관심으로 카프카 스트림즈를 접했고 번역하게 됐다. 최근에는 쿠버네티스(Kubernetes) 환경에서 카프카 클러스터 서비스를 준비하고 있다.

옮긴이 어재익
네이버에서 사내 로그 시스템과 일래스틱서치 클러스터 서비스를 개발 및 운영하고 있다. 최근에는 분산 시스템 디버깅과 머신 러닝을 데브옵스(DevOps) 시스템에 활용하는 방법에 관심이 많다. 여가에는 가족들과 캠핑을 하거나 독서를 즐긴다. 공역서로는 에이콘출판사에서 펴낸 『ElasticSearch in Action』(2016), 『일래스틱서치 모니터링』(2017), 『키바나 5.0 배우기』(2017), 『일래스틱서치 쿡북 3/e』(2019)이 있다.