일래스틱 스택 6 입문(오픈소스 프로그래밍)

★ 이 책에서 다루는 내용 ★

■ 일래스틱 스택의 구성 요소와 6.0 버전에 새롭게 도입된 기능

■ 일래스틱서치의 기본 개념 및 유사도 검색, 집계 기능 이해

■ 로그스태시를 활용한 효과적인 데이터 파이프라인 구축 방법

■ 데이터 파이프라인을 활용한 대용량 데이터 검색 및 로깅 처리 방법

■ 키바나를 활용해 데이터를 시각화하고 실시간으로 데이터를 다루는 방법

■ 엑스팩을 활용한 보안 및 모니터링, 알림 기능 이해

■ 일래스틱 스택을 활용한 데이터 분석 애플리케이션 구축 방법

■ 일래스틱 애플리케이션을 개별 구축 환경 또는 클라우드 운영 환경에 적용하는 방법

■ 비트 플랫폼을 활용해 서버 및 애플리케이션을 모니터링하는 방법



★ 이 책의 대상 독자 ★

데이터에서 뛰어난 통찰력을 얻고, 데이터를 효과적으로 다루고 싶은 독자를 위한 책이다. 데이터 분산 및 실시간 처리를 위해 일래스틱 스택의 활용법을 배우고자 한다면 이 책이 훌륭한 지침서가 될 것이다. 일래스틱 스택을 접해본 적 없는 독자라도 책에서 안내하는 친절한 설명을 따라 하다 보면 자연스럽게 기초 개념을 학습할 수 있을 것이다.



★ 옮긴이의 말 ★

현대 사회에서 정보의 중요성은 두말할 필요가 없다. 개개인의 선택에서부터 기업의 의사 결정에 이르기까지 정보는 핵심 요소다. 이제는 넘치는 정보의 홍수 속에서 얼마나 가치 있고 올바른 정보를 얻느냐가 더 중요해졌다. 오늘날 출시되는 많은 애플리케이션은 이러한 정보를 기반으로 서비스되고 있다. 하지만 정보를 얻는 것은 쉬운 일이 아니다. 뚜렷한 의미라고는 찾아보기 힘든 1차원적인 데이터(data)를 수집하고 가공해야 비로소 정보(information)라 부를 수 있는 것이다. 그마저도 정보를 어디에 보관하고 어떻게 관리해야 하는지와 같은 수많은 문제가 애플리케이션 개발자와 시스템 관리자의 고민을 더해준다.

일래스틱 스택을 활용하면 골치 아픈 데이터 문제를 효율적으로 처리할 수 있다. 이 책은 일래스틱 스택을 어디에 접목할 수 있을 것인지에 대해 알아보고, 일래스틱서치와 로그스태시, 키바나, 엑스팩으로 이뤄진 각 구성 요소를 하나씩 파헤친다. 또한 스택의 핵심이라 할 수 있는 일래스틱서치를 사용할 때 숙지해야 할 핵심 개념을 살펴보고, 예제를 통해 검색 쿼리 및 집계 활용법을 학습한다. 따라서 일래스틱서치를 처음 접하는 독자라도 책에서 안내하는 개념과 단계별 예제를 따라 하다 보면 금세 사용법을 숙지할 수 있을 것이다. 그리고 데이터 처리를 위한 로그스태시와 비트, 데이터 시각화를 위한 키바나의 개념 및 실습 예제와 운영 환경에 스택을 도입할 때 고려해야 할 사항과 보안 및 모니터링, 백업 및 복구 등을 설명한다.

책에서 설명하는 예제는 2017년 11월에 출시된 6.0.0 버전을 기반으로 하고 있지만, 2018년 4월 출시 버전인 6.2.4 버전을 사용해도 무방하다. 일래스틱 스택의 버전이 발 빠르게 업데이트되면서 다양한 기능이 계속 추가되고 있다. 책을 읽다 보면 일래스틱 스택이 제공하는 각양각색의 기능에 혀를 내두를 정도다. 하지만 책에서 설명하는 근본 개념과 실습 예제는 쉽사리 변하지 않으므로 걱정하지 말자. 이 책을 밑거름 삼아 일래스택 스택에 대한 개념을 익히고, 요구 사항에 맞게 스택의 각 구성 요소를 활용해보자. 아무쪼록 이 책이 일래스틱 스택에 입문할 수 있는 훌륭한 지침서가 되길 바란다.

1장. 일래스틱 스택 소개

__일래스틱서치 개념 및 사용 이유

____스키마리스 및 도큐먼트 지향

____검색

____분석

____풍부한 클라이언트 라이브러리와 REST API 지원

____운영 및 확장 용이

____거의 실시간(Near real time)

____신속성

____결함 허용성(Fault tolerant)

__일래스틱 스택의 구성 요소

____일래스틱서치

____로그스태시

____비트

____키바나

____엑스팩

________보안

________모니터링

________보고서

________알림

________그래프

____일래스틱 클라우드

__일래스틱 스택의 사용 사례

____로그 및 보안 분석

____제품 검색

____메트릭 분석

____웹 검색 및 웹 사이트 검색

__다운로드 및 설치

____일래스틱서치 설치

____키바나 설치

__요약



2장. 일래스틱서치 시작하기

__키바나 콘솔 UI 사용하기

__핵심 개념

____인덱스

____타입

____도큐먼트

____노드

____클러스터

____샤드 및 복제본(Replicas)

____매핑(Mapping) 및 타입

________데이터 타입

________매핑

____역색인

__CURD 연산

____색인 API

________ID를 제공해 도큐먼트 색인하기

________ID를 제공하지 않고 도큐먼트 색인하기

____조회 API

____업데이트 API

____삭제 API

__인덱스 생성 및 매핑 관리

____인덱스 생성

____기존 인덱스에 타입 매핑 생성

____매핑 업데이트

__REST API 개요

____공통 API 규칙

________JSON 응답 형식

________다중 인덱스 처리

__요약



3장. 유사도 검색

__텍스트 분석의 기초

____일래스틱서치 분석기 이해하기

________문자 필터

________토크나이저

________토큰 필터

____내장형 분석기 사용하기

________표준 분석기

____맞춤형 분석기로 자동 완성 구현하기

__구조화된 데이터 검색

____Range 쿼리

________숫자 타입

________스코어 증폭

________날짜 범위

____Exists 쿼리

____Term 쿼리

__전문 텍스트 검색

____Match 쿼리

________Operator

________minimum_should_match

________Fuzziness

________Match Phrase 쿼리

____Multi Match 쿼리

________multi_match 쿼리 사용하기

________특정 필드의 스코어 높이기

________다양한 multi_match 쿼리 타입

__복합 쿼리 작성

____Constant score 쿼리

____Bool 쿼리

________OR 조건 결합

________AND 및 OR 조건 결합

________NOT 조건 추가

__요약



4장. 일래스틱서치 분석

__집계 기초

____Bucket 집계

____Metric 집계

____Matrix 집계

____Pipeline 집계

__데이터 분석 준비

____데이터 구조 이해하기

____로그스태시를 사용해 데이터 업로드하기

__Metric 집계

____합계, 평균, 최소, 최대 집계

________Sum 집계

________Average 집계

________Min 집계

________Max 집계

____통계 및 확장 통계 집계

________Stats 집계

________Extended Stats 집계

____Cardinality 집계

__Bucket 집계

____문자열 데이터 버킷팅

________Terms 집계

____숫자 데이터 버킷팅

________Histogram 집계

________Range 집계

____필터 데이터 집계

____중첩 집계

____맞춤형 조건 버킷팅

________Filter 집계

________Filters 집계

____날짜 및 시간 데이터 버킷팅

________Date Histogram 집계

____지리 정보 데이터 버킷팅

________Geo distance 집계

________GeoHash grid 집계

__Pipeline 집계

____시간 경과에 따른 사용율 누적 합계 계산

__요약



5장. 로그 데이터 분석

__로그 분석 과제

____로그스태시

________설치 및 환경 설정

________로그스태시 다운로드 및 설치

__로그스태시 아키텍처

__로그스태시 플러그인 개요

____플러그인 설치 및 업데이트

________입력 플러그인

________출력 플러그인

________필터 플러그인

________코덱 플러그인

____플러그인 탐색

________입력 플러그인 탐색

________출력 플러그인

________코덱 플러그인

________필터 플러그인

__인제스트 노드

____파이프라인 정의

____인제스트 API

________Put 파이프라인 API

________Get 파이프라인 API

________Delete 파이프라인 API

________Simulate 파이프라인 API

__요약



6장. 로그스태시를 활용한 데이터 파이프라인 구축

__로그스태시를 사용한 로그 구문 분석 및 강화

____필터 플러그인

________CSV 필터

________Mutate 필터

________Grok 필터

________Date 필터

________Geoip 필터

________Useragent 필터

__비트 소개

____일래스틱 비트

________파일비트

________메트릭비트

________패킷비트

________하트비트

________윈로그비트

________오디트비트

____커뮤니티 비트

____로그스태시와 비트의 차이점

__파일비트

____파일비트 다운로드 및 설치

________윈도우에 설치

________리눅스에 설치

____아키텍처

____환경 설정

________Prospector 설정

________전역 옵션

________일반 옵션

________출력 설정

________모듈

__요약



7장. 키바나를 활용한 데이터 시각화

__키바나 다운로드 및 설치

____윈도우에 설치하기

____리눅스에 설치하기

____키바나 설정하기

__데이터 준비

__키바나 UI

____사용자 상호 작용

____인덱스 패턴 설정

____탐색

________일래스틱서치 쿼리 문자열

________일래스틱서치 DSL 쿼리

____시각화

________키바나 집계

____시각화 만들기

____시각화 타입

________선, 영역, 막대 차트

________데이터 테이블

________마크다운 위젯

________메트릭

________목표

________계량기

________기여도 차트

________좌표 지도

________지역 지도

________태그 클라우드

____시각화 활용하기

________시간 경과에 따른 응답 코드 분석하기

________상위 10개의 요청 URL 검색하기

________시간 경과에 따른 상위 5개국 대역폭 분석하기

______다른 국가에서 유입된 웹 트래픽 분석하기

________가장 많이 사용하는 사용자 에이전트 검색하기

____대시보드

________대시보드 구축하기

________대시보드 저장하기

________대시보드 복제하기

________대시보드 공유하기

__타임라이온

____타임라이온 UI

____타임라이온 표현식

__플러그인 사용하기

____플러그인 설치하기

____플러그인 제거하기

__요약



8장. 일래스틱 엑스팩

__엑스팩 설치

____일래스틱서치에 엑스팩 설치하기

____키바나에 엑스팩 설치하기

____엑스팩 제거하기

__엑스팩 설정

__보안

____사용자 인증

____사용자 권한 부여

____보안 실행

________사용자 생성하기

________역할 생성하기

________도큐먼트 또는 필드 레벨 보안

________엑스팩 보안 API

__일래스틱서치 모니터링

____모니터링 UI

________일래스틱서치 메트릭

____워치 구조

____워치 활용하기

________알림 만들기

________워치 삭제, 편집, 비활성화

__요약



9장. 일래스틱 스택 운영 환경에 적용하기

__일래스틱 스택을 클라우드 환경에 호스팅하기

____일래스틱 클라우드 시작하기

____키바나 사용하기

____설정 재정의

____스냅숏 복구

__일래스틱 스택을 개별 구축 환경에 호스팅하기

____하드웨어 선택

____운영체제 선정

____일래스틱서치 노드 설정

________JVM Heap 크기

________스와핑 비활성화

________파일 디스크립터

________스레드 풀 및 가비지 컬렉터

____일래스틱서치 관리 및 모니터링

____도커 컨테이너 활용하기

____클라우드 환경 사용 시 고려 사항

________인스턴스 타입 선택

________포트를 노출하지 않도록 변경

________프록시 요청

________로컬 주소에 HTTP 바인딩

________EC2 검색 플러그인 설치

________S3 저장소 플러그인 설치

________주기적인 스냅숏 설정

__백업 및 복구

____스냅숏 저장소 설정하기

________공유 파일 시스템

____클라우드 또는 분산 파일 시스템

____스냅숏 생성하기

____스냅숏 복구하기

__인덱스 별칭 설정

____인덱스 별칭 이해하기

____인덱스 별칭 사용법

__인덱스 템플릿 설정

____인덱스 템플릿 생성

____인덱스 즉시 생성

__시계열 데이터 모델링

____예측할 수 없을 정도로 확장되는 인덱스

________일래스틱서치 병렬 처리 단위

________샤드 개수가 유사도 점수에 미치는 영향

________샤드 개수가 집계 정확도에 미치는 영향

____시간 경과에 따른 매핑 변경

________신규 필드 추가

________기존 필드 제거

____도큐먼트 자동 삭제

____시간 기반 인덱스 사용 방법

________시간 기반 인덱스 확장

________시간 경과에 따른 매핑 변경

________도큐먼트 자동 삭제

__요약



10장. 데이터 분석 애플리케이션 구축

__애플리케이션 소개

____센서에서 생성된 데이터 이해하기

____센서 메타데이터 이해하기

____최종 저장된 데이터 이해하기

__일래스틱서치 데이터 모델링

____인덱스 템플릿 정의

____매핑 이해하기

__메타데이터 데이터베이스 설정

__로그스태시 데이터 파이프라인 구축

____웹 기반 JSON 요청 수락하기

____MySQL의 메타데이터로 JSON 데이터 강화하기

________jdbc_streaming 플러그인

________mutate 플러그인

________일래스틱서치에 결과 도큐먼트 저장하기

__로그스태시에서 HTTP를 이용한 데이터 전송

__키바나 데이터 시각화

____키바나에서 인덱스 패턴 설정하기

____시각화 구축하기

________시간 경과에 따른 평균 온도 변화는 어떻게 될까?

________시간 경과에 따른 평균 습도 변화는 어떻게 될까?

________시간 경과에 따라 각 위치에서 온도와 습도 변화는 어떻게 될까?

________온도와 습도를 지도에서 확인할 수 있을까?

________센서는 각 부서에 어떻게 분산돼 있을까?

____대시보드 만들기

__요약



11장. 서버 인프라 모니터링

__메트릭비트

____메트릭비트 다운로드 및 설치

________윈도우에 설치하기

________리눅스에 설치하기

____아키텍처

________이벤트 구조

__메트릭비트 설정

____모듈 설정

________modules

________metricbeat

____일반 설정

____출력 설정

____로그

__시스템 메트릭 수집

____system 모듈을 활용한 메트릭비트 실행

____별칭 지정하기

____키바나에서 시스템 메트릭 시각화하기

__시스템 아키텍처

__요약

파라나브 슈클라 저자 파라나브 슈클라 (Paranav Shukla)

발렌스 데이터랩(Valens DataLabs)의 설립자이자 CEO, 기술 전문가, 남편, 두 아이의 아버지다. 또한 JVM 기반의 프로그래밍 언어를 사용하는 대용량 데이터 아키텍트이자 소프트웨어 장인이다. 약 14년간 포춘(Fortune)지에서 선정한 500대 기업 및 스타트업을 대상으로 엔터프라이즈 애플리케이션을 설계하며 다양한 경험을 했다. 자바, 스칼라, 하둡 에코 시스템, 아파치 스파크, NoSQL 데이터베이스를 활용해 JVM 기반의 확장 가능하고 반응형 및 데이터 중심 애플리케이션 설계에 필요한 전문 지식을 갖고 있다. 요즘은 빅데이터 엔지니어링 및 분석, 머신 러닝에 관심이 많다.

발렌스 데이터랩은 기업이 데이터를 활용해 경쟁 우위를 확보할 수 있도록 돕고 있다. 특 히, 빅데이터와 웹 기술을 사용해 차세대 기술과 클라우드 기반 및 반응형, 데이터 중심 애플리케이션 개발을 전문으로 다룬다. 또한 지속 가능한 소프트웨어 시스템을 위해 애자일(Agile) 및 린(Lean) 방법론, 테스트 및 행위 주도 개발, 빌드 및 배포 자동화를 중요시 한다.

독서 및 크리켓(cricket) 경기 관람, 악기 연주, 음악 감상 및 노래 부르기를 즐긴다.