일래스틱서치 모니터링(acorn+PACKT 시리즈)

★ 이 책에서 다루는 내용 ★



■ 일래스틱서치 헤드와 빅데스크로 클러스터 탐색

■ 일래스틱서치 API를 사용해 일래스틱서치 모니터링 플러그인의 내부 데이터 접근

■ 마블을 사용해 클러스터 성능 분석

■ 일래스틱서치를 사용할 때 수반되는 일반적인 성능과 신뢰성 문제 해결

■ 클러스터의 성능 이력을 분석하고, 시스템 오류의 근본 원인을 찾아 복구

■ 키바나, 코프 같은 도구의 설치와 사용



★ 이 책의 대상 독자 ★



일래스틱서치를 사용하는 소프트웨어 개발자, 데브옵스 엔지니어 및 시스템 관리자를 대상으로 한다. 간단한 클러스터를 설치하고 구성하기 위해 일래스틱서치의 기본 사항을 다루지만, 일래스틱서치 API는 자세히 설명하지 않는다. 일래스틱서치 API에 대한 기본적인 이해가 꼭 필요한 것은 아니지만, 이 책을 이해하는 데 도움이 될 수 있다.



★ 이 책의 구성 ★



1장, '일래스틱서치 모니터링 소개'에서는 일래스틱서치 개요를 설명하고, 클러스터를 모니터링한다. 또한 문제를 해결할 때 주의해야 할 몇 가지를 소개한다.

2장, '일래스틱서치 설치와 요구사항'에서는 일래스틱서치와 일래스틱서치 모니터링 도구의 설치 방법을 알아본다.

3장, '일래스틱서치 헤드와 빅데스크'에서는 다중 모드 일래스틱서치 클러스터를 설정하는 방법과 클러스터의 상태를 조사하는 모니터링 도구인 일래스틱서치 헤드(Elasticsearch-head)와 빅데스크(Bigdesk)를 사용하는 방법을 알아본다.

4장, '마블 대시보드'에서는 일래스틱서치 제작사가 개발한 상용 모니터링 도구인 마블에 대해 알아본다.

5장, '시스템 모니터링'에서는 일래스틱서치 유틸리티인 코프(Kopf), 키바나(Kibana), 일래스틱서치 cat API, 그리고 몇 가지 유닉스 명령행 유틸리티를 다룬다.

6장, '성능과 신뢰성 문제 해결하기'에서는 일래스틱서치를 사용할 때 발생하는 일반적인 성능과 안정성 문제를 해결하는 방법을 알아본다. 문제를 해결하는 실제 예제와 몇 가지 사례 연구도 다룬다.

7장, '노드 오류 및 사후 분석'에서는 클러스터의 성능 이력을 분석하고 시스템 오류의 근본 원인을 찾아 복구하는 방법을 알아본다. 몇 가지 실제 예제와 사례 연구도 다룬다.

8장, '기대'에서는 다음 주요 소프트웨어 릴리즈인 일래스틱서치 5에 포함되는 기능과 사용할 수 있는 새로운 모니터링 도구를 알아본다.



★ 지은이의 말 ★



일래스틱서치 모니터링의 독자가 된 것을 환영한다!

일래스틱서치 API나 클러스터 설정 방법을 다루는 책과 온라인 튜토리얼은 많다. 하지만 지금까지 모니터링과 문제 해결을 목적으로 하는 빈틈없고 이해하기 쉬운 자료는 없었다. 일래스틱서치 모니터링 도구는 클러스터의 문제 해결 능력을 극적으로 개선해서 클러스터의 신뢰성과 성능을 크게 향상시킨다.

일래스틱서치 헤드, 빅데스크, 마블, 코프, 키바나 같이 널리 사용되는 오픈 소스 및 상업용 일래스틱서치 모니터링 도구를 소개하며, 일래스틱서치 cat API 섹션과 나지오스를 사용해 일반적인 시스템 모니터링을 수행하는 방법도 설명한다. 또한 실제로 이러한 도구를 사용해 일래스틱서치 문제를 해결하는 예제와 함께 몇 가지 사례 연구를 살펴본다.

가장 좋은 학습법은 직접 해보는 것이므로, 샘플 일래스틱서치 클러스터를 설치하고 데이터를 로딩하는 방법을 자세히 살펴본다. 때로는 클러스터에 의도적으로 문제를 발생시켜 다양한 모니터링 도구를 사용해 에러를 추적하는 방법을 배운다. 클러스터에서 예제를 따라 하다 보면 모니터링 도구를 사용하는 방법과 발생할 수 있는 새로운 문제의 처리 방법을 익히는 데 도움이 된다.

이 책을 끝까지 읽으면 일래스틱서치 클러스터를 실행하고 유지 보수할 수 있을 것이다. 또한 노드의 종료, 일래스틱서치 프로세스의 강제 종료, 설정 에러, 샤드 에러, OutOfMemoryError 예외, 슬로 쿼리, 느린 인덱싱 성능 같은 클러스터 문제를 진단하고 해결하는 준비가 될 것이다.



★ 옮긴이의 말★



일래스틱서치는 설치가 간단하고, 쉽게 스케일 아웃할 수 있다는 장점 때문에 최근 몇 년 사이 많은 사용자를 확보했다. 처음 시스템을 사용할 때 '혹시 이런 것도 되나'하고 스펙을 찾아볼 때마다 다양한 기능을 제공하고 있어 경이로울 때도 많다.

하지만 저장 데이터가 커지고 사용자가 늘어나면서 어느 순간 노드가 OOM으로 종료되거나 클러스터가 갑자기 먹통이 되는 경험을 하게 될 것이다.

처음 일래스틱서치를 접했을 때 느낀 검색 및 집계 기능의 강력함과 유연함에 매료됐던 개발자들도 불안정한 시스템을 경험하면서 서서히 돌아서기 시작한다. 포기하고 다른 시스템을 찾는 사람도 있을 것이고 마치 야생마를 길들이듯 시스템을 길들이고 말겠다며 더 매력을 느끼는 사람도 있을지 모른다.

이 책은 일래스틱서치를 운영하면서 알아야 할 기본적인 운영 방법과 노하우를 소개하고 있다. 일래스틱서치가 워낙 다양한 기능을 다루고 있고, 클러스터의 규모도 다양해서 모든 문제의 해법을 제공한다고 보장할 수는 없다. 다만 일래스틱서치 운영을 시작하는 단계에 있거나 프로덕션에 배포하면서 기본적인 운영 문제들을 정리하고자 하는 사람들에게는 많은 도움이 될 수 있는 책이다.

이 책을 통해 많은 일래스틱서치 사용자들이 시스템 운영의 고통에서 해방되길 바란다.

1장. 일래스틱서치 모니터링 소개



__일래스틱서치 개요

____일래스틱서치란?

____데이터 분산, 복제, 고장 허용

____전문 검색

____유사 기술

______아파치 루씬

______솔라

______페릿

__일래스틱서치 모니터링

__문제 분석과 해결

__요약



2장. 일래스틱서치 설치와 요구 사항



__일래스틱서치 설치

____DEB/RPM 설치

____yum과 apt-get 저장소

____우분투/데비안 그리고 apt-get

____CentOS/RHEL과 yum

____검증

____설정 파일

____일래스틱서치 클러스터 설정

____클러스터 이름

____메모리 설정

____파일 열기 제한

____최대 파일 제한

____우분투 리눅스에서의 최대 파일 디스크립터 갱신

____플러그 가능한 인증 모듈 사용

____파일 열기 제한 검증하기

____스와핑 비활성화하기

__클러스터 이해

____일래스틱서치 헤드 설치

____빅데스크 설치

____마블

__클러스터 요구 사항

__요약



3장. 일래스틱서치 헤드와 빅데스크



__클러스터 구성

____클러스터 설정

____샘플 데이터

__일래스틱서치 헤드

____오버뷰 탭

______클러스터 상태

____노드와 인덱스 액션

____인덱스 탭

____브라우저 탭

____구조적 쿼리 탭

____애니 리퀘스트 탭

____공식 웹사이트

__빅데스크

__일래스틱서치 cat API

____배경

____수치

____건강

____인덱스

____샤드

__요약



4장. 마블 대시보드



__마블 설치

__마블 업그레이드하기

__마블 설정하기

____마블 에이전트 구성 설정

__마블 인덱스 설정

__마블 대시보드 이해하기

____오버뷰 대시보드

____인덱스 대시보드

____노드 대시보드

__노드 실패 모니터링

__요약



5장. 시스템 모니터링



__코프로 작업하기

____코프 설치하기

______클러스터 페이지

______노드 페이지

______rest 페이지

______more 드롭다운

__로그스태시와 키바나로 작업하기

____ELK

____설치

______로그스태시 설치하기

______NGINX 로그 적재하기

______키바나 설치하기

__나지오스로 작업하기

____나지오스 설치하기

__시스템과 프로세스 관리를 위한 명령행 도구

____top

____tail

____grep

____ps

____kill

____free

____du and df

__요약



6장. 성능과 신뢰성 문제 해결하기



__시스템 설정

__필드데이터 캐시

__쿼리 분석하기

____슬로 로그

__쿼리 성능 개선하기

____높은 카디널리티 필드

____적은 인덱스 쿼리하기

____콜드 인덱스

____샤드 쿼리 캐시

____스크립트 쿼리

____꼼꼼하게 테스트하기

__시스템과 데이터 아키텍팅

____핫-웜 아키텍처

______마스터 노드

______핫 노드

______웜 노드

____디스크 크기 줄이기

______압축

_______source와 분석 필드 저장하기

____데이터 수집 최적화하기

______벌크 인덱싱 연산

______드라이브 설정

__사례 연구

____노드 설정

____쿼리 최적화

____웹 애플리케이션 성능

__요약



7장. 노드 오류와 사후 분석



__문제 진단하기

____OutOfMemoryError 예외

______샤드 오류

______슬로 쿼리

______OutOfMemoryError 예외 해결하기

____일래스틱서치 프로세스 크래시

____디스크 공간

______문제 해결하기

__사례 연구 검토

____ES 프로세스가 예기치 않게 종료됨

____느리고 타임아웃 되는 쿼리 요청

__요약



8장. 기대



__일래스틱서치 5 개요

____성능과 신뢰성

____데이터 유실

__일래스틱서치 5.0으로 업그레이드

____업그레이드 시기

__일래스틱서치 5 모니터링

__요약

댄 노블 저자 댄 노블(Dan Noble)은 안전하고 깔끔하며 논리 정연한 코드를 쓰는 데 열정 있는 소프트웨어 엔지니어다. 다양한 프로그래밍 언어와 프레임워크 중에 파이썬, 일래스틱서치, 프론트엔드 기술로 작업하는 것을 즐긴다. 현재 지리 공간 웹 애플리케이션과 데이터 프로세싱 시스템 업무를 수행한다.

2011년 이래로 일래스틱서치 사용자이자 지지자다. 다양한 모임에서 일래스틱서치에 관한 강연을 했고, 『ElasticSearch Cookbook 2/e』(에이콘, 2016)의 기술 검토자기도 하다.