데이터 분석 플랫폼 구축과 활용

1 파트(1장~4장)에서는 로그를 분석하는 배경과 실제로 로그를 활용해서 시각화 및 분석까지의 흐름을 설명합니다. 로그를 어떻게 활용할 것인지 고민 중인 독자에게 참고가 될 것입니다.



2 파트(5장~8장)에서는 로그를 활용하기 위한 미들웨어 Fluentd에 대해서 설명합니다. Fluentd를 활용하기 위한 팁도 다수 포함되어 있습니다.



3 파트(9장~14장)에서는 Elasticsearch에 대해서 설명합니다. Elasticsearch는 검색엔진이지만 최근에는 로그를 저장하는 미들웨어로 활용되고 있습니다.



4 파트(15장~20장)에서는 Kibana라는 로그 시각화 도구에 대해서 설명합니다. Kibana는 Elasticsearch의 프론트엔드 애플리케이션으로 구축된 도구로 로그를 시각화하기 위해 유용한 기능을 제공합니다.



부록에서는 Fluentd 플러그인 사전, Embulk&Digdag 입문, Embulk 플러그인 사전, Kibana의 편리한 기능 등을 수록하였습니다.

part 1 데이터 분석 기반 입문

chapter 1 데이터 분석 개요

1-1 데이터 분석 환경을 구성하는 요소

1-2 데이터 분석 기반의 대상

1-3 데이터 분석 사례 소개

1-4 개요 파악

1-5 수익 구조 파악

1-6 가설과 검증

1-7 의사결정을 위한 데이터 분석

1-8 정리

chapter 2 로그 데이터의 기초

2-1 로그란

2-2 서비스 개선을 위한 로그

2-3 로그 구성

2-4 로그를 살리는 디플로이(배포)

2-5 정리

chapter 3 데이터 분석 기반 구축

3-1 이번 장에서 준비하는 환경

3-2 Elasticsearch 설정

3-3 Kibana 작동

3-4 정리

chapter 4 데이터 분석 기반 운영

4-1 ETL

4-2 데이터 분석 시스템 가용성

4-3 데이터 저장소 비교

4-4 무엇을 가치로 제공할 것인가

4-5 엔지니어로부터 데이터의 활용 방법을 공유하자

4-6 1 파트 정리



part 2 로그 수집 입문

chapter 5 로그 수집 미들웨어 소개

5-1 서비스 개선에 없어서는 안될 로그 수집

5-2 현대적인 로그 수집이란

5-3 정리

chapter 6 처음으로 만나는 Fluentd

6-1 Fluentd는 어떤 미들웨어인가

6-2 Fluentd 셋업

6-3 Fluentd 설정 커스터마이즈

6-4 플러그인 활용

6-5 정리

chapter 7 Fluentd 설계 요령

7-1 tail 플러그인 철저공략

7-2 Fluentd 노드 디자인패턴

7-3 정리

chapter 8 Fluentd 운영 Tips

8-1 Fluentd 감시

8-2 로그 누락을 막기 위한 8가지 포인트

8-3 소유자가 root 유저인 로그 파일을 Fluentd로 수집하기

8-4 Fluentd의 스테이징 환경을 만드는 법

8-5 정리



part 3 Elasticsearch 입문

chapter 9 데이터스토어 입문

9-1 데이터 저장소 요건

9-2 대표적인 데이터 저장소

9-3 정리

chapter 10 Elasticsearch 기초

10-1 Elasticsearch 특징

10-2 아키텍처

10-3 로그 데이터를 저장하는 단위

10-4 정리

chapter 11 Elasticsearch 시작

11-1 준비

11-2 Elasticsearch 기초

11-3 설정.

11-4 인덱스와 데이터의 조작

11-5 검색

11-6 매핑 정의

11-7 정리

chapter 12 Elasticsearch의 운용 팁

12-1 튜닝포인트

12-2 인덱스 수

12-3 스케일 아웃에 대해서

12-4 정리

chapter 13 Curator

13-1 운용에 편리한 도구 Curator

13-2 정리

chapter 14 elasticsearch-hadoop

14-1 elasticsearch-hadoop 개요

14-2 접근 방법

14-3 정리



part 4 Kibana 입문

chapter 15 Kibana 특징

15-1 Kibana에 대해서

15-2 Kibana 시스템 구성

15-3 그 외의 시각화, 분석 도구의 비교

15-4 정리

chapter 16 Kibana 설치와 설정

16-1 다운로드와 인스톨

16-2 초기 설정과 실행

16-3 Docker를 사용한 구성

16-4 인덱스 설정

16-5 정리

chapter 17 Kibana 분석 워크플로우

17-1 샘플 서비스 기동

17-2 케이스 1 : 매트릭 시각화

17-3 케이스 2 : 글 내용 분석

17-4 정리

chapter 18 Discover 탭 검색

18-1 Discover 탭

18-2 레코드 검색

18-3 인덱스와 표시할 필드 선택

18-4 검색 팁

18-5 정리

chapter 19 차트 작성

19-1 차트 작성.

19-2 Metrics와 Buckets

19-3 2차원 차트 설정

19-4 그 외의 표준 차트

19-5 데이터 표시

19-6 그 외의 시각화 방법

19-7 정리



chapter 20 대시보드

20-1 Dashboard 탭

20-2 대시보드 편집

20-3 대시보드 공유

20-4 정리



부록

부록 A Fluentd 플러그인 사전

부록 B Embulk & Digdag 입문

부록 C Embulk 플러그인 사전

부록 D Kibana의 편리한 기능과 그 외의 Elastic Stack의 소개

스즈키 켄타 저자 스즈키 켄타

클래식 기타를 좋아하는 소프트웨어 엔지니어로 주식회사 VOYAGE GROUP의 자회사인 fluct 소속으로 근무 중이다. 광고 데이터의 분석 플랫폼의 구축을 시작으로 광고 기술 분야에서 엔지니어로 일하고 있으며 공저로 "모두의 Go 언어"(2016년 기술평론사)가 있으며 이 책의 1 파트 집필을 담당했다.