Go를 활용한 머신 러닝

★ 이 책에서 다루는 내용 ★



■데이터의 수집, 구성, 구문 분석 및 정리 방법

■행렬, 선형 대수학, 통계 및 확률

■머신 러닝 모델을 평가하고 검증하는 방법

■회귀분석, 분류, 군집화

■신경망과 딥러닝

■시계열 모델을 활용해 예측 수행 및 이상 감지 작업 수행

■분석도구 및 머신 러닝 모델 배포 방법

■머신 러닝 모델 최적화 방법



★ 이 책의 대상 독자 ★

■머신 러닝 및 데이터 분석에 관심이 있는 Go 프로그래머

■Go 언어에 관심이 있고 Go를 머신 러닝과 데이터 분석 워크플로에 연동하는 데 관심이 있는 데이터 과학자, 데이터 분석가, 데이터 엔지니어



★ 이 책의 구성 ★



1장부터 3장까지는 머신 러닝 워크플로를 위해 데이터를 준비하고 분석하는 내용이다.

1장, '데이터 수집 및 구성'에서는 로컬 및 원격 소스로부터 데이터를 수집, 정리하는 방법과 데이터의 구문을 분석하는 방법을 다룬다. 1장에서는 다양한 장소에 다양한 포맷으로 저장돼 있는 데이터와 상호작용하는 방법과 데이터를 정리하고 구문 분석한 뒤 출력하는 방법을 이해할 수 있다.

2장, '행렬, 확률 및 통계'에서는 행렬 및 행렬 연산을 위해 데이터를 구성하는 방법을 다룬다. 머신 러닝에 활용되는 도구들로 Go 프로그램에서 행렬을 형성하는 방법과 이 행렬을 활용해 다양한 유형의 행렬 연산을 수행하는 방법을 이해할 수 있다. 또한 일상 데이터 분석 작업의 핵심인 통계적 측정과 수행 방법에 대해서도 다룬다. 2장을 통해 견고하게 데이터 분석을 요약하는 방법, 분포를 기술하고 시각화하는 방법, 가설을 정량화하고 차원(Dimension) 감소와 같은 데이터세트를 변환하는 방법을 이해할 수 있다.

3장, '평가 및 검증'에서는 머신 러닝 애플리케이션의 성능을 측정하고 일반화하는 데 핵심이 되는 평가 및 검증에 대한 내용을 다룬다. 3장을 통해 모델(즉, 평가 모델 측정)의 성능을 계량하기 위한 다양한 측정 방법 간의 차이점뿐만 아니라 이런 성능 측정 모델을 좀 더 일반화해 검증하는 기법을 이해할 수 있다.



4장부터 7장까지는 머신 러닝 기법을 다룬다.

4장, '회귀분석'에서는 연속적인 변수를 모델링하고 다른 모델의 기반이 되는 회귀(Regression)를 설명한다. 회귀는 즉시 해석할 수 있는 모델을 만든다. 따라서 조직에서 예측 기능을 도입할 때 매우 좋은 시작점이 될 수 있다.

5장, '분류'에서는 대상 변수가 일반적으로 카테고리 형태이거나 레이블(Label)이 붙어있다는 점에서 회귀 분석과 다른 머신 러닝 기법인 '분류(Clssification)'를 다룬다. 예를 들어 분류 모델은 이메일을 스팸 카테고리와 비-스팸 카테고리로 분류하거나 네트워크 트래픽이 사기성인지 사기성이 아닌지를 구분할 수 있다.

6장, '클러스터링'에서는 샘플의 그룹을 형성하는 데 사용되며 감독되지 않는 머신 러닝 기법인 클러스터링(Clustering)에 대한 내용을 다룬다. 데이터의 구조를 더 잘 이해하기 위해서 자동으로 데이터 요소 그룹을 형성하는 방법을 이해할 수 있을 것이다.

7장, '시계열 분석 및 이상 감지'에서는 주식 가격, 사용자 이벤트 등과 같은 시계열(Time Series) 데이터를 모델링하는 데 활용되는 기술을 소개한다. 시계열의 다양한 용어를 이해하고 시계열의 모델을 제작하고, 시계열에서 비정상적인 부분을 감지하는 방법을 알 수 있다.



8장부터 9장까지는 머신 러닝을 활용하는 방법을 다룬다.

8장, '신경망 및 딥러닝'에서는 신경망을 활용해 회귀, 분류, 이미지 처리를 수행하는 데 사용되는 기술을 소개한다. 더 복잡한 모델링 기술을 언제 그리고 어떻게 적용하는지 이해할 수 있다.

9장, '분석 결과 및 모델 배포하기'에서는 개발한 모델을 프로덕션 환경으로 배포하고 프로덕션 수준의 데이터를 통해 처리 결과를 배포하는 방법에 대해 다룬다. 책에서 사용한 코드를 크게 변경하지 않고 두 가지 작업을 쉽게 처리할 수 있는 방법을 설명한다.

부록, '머신 러닝과 관련된 알고리즘 및 기술'에서는 이 책에서 사용하는 용어 및 기술에 대한 내용과 머신 러닝 워크플로우와 관련된 알고리즘, 최적화, 기술에 대한 정보를 제공한다.

1장. 데이터 수집 및 구성

__데이터 처리하기 - Gopher 스타일

__Go를 활용한 데이터 수집 및 구성의 모범 사례

__CSV 파일

____파일에서 CSV 데이터 읽기

____예상하지 못한 필드 처리하기

____예상하지 못한 타입 처리하기

____데이터 프레임을 활용해 CSV 데이터 조작하기

__JSON

____JSON 파싱하기

____JSON 출력

__SQL 유형 데이터베이스

____SQL 데이터베이스에 연결하기

____데이터베이스 쿼리하기

____데이터베이스 수정하기

__캐싱(Caching)

____메모리에 데이터 캐싱하기

____디스크에 로컬로 데이터 캐싱하기

__데이터 버전 관리

____Pachyderm jargon

____Pachyderm 설치

____데이터 버전 관리를 위한 데이터 저장소 생성하기

____데이터 저장소에 데이터 넣기

____버전 관리되는 데이터 저장소에서 데이터 가져오기

__참조

__요약



2장. 행렬, 확률 및 통계

__행렬 및 벡터

____벡터

____벡터 연산

____행렬

____행렬 연산

__통계

____분포(Distribution)

____통계적 측정 방법

____분포 시각화하기

__확률

____확률 변수(Random Variables)

____확률 측정방법

____독립 및 조건부 확률

____가설 검정(Hypothesis testing)

__참조

__요약



3장. 평가 및 검증

__평가(Evaluation)

____연속형 측정 방법

____범주형 측정 방법

__검증(Validation)

____훈련(학습) 및 테스트 데이터 집합

____홀드아웃(Holdout) 집합

____교차 검증(Cross Validation)

__참조

__요약



4장. 회귀분석

__회귀분석 모델 용어 이해하기

__선형 회귀분석

____선형 회귀분석 개요

____선형 회귀분석 가정 및 함정

____선형 회귀분석 예제

__다중 선형 회귀분석

__비선형 및 다른 유형의 회귀분석

__참조

__요약



5장. 분류

__분류 모델 용어 이해하기

__로지스틱 회귀분석

____로지스틱 회귀분석 개요

____로지스틱 회귀분석의 가정 및 함정(문제점)

____로지스틱 회귀분석 예제

__k-최근접 이웃 모델

____kNN의 개요

____kNN의 가정 및 함정(문제점)

____kNN 예제

__의사결정 트리와 랜덤 포레스트

____의사결정 트리와 랜덤 포레스트 개요

____의사결정 트리와 랜덤 프레스트의 가정 및 함정(문제점)

____의사결정 트리 예제

____랜덤 포레스트 예제

__나이브 베이즈

____나이브 베이즈와 가정에 대한 개요

____나이브 베이즈 예제

__참조

__요약



6장. 클러스터링

__클러스터링 모델 용어 이해하기

__거리 또는 유사도 측정하기

__클러스터링 기법 평가하기

____내부 클러스터링 평가 방법

____외부 클러스터링 평가

__k-평균 클러스터링

____k-평균 클러스터링 개요

____k-평균 클러스터링의 가정 및 함정(문제점)

____k-평균 클러스터링 예제

__기타 클러스터링 기법

__참조

__요약



7장. 시계열 분석 및 이상 감지

__Go에서 시계열 데이터 표현하기

__시계열 데이터 용어 이해하기

__시계열 관련 통계

____자기상관(Autocorrelation)

____편 자기상관(Partial autocorrelation)

__예측을 위한 자동 회귀 모델

____자동 회귀 모델 개요

____자동 회귀 모델의 가정 및 함정(문제점)

____자동 회귀 모델 예제

__자동 회귀 이동 평균 모델 및 기타 시계열 분석 모델

__이상 감지

__참조

__요약



8장. 신경망 및 딥러닝

__신경망에 대한 용어 이해하기

__간단한 신경망 구축하기

____신경망의 노드

____신경망 아키텍처

____이 아키텍처가 동작하는 이유

____신경망 훈련 및 학습 시키기

__간단한 신경망 활용하기

____실제 데이터를 사용해 신경망 훈련시키기

____신경망 평가하기

__딥러닝 소개

____딥러닝 모델이란?

____Go를 활용한 딥러닝

__참조

__요약



9장. 분석 결과 및 모델 배포하기

__원격 컴퓨터에서 안정적으로 머신 러닝 모델 실행하기

____Docker 및 Docker 용어에 대한 간단한 소개

____머신 러닝 응용 프로그램의 Docker-izing

__확장 가능하고 재현 가능한 머신 러닝 파이프라인 구축하기

____Pachyderm 및 Kubernetes 클러스터 설정하기

____Pachyderm 머신 러닝 파이프라인 구축하기

____파이프라인 업데이트 및 출처 검사

____파이프라인 단계 확장하기

__참조

__요약



부록. 머신 러닝과 관련된 알고리즘/기술

__경사 하강법

__역전파

다니엘 화이트낵 파키덤(Pachyderm)을 활용해 데이터 과학을 연구하는 숙련된 데이터 과학자다. 예측 모델, 데이터 시각화, 통계 분석 등을 포함하는 혁신적인 분산 데이터 파이프라인을 개발한다. 전 세계의 콘퍼런스(GopherCon, JuliaCon, PyCon, ODSC, Spark 서밋 등)에 활발히 참여해 발표하며 퍼듀 대학교에서 데이터 과학과 엔지니어링을 가르치고 있다. 또한 주피터(Juphyter)의 Go 커널을 관리하며 다양한 오픈 소스 데이터 과학 프로젝트에 적극적으로 기여하고 있다.