핸즈온 비지도 학습

비지도 학습이 필요한 이유는 무엇일까?

세상은 빠르게 변하고 있습니다. 대부분 산업에서 데이터 분석 결과의 실시간 처리와 적용이 기본이 되고 있으며 데이터 수집 속도 또한 빨라졌습니다. 그에 따라 데이터 품질을 높이기 위해 발 빠르게 대응하는 한편 데이터에 내재된 패턴을 잘 파악해 깊이 있는 비즈니스 통찰력을 얻는 일은 더욱 중요해졌습니다. 한편, 최근 많은 기업이 데이터 분석을 통해 경쟁 우위를 확보하려 하는 만큼 예측 문제도 차츰 그 대상의 범위를 좁혀가고 있습니다. 레이블 데이터의 부족은 심화되고, 동시에 이종 데이터 간 결합의 필요성은 더욱 증가했습니다. 비지도 학습은 데이터 분석가 입장에서 이러한 문제에 대응할 수 있는 매우 유용한 기법입니다.

이 책은 사기 탐지 영역뿐 아니라 이커머스와 같이 고객을 다차원으로 이해하고 분석한 결과를 실시간으로 빠르게 적용해야 하는 도메인에서도 유용한 주제를 다룹니다. 특히 컴퓨팅 리소스 제약이나 성능 한계를 극복하기 위한 차원 축소 기법과 지도 및 비지도 학습을 혼합해 소량의 레이블 데이터만으로도 예측할 수 있는 준지도 학습, 원본 데이터의 확률 분포를 학습해 새로운 데이터에 대한 추론에 활용할 수 있는 생성적 비지도 학습 등은 앞서 언급한 이종 데이터 간의 결합 요구나 레이블 데이터의 부족과 같은 현실 세계에서의 한계점을 극복하는 데 매우 유용한 방법입니다.

이 책은 이러한 방법들의 이론을 설명할 뿐만 아니라, 현실 세계에 있을 법한 이야기를 활용하여 실전 머신러닝 기법을 적용해볼 수 있게 안내합니다. 독자들은 소설책을 읽듯이 편하게 직접 예제를 따라 해보며 공부할 수 있을 것입니다.

대상 독자

● 데이터 분석 관련 업무 담당자(주니어~시니어)

● 실무에 머신러닝을 적용하려는 개발자

주요 내용

● 다양한 머신러닝 접근 방법의 장단점(지도 학습, 비지도 학습, 강화 학습)

● 머신러닝 프로젝트의 전반적인 설정 및 관리

● 차원 감소 알고리즘, 군집화 알고리즘 활용

● 오토인코더로 자동 피처 엔지니어링 및 피처 선택

● 지도 및 비지도 학습 알고리즘 결합으로 준지도 학습 솔루션 개발

● 볼츠만 머신을 사용하여 영화 추천 시스템 구축

● 생성적 적대 신경망(GAN)과 심층 신뢰 신경망(DBN)을 사용한 합성 이미지 생성

● 시계열 데이터에 대한 군집화 수행

● 최신 비지도 학습 성공 사례 및 향후 전망

CHAPTER 0 서문

0.1 머신러닝의 역사

0.2 인공지능의 귀환, 왜 지금인가?

0.3 응용 인공지능의 출현

0.4 지난 20년간 응용 인공지능 주요 성과

0.5 좁은 인공지능부터 범용 인공지능까지

0.6 목표와 접근방식

0.7 이 책의 구성

0.8 예제 다운로드 안내



PART 1 비지도 학습 개요



CHAPTER 1 머신러닝 생태계와 비지도 학습

1.1 머신러닝 기본 용어 이해하기

1.2 규칙 기반과 머신러닝 비교하기

1.3 지도 학습과 비지도 학습 비교하기

1.4 비지도 학습을 사용해 머신러닝 솔루션 개선하기

1.5 지도 학습 알고리즘 자세히 살펴보기

1.6 비지도 학습 알고리즘 자세히 살펴보기

1.7 비지도 학습을 활용한 강화 학습

1.8 준지도 학습

1.9 비지도 학습의 성공적인 응용 사례

1.10 마치며



CHAPTER 2 머신러닝 프로젝트 A to Z

2.1 환경 설정

2.2 데이터 개요

2.3 데이터 준비하기

2.4 모델 준비하기

2.5 머신러닝 모델(1)

2.6 평가 지표

2.7. 머신러닝 모델(2)

2.8 테스트 데이터셋으로 4가지 모델 평가하기

2.9 앙상블

2.10 최종 모델 선택하기

2.11 프로덕션 파이프라인

2.12 마치며



PART 2 사이킷런을 사용한 비지도 학습 모델



CHAPTER 3 차원 축소

3.1 차원 축소에 대한 동기 부여

3.2 차원 축소 알고리즘

3.3 PCA

3.4 SVD

3.5 랜덤 투영

3.6 Isomap

3.7 MDS

3.8 LLE

3.9 t-SNE

3.10 사전 학습

3.11 ICA

3.12 마치며



CHAPTER 4 이상치 탐지

4.1 신용카드 사기 탐지

4.2 일반 PCA를 활용한 이상치 탐지

4.3 희소 PCA를 활용한 이상치 탐지

4.4 커널 PCA를 활용한 이상치 탐지

4.5 GRP를 활용한 이상치 탐지

4.6 SRP를 활용한 이상치 탐지

4.7 비선형 이상치 탐지

4.8 사전 학습을 활용한 이상치 탐지

4.9 ICA를 활용한 이상치 탐지

4.10 테스트셋으로 이상치 탐지 성능 평가

4.11 마치며



CHAPTER 5 클러스터링

5.1 MNIST 데이터셋

5.2 클러스터링 알고리즘

5.3 k-평균

5.4 계층적 클러스터링

5.5 DBSCAN 개요

5.6 마치며



CHAPTER 6 그룹 세분화

6.1 랜딩 클럽 데이터

6.2 군집 적합도 검정

6.3 k-평균 클러스터링 응용 프로그램

6.4 계층적 클러스터링 응용 프로그램

6.5 HDBSCAN 응용 프로그램

6.6 마치며



PART 3 텐서플로와 케라스를 사용한 비지도 학습 모델



CHAPTER 7 오토인코더

7.1 신경망

7.2 오토인코더: 인코더와 디코더

7.3 과소완전 오토인코더

7.4 과대완전 오토인코더

7.5 고밀도 vs 희소 오토인코더

7.6 노이즈 제거 오토인코더

7.7 변분 오토인코더

7.8 마치며



CHAPTER 8 핸즈온 오토인코더

8.1 데이터 준비

8.2 오토인코더의 구성 요소

8.3 활성화 함수

8.4 첫 번째 오토인코더

8.5 선형 활성화 함수로 구성된 2-계층 과소완전 오토인코더

8.6 비선형 오토인코더

8.7 선형 활성화 함수로 구성된 과대완전 오토인코더

8.8 선형 활성화 함수와 드롭아웃으로 구성된 과대완전 오토인코더

8.9 선형 활성화 함수로 구성된 희소 과대완전 오토인코더

8.10 선형 활성화 함수와 드롭아웃으로 구성된 희소 과대완전 오토인코더

8.11 노이즈 데이터셋 생성

8.12 노이즈 제거 오토인코더

8.13 마치며



CHAPTER 9 준지도 학습

9.1 데이터 준비

9.2 지도 학습 모델

9.3 비지도 학습 모델

9.4 준지도 학습 모델

9.5 지도 학습과 비지도 학습의 강력함

9.6 마치며



PART 4 텐서플로와 케라스를 사용한 심층 비지도 학습



CHAPTER 10 RBM을 사용한 추천 시스템

10.1 볼츠만 머신

10.2 추천 시스템

10.3 무비렌즈 데이터셋

10.4 행렬 인수분해

10.5 RBM을 사용한 협업 필터링

10.6 마치며



CHAPTER 11 DBN을 사용한 피처 추출

11.1 심층 신뢰 신경망 자세히 살펴보기

11.2 MNIST 이미지 분류하기

11.3 RBM

11.4 DBN을 위한 세 RBM 훈련

11.5 전체 DBN

11.6 비지도 학습이 지도 학습을 개선하는 방법

11.7 LightGBM을 사용한 이미지 분류기

11.8 마치며



CHAPTER 12 GAN

12.1 GAN의 개념

12.2 DCGAN

12.3 CNN

12.4 DCGAN으로 돌아가기

12.5 MNIST DCGAN 실행

12.6 마치며



CHAPTER 13 시계열 클러스터링

13.1 심전도 데이터

13.2 시계열 클러스터링 접근 방법

13.3 ECGFiveDays 데이터셋에서 k-Shape을 사용한 시계열 클러스터링

13.4 ECG5000 데이터셋에서 k-Shape을 사용한 시계열 클러스터링

13.5 ECG5000 데이터셋에서 k-평균을 사용한 시계열 클러스터링

13.6 ECG5000 데이터셋에서 HDBSCAN을 사용한 시계열 클러스터링

13.7 시계열 클러스터링 알고리즘 비교

13.8 마치며



CHAPTER 14 결론

14.1 지도 학습

14.2 비지도 학습

14.3 강화 학습

14.4 오늘날 가장 유망한 비지도 학습 분야

14.5 비지도 학습의 미래

14.6 마치며

안쿠르 A. 파텔 프린스턴 대학교의 우드로 윌슨 스쿨을 졸업했고 존 A. 라킨(John A. Larkin) 기념상을 수상했습니다. JP 모건(JP Morgan)에서 애널리스트로 경력을 시작한 후 세계 최대 글로벌 매크로 헤지펀드 회사인 브리지워터 어소시에이츠(Bridgewater Associates)에서 최고 신흥시장국가신용거래자가 됐으며, 이후 머신러닝 기반 헤지펀드 회사인 R-스퀘어드 매크로(R-Squared Macro)를 설립했습니다. 비지도 학습 기법을 응용한 기술 분야에서 세계적으로 알려진 이스라엘 인공지능 회사 세타레이(ThetaRay)의 뉴욕 지사에서 데이터 사이언스팀을 이끌기도 했습니다.

현재는 세븐 파크 데이터(7 Park Data)의 데이터 사이언스팀 팀장입니다. 대안 데이터를 사용해 헤지펀드나 법인회사를 위한 데이터 상품과 기업 고객을 대상으로 자연어 처리(NLP), 이상 징후 탐지, 클러스터링, 시계열 예측 등을 제공하는 머신러닝 서비스(MLaaS)를 개발합니다.