C++와 CUDA C로 구현하는 딥러닝 알고리즘 2(에이콘 데이터 과학 시리즈)

★ 이 책에서 다루는 내용 ★



■ 신호 처리와 이미지 처리를 위한 몰렛 웨이블릿 및 푸리에 변환

■ 오토인코딩의 기본 개념과 복소수 정의역에서의 오토인코딩 표현 이론 설명

■ 신경망 관점에서 활성화 레이어 및 그레디언트 계산 과정 설명

■ 단일 스레드 기반의 구현 방법부터 멀티스레드 기반의 구현 방법으로 확장

■ GPGPU를 활용할 수 있도록 CUDA C로 확장시켜 구현

■ DEEP프로그램의 상세한 사용자 매뉴얼 소개

■ DEEP을 이용해 구현 결과를 미리 확인하면서 각 기능들의 실행 결과물 확인

■ 필수 Deep Belief Nets 알고리즘을 구현한 C++ 코드와 윈도우 상에서 실행되는 멀티스레드 버전의 구현물과 더불어 nVidia 비디오 카드의 슈퍼 컴퓨팅 성능을 활용할 수 있도록 CUDA C 기반으로 구현한 코드 제공



★ 이 책의 대상 독자 ★



전체 3권으로 이뤄지는 "C++과 CUDA C로 구현하는 딥러닝 신경망" 시리즈의 두 번째 책으로 오토인코더에 대해 다룬 책이다. 그러므로 신경망에 대해 이미 기본적인 지식이 있으며, Deep Belief Nets에 대해 학습하고 실험해보면서 이를 실제 프로그램으로 구현해보고자 하는 독자를 대상으로 한다. 1권에서 다뤘던 내용을 다시 언급하기 때문에 먼저 1권의 내용을 충분히 숙지해주길 바란다.



★ 이 책의 구성 ★



이 책은 크게 네 부분으로 나뉜다. 첫 번째는 클래스의 생성적 모범(exemplar)을 찾아낼 수 있는 방식을 통해, 특징 셋에 클래스 레이블들을 내장시키는 기법에 대해 다룬다. 그다음에는 Deep Belief Nets에 효과적인 입력을 제공하기 위한 신호 전처리 및 이미지 전처리 기법을 다룬다. 복소수 정의역 피처를 만들어내는 전처리 방식에 각별히 신경을 쓸 것이다. 세 번째로 기본적인 오토인코더에 대한 개념을 다루면서, 복소수 정의역에서 전체적인 오토인코딩에 대해 강조한다.

이러한 기법은 특히 신호 처리나 이미지 처리와 관련된 여러 분야에서 유용하게 사용할 수 있다. 마지막으로 DEEP 프로그램의 운용 방법에 대해 다룬다. 이 프로그램은 내 홈페이지에서 무료로 다운로드할 수 있다.

1장. 소개



2장. 내장된 클래스 레이블



__내장된 레이블들을 학습하는 코드

__케이스 분류

__클래스 조건적인 생성적 샘플링



3장. 신호 전처리



__최소 변환

____생성적 샘플들의 차이값 출력

__함수의 경로

__이동 윈도우에서의 푸리에 계수

__몰렛 웨이블릿

____주기, 너비, 지연(Lag)

____몰렛 웨이블릿 구현 코드



4장. 이미지 전처리



__2차원 공간에서의 푸리에 변환

____2차원 공간에서의 데이터 윈도우

____이미지의 푸리에 변환 구현 코드

____푸리에 변환의 생성적 샘플 출력



5장. 오토인코딩



__피드포워드 신경망에 대한 기본적인 수학 개념

__오토인코더를 통한 탐욕적 훈련

__복소수 개수에 대한 리뷰

____복소수 정의역에서의 고속 내적 연산

____복소수 정의역에서의 고유 값 분해

__복소수 정의역의 활성화

____활성화 함수의 도함수

____로지스틱 활성화 함수와 도함수

__그레디언트 계산

____순수 실수 및 SoftMax 출력 오차

____은닉층 가중치의 그레디언트

__그레디언트 계산 구현 코드

____전체 신경망과 도함수 계산

____그레디언트 계산

__멀티스레드 기반의 그레디언트 계산

__CUDA 그레디언트 계산

____전체 알고리즘

____디바이스 초기화

____호스트에서 디바이스로 가중치 복사

____활성화와 활성화 도함수

____출력 활성화

____SoftMax 출력 변환

____출력 델타

____SoftMax 출력의 델타

____출력 그레디언트

____첫 번째 은닉층의 그레디언트

____중간 은닉층의 그레디언트

____평균 제곱 오차

____분류 작업에서 평가 기준으로 사용하는 로그 발생 가능 확률

____분석



6장. DEEP 사용 매뉴얼



__메뉴 옵션

____파일 메뉴 옵션

____테스트 메뉴 옵션

____화면 출력 메뉴 옵션

__데이터베이스 읽어들이기

__시계열 데이터 읽어들이기(기본)

__시계열 데이터 읽어들이기(경로)

__시계열 데이터 읽어들이기(푸리에)

__시계열 데이터 읽어들이기(Morlet)

__MNIST 이미지 읽어들이기

__MNIST 이미지 읽어들이기(푸리에)

__MNIST 레이블 읽어들이기

__활성화된 파일에 쓰기

__모든 데이터 삭제

__모델 아키텍처

__데이터베이스 입력과 목표치

__RBM 훈련 파라미터

__감독 훈련된 훈련 파라미터

__오토인코딩 훈련 파라미터

__훈련

__테스트

__교차 검증

__분석

__수용 영역

__생성적 샘플

____내장된 모델에서 추출한 샘플

____경로 시계열 데이터로에서 추출한 샘플

__DEEP.LOG 파일

____예측 성능 측정

티모시 마스터즈 저자 티모시 마스터즈는 수리 통계학 분야에서 수치 계산(numerical computing) 전공으로 박사 학위를 받았다. 그 이후 독립적인 컨설턴트로서 정부 및 산업 기관과 함께 지속적인 업무 경력을 쌓았다. 초기 연구 분야는 고고도(high-altitude) 촬영 사진에서 자동으로 특징(feature)을 추출하는 기능과 관련된 것들이며, 홍수와 가뭄 예측, 숨겨진 미사일 저장탑 탐지, 위협적인 군사용 차량 확인 등의 다양한 애플리케이션들을 개발했다. 그 후에는 침생검(needle biopsies)상에서 유익한 세포와 유해한 세포를 구별해내는 알고리즘 개발을 위해 의료 연구원으로 근무했다. 이후 12년 동안 주로 자동화된 금융 거래 시스템을 평가하기 위한 알고리즘을 개발했다.

지금까지 예측 모델을 실무에 적용하는 방법에 대한 내용으로 『Practical Neural Network Recipes in C++』(Academic Press, 1993), 『Signal and Image Processing with Neural Networks』(Wiley, 1994), 『Advanced Algorithms for Neural Networks』(Wiley, 1995), 『Neural, Novel, and Hybrid Algorithms for Time Series Prediction』(Wiley, 1995), 『Assessing and Improving Prediction and Classification』(CreateSpace, 2013), 『C++와 CUDA C로 구현하는 딥러닝 알고리즘 Vol.1』(에이콘, 2016), 『C++와 CUDA C로 구현하는 딥러닝 알고리즘 Vol.3』(에이콘, 2016) 등을 저술했다. 이 책에서 활용하는 코드는 그의 홈페이지 (TimothyMasters.info)에서 다운로드할 수 있다.