딥러닝 데이터 전처리 입문

★ 이 책에서 다루는 내용 ★

■ 파이썬과 R로 CSV를 읽어 데이터의 통계량 출력하기

■ 데이터 형식과 API를 활용한 데이터 추출에 필요한 프로그래밍 구조 학습

■ 데이터 정리 과정에 필요한 정규 표현식의 효과적인 사용

■ 수치 데이터 분석에 필요한 도구와 패키지 탐색

■ 더 나은 데이터 구조 제어 방법 탐색

■ 프로그래밍 방식을 통한 데이터의 읽기, 검사, 수정, 형태 변경

■ 데이터셋을 불러오고 정제하고 출력하는 프로그램 작성



★ 이 책의 대상 독자 ★

데이터를 분석해보고 싶은 데이터 과학자, 데이터 분석가, 통계학자에게 유용한 책이다. R과 파이썬을 모두 다루기 때문에 큰 도움이 될 것이다



★ 이 책의 구성 ★

1장. '데이터 프로그래밍'에서는 데이터 처리 방법을 논의하고 이 책에서 다루는 내용을 개괄한다.

섹션 1. 데이터를 다루는 일반적인 프로그래밍 방법

2장. '파이썬 프로그래밍 소개'에서는 이 책에서 가장 많이 사용하는 프로그래밍 언어인 파이썬을 소개한다.

3장. '데이터 입력, 탐색, 수정: 1부'에서는 데이터를 처리하는 방법과 JSON 데이터 형식을 소개한다.

4장. '데이터 입력, 탐색, 수정: 2부'에서는 CSV와 XML 데이터 형식을 다룬다.

5장. '텍스트 데이터 처리: 정규 표현식 소개'에서는 정규 표현식을 이용해 주소로부터 도로명을 추출해본다.

섹션 2: 정형 데이터 처리

6장. '수치 데이터 정리: R과 RStudio 소개'에서는 R을 소개하고 RStudio를 이용해 수치 데이터를 정리하는 방법을 소개한다.

7장. 'dplyr을 이용한 데이터 처리 간소화'에서는 데이터를 강력하면서도 간단하게 다룰 수 있는 R의 dplyr 패키지를 소개한다.

섹션 3: 고급 데이터 입출력 방법

8장. '웹에서 데이터 수집하기'에서는 파이썬 API를 이용해 웹에서 데이터를 추출하는 방법을 다룬다.

9장. '대용량 데이터 처리'에서는 대용량 데이터 처리 시 발생할 수 있는 문제점을 논의하고 MongoDB를 이용해 대용량 데이터를 처리해본다.



[옮긴이의 말]

알파고 이후로 제4차 산업혁명, 인공지능 등의 키워드와 마찬가지로 머신 러닝이라는 용어도 많은 회사와 대중에게 더욱 친숙해지고 있다. 하지만 많은 관심을 받고 있는 머신 러닝 분야에서 데이터 전처리의 중요성은 상대적으로 강조되지 못하는 분위기다.



데이터에 맞는 머신 러닝 알고리즘과 적절한 파라미터를 선택하는 것만큼 데이터 전처리 과정 또한 매우 중요하다. 양질의 데이터를 통해 좋은 결과를 만들어낼 수 있으므로, 올바른 데이터 전처리는 필수라 해도 과언이 아니다. 데이터 전처리는 꽤 노동집약적인 작업으로, 데이터 분석가는 전처리 작업에 많은 시간을 할애하고 있다.



머신 러닝 알고리즘과 도구를 소개하는 책은 다양하지만 전처리 과정을 쉽게 접할 수 있도록 소개하는 책은 드물다.



이 책에서는 먼저 데이터를 처리하는 방법을 알아보고 가장 널리 사용되는 파이썬을 사용해 JSON, CSV, XML 파일을 처리하는 방법을 살펴본다. 다음으로 실무에 매우 유용한 정규 표현식에 대해 알아보고 수치 데이터 분석에 유리한 R과 RStudio에 대해서도 배운다. 또한 데이터 수집을 위한 웹 크롤링과 대용량 데이터 처리를 위한 MongoDB에 대해서도 간단히 다룬다. 이 책을 통해 머신 러닝을 위한 데이터 전처리 학습에 도움을 얻길 바란다.



이 책이 머신 러닝에 처음 입문하는 분들에게 조금이나마 보탬이 됐으면 하는 바람이다

1장. 데이터 프로그래밍

데이터 처리의 이해

데이터의 수집과 읽어오기

데이터 정리

데이터 형성 및 구조화

데이터 저장

데이터 처리 도구

파이썬

R

요약



2장. 파이썬 프로그래밍 소개

외부 리소스

이번 장 살펴보기

설치 요구 사항

다른 학습 리소스

파이썬 2와 파이썬 3의 차이점

파이썬에서 프로그램 실행

텍스트 편집기를 사용해 프로그램 작성 및 관리

터미널을 사용해 프로그램 실행

동작하지 않면 어떻게 해야 할까?

데이터 유형, 변수, 파이썬 셸

숫자: 정수와 실수

문자열

부울 데이터 형식

print 함수

변수

배열(파이썬에서의 리스트)

사전

복합문

복합문 문법과 들여쓰기 수준

for문과 이터러블

if문

함수

프로그램에서 주석 달기

프로그래머 리소스

공식 문서

온라인 포럼과 메일링 리스트

요약



3장. 데이터 입력, 탐색, 수정: 1부

외부 리소스

이번 장 살펴보기

설치 요구 사항

데이터

파일시스템 설정

기본 데이터 처리 작업 흐름 소개

JSON 파일 형식 소개

파이썬의 파일 I/O를 이용한 파일 열기와 닫기

open 함수와 파일 객체

파일 구조: 데이터 저장을 위한 좋은 방법

파일 열기

파일 내용 읽기

파이썬 모듈

json 모듈을 이용한 JSON 파일 파싱

데이터 파일의 내용 탐색

데이터의 주요 내용 추출

데이터상의 모든 변수 출력

데이터셋 수정

원본 데이터셋에서 데이터 변수 추출

수정된 데이터를 새 파일에 기록

터미널에서 입출력 파일명 지정

터미널에서 파일명 지정

요약



4장. 데이터 입력, 탐색, 수정: 2부

이번 장 살펴보기

파일시스템 설정

데이터

pandas 설치

CSV 형식 이해

csv 모듈 소개

CSV 데이터를 읽고 처리하기 위해 csv 모듈 사용

CSV 데이터 기록을 위한 csv 모듈 사용

데이터를 읽고 처리하기 위해 pandas 모듈 사용

2011년 총 도로 길이 다시 계산

비표준 CSV 인코딩과 다이얼렉트 처리

XML 이해

XML과 JSON 비교

XML 데이터 파싱을 위한 xmletreeElementTree 모듈 사용

Xpath

요약



5장. 텍스트 데이터 처리: 정규 표현식 소개

이번 장 살펴보기

데이터

파일 구조 설정

패턴 인식의 필요성

정규 표현식 소개

정규 표현식 작성

특수 문자

공백 문자 탐색

시작 문자 탐색

종료 문자 탐색

문자 또는 숫자의 범위 탐색

여러 패턴의 탐색

하나의 문자가 아닌 문자열 시퀀스 탐색

패턴 결합

문자열로부터 패턴 추출

정규 표현식의 split() 함수

파이썬 정규 표현식 문서

패턴 탐색

패턴 정량화

도로명 주소를 탐색하는 정규 표현식 작성

탐색 횟수 측정

탐색 정확도 검증

패턴 추출

출력 결과 파일 저장

요약



6장. 수치 데이터 정리: R과 RStudio 소개

이번 장 살펴보기



데이터

디렉터리 구조

R과 Rstudio 설치

R과 RStudio 소개

RStudio 연습

R 명령어 실행

작업 디렉터리 지정

데이터 불러오기

R 데이터프레임

R 벡터

R 데이터프레임 인덱싱

R을 활용한 2001년 데이터 분석

기본적인 이상치 탐지 및 제거

NA 값 처리

결측치 제거

결측치를 상수로 대체

결측치 대체

변수명과 내용

요약



7장. dplyr을 이용한 데이터 처리 간소화

이번 장 살펴보기

데이터

파일시스템 구성

dplyr 및 tibble 패키지 설치

dplyr 소개

dplyr 시작하기

명령어 체인 사용

데이터프레임의 행 필터링

항목별로 데이터 요약하기

dplyr을 이용한 코드 재작성

요약



8장. 웹에서 데이터 수집하기

이번 장 살펴보기

파일시스템 설정

requests 모듈 설치

인터넷 연결

API 소개

API를 통해 파이썬으로 데이터 추출하기

결과 필터링을 위한 URL 파라미터 사용

요약



9장. 대용량 데이터 처리

이번 장 살펴보기

시스템 요구 사항

데이터

파일시스템 설정

MongoDB 설치

시간 계획

정리

컴퓨터 메모리 이해

데이터베이스 이해

MongoDB 소개

파이썬에서 MongoDB 사용하기

요약

앨런 비소첵 저자 앨런 비소첵은 코네티컷 주 뉴 헤이븐에서 활동하고 있는 프리랜서 웹 개발자이자 데이터 분석가며, 업무 외적으로 머신 러닝과 인공지능에 관심이 많다.



지식을 가르치고 공유하기를 즐긴다. 유다시티(Udacity)의 데이터 분석 나노 학위(Nanodegree) 프로그램을 수료한 후, 유다시티에서 수개월간 포럼 멘토 및 프로젝트 검수자로 활동하면서 데이터 분석 프로젝트를 수행하는 학생들에게 도움을 줬다. learntoprogram.tv에 기술 자료를 기고하기도 한다.