데이터 과학 효율을 높이는 데이터 클리닝

◈ 이 책에서 다루는 내용 ◈

◆ 데이터를 신중하게 생각하고 올바른 질문을 하는 방법
◆ 개별 데이터 포인트와 관련된 문제 데이터 식별
◆ 데이터의 체계적인 형태에서 문제 데이터 감지
◆ 데이터 무결성 및 청결 문제 해결
◆ 분석 및 머신 러닝 작업을 위한 데이터 준비
◆ 누락되거나 신뢰할 수 없는 데이터에 값 보정
◆ 데이터 과학, 데이터 분석 또는 시각화 목표에 더 적합한 통합 특징 생성

◈ 이 책의 대상 독자 ◈

자기 주도적인 독자나 좀 더 체계적인 학술, 훈련 또는 인증 과정에서 사용하기 적합하다. 각 장의 하단에는 독자나 학생들에게 이전 자료에서 방금 배운 것과 관련된 작업을 완성하게 요구하는 연습이 있다.

◈ 옮긴이의 말 ◈

데이터 과학이나 데이터 엔지니어링 작업 중 80%는 데이터 수집, 변환, 정제와 같은 준비 작업이다. 나머지 20%의 작업이 통계, 머신러닝 또는 기타 다양한 분석 기업을 적용하는 것이다. 80% 추정치가 정확하지 않더라도 데이터를 다루는 대부분의 시간과 노력이 여기에 소비된다.
이처럼 데이터의 수집과 변환, 정제에 이르기까지 데이터 과학의 효율을 높이는 작업을 데이터 클리닝이라고 하며, 데이터 과학자라면 피할 수 없는 작업이다. 데이터 클리닝은 데이터 과학 및 머신 러닝 작업을 위한 데이터 파이프라인에서 시간이 많이 걸리고 중요한 작업이지만 가장 적게 언급되는 부분이다. 주로 책이 아닌 경험이나 시행착오를 통해 배우게 되지만 데이터 클리닝에 관한 적합한 책을 찾을 수 있다면 이러한 시간과 비용을 줄일 수 있다.
하지만 데이터 과학 관련 서적들이 주로 첫째 장에서만 데이터 준비 과정을 다루기 때문에 이론적 토대에 관한 지식을 제대로 전달하지 않고 관련 파이썬 및 R 패키지를 사용하는 방법만 보여준다. 이 책의 전반적인 구성은 데이터 과학 실무에서 개발할 데이터 파이프라인 단계와 유사한 순서로 배열돼 있으며 효율적인 데이터 과학을 위한 표준 데이터 파이프라인에서 해결해야 할 데이터 클리닝 문제를 다룬다.
광범위한 테이블 형식, 계층적 형식 등 여러 타입의 데이터 형식을 살펴보며 결측값을 보정하고 신뢰할 수 없는 데이터 및 통계적 이상치를 감지하고 합성하는 기술을 설명한다. 특히 다양한 형태의 데이터에 대한 구조적 문제와 내용적 문제를 짚어보고 유용하게 정리하는 방법의 장단점을 살펴본다. 또한 데이터 준비 과정에 대한 필수 내용을 구체화했고 실제 데이터 과학에서 응용할 수 있는 기술을 전달한다. 데이터 클리닝을 수행하기 위한 도구와 기술을 설명하고 새로 습득한 기술을 테스트하고 개선해 지식이 강화되도록 각 장의 끝부분에서는 자세한 실습을 제공하고 있다.
이 책에서 다루는 파이썬이나 R 코드를 감안할 때 이러한 언어에 대한 지식과 경험이 있는 것은 좋지만 전부 알고 있을 필요는 없다. 템플릿으로 사용할 수 있는 코드 예제가 많지만 코드의 이해나 잘라내기 및 붙여넣기 예제보다 사고방식과 사고 과정을 강조한다. 즉, 파이썬, 셸 스크립트, R을 모르더라도 몇 줄의 코드로 얼마나 많은 일을 할 수 있는지 보는 것만으로도 도움이 된다.
데이터 과학이나 AI 분야에서 일하는 사람이라면 누구나 이 책을 읽고 더 정제되고 유용한 데이터를 얻고자 프로세스를 구현하는 방법을 학습할 수 있을 것이다. 데이터를 준비하는 전처리 과정과 관련이 있는 독자에게 이 책을 강력히 추천하며 전산학 학위 취득을 위해 데이터 구조와 알고리즘을 배우는 시기에 읽을 것을 권장한다.

1부. 데이터 수집
1장. 테이블 형식
__정리
__CSV
____온전성 검사
____좋은 데이터, 나쁜 데이터, 텍스트 데이터
______나쁜 데이터
______좋은 데이터
__유해하다고 간주되는 스프레드시트
__SQL RDBMS
____데이터 타입 다듬기
____R에서 반복
____SQL이 잘못되는 위치(및 이것을 확인하는 방법)
__기타 형식
____HDF5와 NetCDF-4
______도구와 라이브러리
____SQLite
____아파치 파켓
__데이터 프레임
____스파크/스칼라
____판다스와 파생된 래퍼
____Vaex
____R의 데이터 프레임(Tidyverse)
____R의 데이터 프레임(data.table)
____흥미로운 Bash
__연습
____엑셀 데이터 정리
____SQL 데이터 정리
__대단원

2장. 계층적 형식
__JSON
____JSON의 모습
____NaN 처리와 데이터 타입
____JSON Lines
____GeoJSON
____깔끔한 지리
____JSON 스키마
__XML
____사용자 레코드
____키홀 마크업 언어
__구성 파일
____INI와 플랫 사용자 정의 형식
____TOML
____YAML
__NoSQL 데이터베이스
____문서 지향 데이터베이스
______누락된 필드
______비정규화와 비정규화의 불만
____키/값 저장소
__연습
____채워진 영역 탐색
____관계형 모델 생성
__대단원

3장. 데이터 소스의 목적 변경
__웹 스크래핑
____HTML 테이블
____테이블 형식이 아닌 데이터
____커맨드라인 스크래핑
__PDF
__이미지 형식
____픽셀 통계
____채널 조작
____메타데이터
__바이너리 직렬화된 데이터 구조
__사용자 정의 텍스트 형식
____구조화된 로그
____문자 인코딩
__연습
____NPY 파서 향상
____웹 트래픽 스크래핑
__대단원

2부. 오류의 변천
4장 이상 징후 감지
__결측 데이터
____SQL
____계층적 형식
____센티넬
__잘못 코딩된 데이터
__고정된 한도
__아웃라이어
____z-스코어
____사분위수 범위
__다변량 아웃라이어
__연습
____유명한 실험
____철자가 틀린 단어
__대단원

5장. 데이터 품질
__결측 데이터
__편향적인 트렌드
____편향 이해
____편향 감지
____기준선과 비교
____벤포드의 법칙
__클래스 불균형
__정규화과 스케일링
____머신러닝 모델 적용
____스케일링 기술
____요인 및 샘플 가중치
__주기성과 자기 상관관계
____도메인 지식 트렌드
____발견된 주기
__비스포크 검증
____콜레이션 검증
____트랜스크립션 검증
__연습
____데이터 특성화
____오버샘플링된 여론 조사
__대단원

3부. 수정과 참조
6장. 값 보정
__전형적인 값 보정
____전형적인 테이블 형식 데이터
____지역성 보정
__트렌드 보정
____트렌드 타입
____더 크게 얽힌 시계열
______데이터 이해
______사용할 수 없는 데이터 제거
______일관성 보정
______보간법
____비시간적 트렌드
__샘플링
____언더샘플링
____오버샘플링
__연습
____대체 트렌드 보정
____다중 특징 밸런싱
__대단원

7장. 피처 엔지니어링
__날짜/시간 필드
____날짜 시간 만들기
____규칙성 부여
____중복된 타임스탬프
____타임스탬프 추가
__문자열 필드
____퍼지 매칭
____명시적 범주
__문자열 벡터
____분해
____로테이션과 화이트닝
____차원 축소
____시각화
__양자화와 이진화
__원핫 인코딩
__다항식 특징
____합성 특징 생성
____특징 선택
__연습
____간헐적 발생
____레벨 특성화
__대단원

4부. 부록
A. 마치며
__여러분이 아는 것
__여러분이 아직 모르는 것
B. 용어 사전

데이비드 메르츠 David Mertz
머신러닝과 과학 컴퓨팅 분야에서 개발자와 데이터 과학자를 교육하는 데 전념하는 KDM 트레이닝의 설립자다. 아나콘다 사(Anaconda Inc.)의 선임 트레이너였으며 데이터 과학 훈련 프로그램을 만들었다. 심층 신경망의 등장으로 로봇 오버로드를 훈련시키는 쪽으로 방향을 틀었다. 이전에 D.E. 쇼 리서치에서 8년 동안 일했으며 파이썬 소프트웨어 재단의 이사이기도 했다. 상표 위원회와 Scientific Python Working Group의 공동 의장직을 유지하고 있다. 칼럼인 「Charming Python」과 「XML Matters」는 한때 파이썬 분야에서 가장 널리 읽히는 기사였다.