어쩌다 데이터 분석 with 파이썬

개발 환경 준비 + 판다스 핵심 기능 + 데이터 시각화 + EDA 실습

판다스는 파이썬 환경에서 데이터를 분석하기에 최적화 된 오픈소스 라이브러리이다. 이 책은 파이썬 데이터 분석을 위한 준비 과정과 알아야 하는 개념 그리고 판다스 핵심 기능과 데이터 시각화 기초까지 다룬다. 또한 파이썬 데이터 분석에 필요한 핵심 레시피를 익힌 뒤 넷플릭스 데이터셋으로 실무도 경험해본다. 현업에 적용할 수 있는 EDA를 실습하고 데이터 간 유의미한 상관관계를 분석하며 데이터 분석 역량을 기를 수 있도록 도와준다.

★ 이 책의 구성
STEP1 데이터 분석 준비 & 기본
- 개발 환경 구축하기
- 파이썬 기본 내용
- 파이썬 핵심 라이브러리 소개 및 기능 설명

STEP2 데이터 정제와 응용
- 데이터 필터링/정렬 테크닉
- 결측값/이상값 확인 및 처리

STEP3 데이터 병합/그룹 연산
- 데이터 병합
- 테이블 형식 데이터 재배치/피벗
- groupby를 활용한 그룹별 요약 및 집계
- 피벗 테이블과 크로스탭 활용

STEP4 시계열 데이터 처리
- 날짜시간 데이터 타입
- 날짜시간 데이터 인덱스

STEP5 데이터 시각화
- 맷플롯립 기본 핵심
- 많이 활용되는 시본의 주요 그래프

STEP6 실전 연습
- EDA 실습: 넷플릭스 데이터셋
- 데이터 전처리 기법 적용 및 데이터 시각화 작업

1장_데이터 분석 준비
데이터 분석이 무엇이고 어떻게 진행되며 어떤 역량이 필요한지 살펴본다. 그리고 파이썬 데이터 분석을 실행하기 위한 개발 환경을 구축한 뒤 이 책을 읽는 데 필요한 파이썬 기본 내용과 핵심 라이브러리에 대해 알아본다.

2장_데이터 분석 기본
파이썬에서 데이터 분석을 하기 위해 가장 필수적으로 알아야 할 라이브러리인 넘파이
와 판다스의 기본 사용법을 학습한다. 데이터를 불러오고, 생성하고, 선택하고, 골라내고, 삭제하고 새로운 모양으로 변경하는 등 기초적인 데이터 처리 방법을 배운다.

3장_데이터 정제와 응용
데이터를 처리하고 가공하는 다양한 방법을 몇 가지 카테고리로 분류해서 배운다. 먼저 상세한 조건으로 데이터를 추출하거나 다른 함수를 활용하여 데이터를 필터링하는 기법과 정렬 테크닉을 알아본다. 그다음 결측값이 생기는 원인과 판다스로 결측값을 확인하고 처리하는 방법에 대해 익힌 뒤 이상값을 확인하고 처리하는 방법을 살펴본다.

4장_데이터 병합과 재형성
서로 다른 데이터프레임을 연결하고, 합쳐진 데이터프레임을 다시 다른 모양으로 변경하는 학습을 한다. 판다스의 함수를 통해 흩어져 있는 데이터를 연결하고 병합하는 방법을 익힌다. 그리고 테이블 형식의 데이터를 다양한 방식과 기준으로 데이터를 재배치하거나 피벗하는 방법을 학습한다. 마지막으로 데이터 병합이나 재형성 후의 처리 방법에 대해 다룬다.

5장_데이터 집계와 그룹 연산
판다스의 groupby 개념과 활용법을 배우고 데이터를 그룹별로 나누어 요약 및 집계를 해본다.
또한 판다스에서 피벗 테이블과 그룹 빈도를 계산하는 크로스탭을 활용한 분석에 대해서 알아본다.

6장_날짜시간 데이터 처리
판다스에서 사용하는 시계열 데이터 종류인 datetime과 관련하여 날짜와 시간에 대한 기초
지식을 학습한다. 날짜시간 데이터를 다룰 때 기초적으로 알고 있어야 할 데이터 타입에 대해 배우고 인덱스와 관련있는 몇 가지 주요 처리 방법에 대해 익힌다.

7장_데이터 시각화
대표적인 파이썬 데이터 시각화 라이브러리인 맷플롯립과 시본을 알아본다. 먼저 파이썬으로 데이터 시각화를 할 때 필수적으로 알아야 할 맷플롯립의 핵심을 학습한다. 그다음 많이 활용되는 시본의 주요 그래프에 대해 배워본다.

8장_데이터 분석: EDA 실습
앞에서 배운 기술을 어떻게 사용하고 응용되는지 익히기 위해 데이터 분석 실습 과정을 진행한다. 분석하려는 데이터의 특징을 파악하여 적합한 전처리 기법을 적용한 후 데이터를 더 잘 이해할 수 있도록 다양한 시각화 작업을 해본다.

★ 대상 독자
이 책은 파이썬을 이용한 데이터 분석에 대해 관심 있는 입문자를 대상으로 한다. 기본적으로 파이썬 기초를 알고 있다는 전제하에 설명하고 있으나 파이썬을 접해보지 못한 독자를 위해 파이썬 핵심 기본 내용을 수록했다.

★ 예제 소스
https://github.com/claryk0520/bumping-into-data-analysis

1장. 데이터 분석 준비
1.1 데이터 분석의 세계
1.2 아나콘다 설치 및 주피터 노트북 실행
1.3 파이썬 핵심 정리
1.4 파이썬 데이터 분석 주요 라이브러리
1.5 데이터셋

2장. 데이터 분석 기본
2.1 넘파이 기본
2.2 판다스 기본
2.3 데이터 로드와 저장
2.4 데이터 확인
2.5 데이터프레임의 컬럼을 다루는 테크닉
2.6 데이터 인덱싱(데이터프레임의 값 선택)

3장. 데이터 정제와 응용
3.1 데이터 필터링과 정렬 테크닉
3.2 결측값 처리
3.3 이상값 처리
3.4 문자열 데이터 처리
3.5 카테고리 데이터 처리
3.6 람다를 활용한 데이터 처리 응용 예제

4장. 데이터 병합과 재형성
4.1 데이터 병합
4.2 데이터 재형성과 피벗
4.3 데이터 병합 후 처리

5장. 데이터 집계와 그룹 연산
5.1 그룹 연산의 이해
5.2 피벗 테이블과 크로스탭 활용

6장. 날짜시간 데이터 처리
6.1 날짜시간 데이터 타입
6.2 날짜시간 데이터 인덱스
6.3 Time/Date 컴포넌트

7장. 데이터 시각화
7.1 맷플롯립 데이터 시각화
7.2 시본 데이터 시각화

8장. 데이터 분석: EDA 실습
8.1 데이터 첫 탐색
8.2 데이터 전처리
8.3 데이터 시각화 기초
8.4 데이터 시각화 고급
8.5 실습을 마치며

김유지 Clary K
블로그: blog.naver.com/youji4ever
동덕여대에서 미디어 디자인, 국민대 테크노디자인대학원에서 인터랙션 디자인을 전공했다. UX 컨설팅 회사, 외국계 IT 기업, IT 스타트업 등 다양한 환경에서 일해온 UX/UI 기획자로 적응력이 빠르고 새로운 도전을 좋아한다. 몇 년 전 자기계발 및 업무 역량 성장을 위해 파이썬 프로그래밍과 데이터 분석 스터디를 시작했고 정부 R&D 과제 및 금융 서비스 프로젝트에도 참여했다. 현업에 데이터 분석 결과를 다양한 관점으로 적용하기 위해 부단히 노력 중이다. 온라인에서 Clary K라는 필명으로 활동하고 있으며 취미로 블로그에 파이썬 지식과 데이터 시각화 관련 포스팅을 하고 있다.