웹크롤링과 데이터 분석(파이썬을 이용한)

눈 깜짝할 찰나의 사이에도 방대한 데이터가 오고 가는 세상이 되었다. 이러한 현대 시대에 가장 필요로 하게 된 기술은 무엇일까? 바로 그 수많은 빅데이터를 수집하고 분석하고 처리하는 것이다. 이 책은 웹상에 있는 데이터들을 수집하고 데이터베이스에 저장하는 등의 웹크롤링 방법에 대해 학습하고 직접 실습해볼 수 있도록 구성되어 있다.

웹크롤링을 위한 파이썬의 기초 문법부터 웹 기초 문법까지 폭 넓게 설명하고 있으며, 고급 과정으로는 API를 이용하거나 JSON, 워드클라우드, 공공데이터를 활용 방법을 설명하고 있다. 누구나 차근차근 따라 학습한다면 다양한 데이터를 효율적으로 처리할 수 있는 능력을 얻게 될 것이다.

Chapter 01 파이썬의 개요 및 개발환경 설정
1. 파이썬 개요
2. 프로그램 설치

Chapter 02 파이썬 기초
1. 변수와 데이터형 이해
2. 연산자의 종류
3. 제어문 구조

Chapter 03 리스트, 튜플, 딕셔너리, 라이브러리 사용하기
1. 리스트(List) 이해하기
2. 딕셔너리(Dictionary) 이해하기
3. 라이브러리 이해하기

Chapter 04 파일 I/O 이해하기
1. 파일 I/O 이해하기
2. 클래스와 함수 이해하기

Chapter 05 웹 기초 문법
1. HTTP와 URL 이해하기
2. HTML5 문법
3. JSON 문법 이해하기

Chapter 06 크롤러 만들기(데이터 수집)
1. urllib 패키지
2. BeautifulSoup
3. 네이버 날씨 웹 페이지에서 시간대별 기온 데이터 가져오기

Chapter 07 데이터 기획과 수집
1. 프로젝트 기획
2. 데이터 수집
3. 데이터 수집 예제 활용하기
4. 네이버 쇼핑몰 제품 리스트 활용 예제

Chapter 08 NAVER API 이용하기
1. 네이버 API 등록하기
2. API 주소 알아보기

Chapter 09 JSON 데이터 기반 그래프 그리기
1. 데이터 시각화(Visualization)
2. 영화 사이트로부터 평점 데이터 가져와 시각화하기

Chapter 10 워드클라우드 라이브러리 이용하여 데이터 활용하기
1. 워드클라우드 이해하기
2. 필요한 라이브러리
3. 워드클라우드 만들기
4. 워드클라우드로 한글 키워드(명사) 시각화

Chapter 11 공공 데이터 이용하기
1. 공공 데이터 개요
2. 네이버 오픈 API
3. 그래프 나누기

Chapter 12 분석된 데이터를 지도에 표시하기
1. 기본 그래프 그리기
2. 아산 인구 구조 그래프로 시각화

Chapter 13 공공 데이터를 활용한 데이터 분석 프로젝트 만들기
1. 추세선(Trend line) 그리기
2. 공공 데이터 활용한 데이터 분석 활용 예제
3. 클래스 작성
4. 그래프 작성
5. 추세선 작성
6. 데이터 상관관계 분석

부록 공모전

방진숙 · 배재대학교 컴퓨터공학 박사
· 연세대학교 창업학 석사
· (현) 호서대학교 조교수
· (전) 배재대, 우송대, 우송정보대 겸임교수
· (전) 다솜정보 책임연구원, ㈜탑텍 책임연구원
· (전) 연세대, 한밭대, 순천향대 등 강의
· (전) 목원대, 대전보건전문대, 건양대, 상지영서대 등 다수 대학 강의
· (전) 2017년 이공계 전문기술 연수사업(IoT기반 자바&안드로이드 SW융합 개발자 양성과정) 진행, LG CNS 협력업체 기술 양성과정, NCS 기반 IOT 기반 융합 SW 개발자 양성과정 강의, 삼성SDI, 삼성정밀코닝 신입 사원 및 재직자 과정 강의, 프로젝트 기반의 스마트팩토리 SW 개발 실무자 양성 과정 강의, 그 외 다수 업체 강의