파이썬을 이용한 빅데이터 수집, 분석과 시각화

빅데이터 수집, 분석, 시각화를 실습할 수 있는 기본서입니다. 파트 1과 파트 2에서는 소셜 미디어, 공공 데이터, 일반 웹 데이터를 수집하는 방법을 실습합니다. 파트 3에서는 수집한 데이터에 대한 빈도 분석과 상관관계 분석 방법을 실습하고, 지리정보를 기반으로 한 시각화 방법을 실습합니다. 개발자가 아닌 분들을 위하여 최소한의 파이썬 지식만으로도 실습할 수 있도록 구성하였습니다.



'데이터를 수집할 수 있습니다' 페이스북, 트위터, 네이버, 공공, 일반 웹 사이트에서 데이터를 수집하는 방법을 설명합니다.



'데이터를 분석하고 시각화 처리를 할 수 있습니다 ' 코엔엘파이와 파이썬 라이브러리를 이용하여 빈도 분석을 할 수 있습니다. 데이터 상관관계 분석을 실습할 수 있습니다. 그리고 지리 정보를 이용하여 시각화를 구현할 수 있습니다.



'최소한의 파이썬 지식을 활용합니다' 이 책은 파이썬 문법서는 아닙니다. 빅데이터를 수집하고 분석하는 방법에 중점을 두고 있으며, 그에 필요한 파이썬 문법만 책에서 최소한으로 다룹니다.



'빅데이터 수집, 분석, 시각화를 시작하기에 적합한 책입니다' 개발자뿐만 아니라 기획, 마케팅, 전략 수립, 시장 조사, 스타트업, 연구원도 최소한의 개발 도구 활용 능력을 갖춰서 데이터를 정보화하여 사업이나 연구에 활용할 수 있어야 하는 시대입니다. 빅데이터 프로젝트를 진행해야 하는 개발자를 포함하여 개발자가 아닌 분들에게 최적화된 책입니다. 특히 개발자가 아닌 분들은 저자가 운영하고 있는 도서 관련 블로그를 적극 활용하시기 바랍니다.

파트 1 데이터 사용을 위한 계정 설정



1장 페이스북 API 사용하기

1.1 페이스북 가입

1.2 페이스북 앱 ID 등록



2장 트위터 API 사용하기

2.1 트위터 가입

2.2 트위터 앱 등록



3장 네이버 API 사용하기



4장 정부3.0 공공 데이터 포털 API 사용하기

4.1 공공 데이터 포털 가입



파트 2 데이터 수집



5장 페이스북 데이터 수집하기

5.1 페이스북 그래프(Graph) API

5.1.1 읽기

5.1.2 페이지 조회

1. 커서(cursor) 기반 페이지 조회

2. 시간(time period) 기준 페이지 조회

3. 오프셋(offset) 기반 페이지 조회

5.2 페이스북 ID 가지고 오기

5.3 페이스북 포스트(/{post-id})) 가져오기

5.4 페이스북 포스트(/{post-id})) 저장



6장 트위터 데이터 수집하기

6.1 OAuth란? [OAuth 1, 2, 3]

6.1.1 OAuth 1.0a 인증 과정

6.1.2 OAuth 2.0의 탄생

6.2 트윗(Tweet) 가지고 오기

6.3 트윗(Tweet) 스트림 가지고 오기[Twitter 2]



7장 네이버 데이터 수집하기

7.1 검색 API의 활용

7.2 지도 API(주소, 좌표 변환)의 활용



8장 공공 데이터 수집하기

8.1 전국 유료 관광지 입장객 정보

8.2 파이썬 그래프 모듈: matplotlib

8.3 출입국 관광 통계 서비스



9장 일반적인 웹 서비스 데이터 수집하기

9.1 이상한 나라의 앨리스의 맛있는 스프: BeautifulSoup

9.2 통닭 공화국의 데이터를 구해보자

9.2.1 비비큐 매장 정보: HTML 태그 내 정보 찾기

9.2.2 페리카나 매장 정보: 중복된 HTML 태그 내 추출

9.2.3 네네치킨 매장 정보: XML 형식

9.2.4 교촌치킨 매장 정보: 태그 내 다양한 태그 추출

9.2.5 처갓집양념치킨 매장 정보: CP949 인코딩

9.2.6 굽네치킨 매장 정보: selenium - 브라우저 시뮬레이션

1. selenium과 WebDriver의 설치

2. Selenium 테스트

9.2.7 통합 데이터 수집 코드



파트 3 데이터 분석과 시각화



10장 빈도 분석: 형태소 분석 기반 그래프 및 워드 클라우드

10.1 코엔엘파이(KoNLPy)의 설치 및 활용[KoNLPy 1]

10.2 그래프를 그리자: matplotlib

10.2.1 기본 그래프 그리기

10.2.2 다수의 그래프 그리기

10.2.3 한글 처리

10.2.4 여러 개의 그래프 그리기

10.2.5 그래프에 문자 삽입

10.3 명사 추출 및 빈도 분석



11장 데이터 기반 추천: 데이터 상관관계 분석

11.1 상관분석과 상관계수

11.2 데이터 테이블 생성: pandas 패키지

11.2.1 Series

1. 일차원(array) 데이터의 활용

2. 딕셔너리(Dictionary)

3. 스칼라(Scalar) 값

11.2.2 DataFrame

1. Series/Dict 데이터의 활용

2. Dict 리스트 데이터의 활용

3. 데이터 추가 및 합치기(merge)

11.3 공공 데이터를 이용한 상관분석

11.4 히트맵(Heatmap) ? seaborn



12장 지리정보기반 시각화: 지리정보와 시각화

12.1 지리정보 가공을 위한 데이터 전처리

12.1.1 비비큐 주소 정보 보정

12.1.2 페리카나 주소 정보 보정

12.1.3 네네치킨 주소 정보 보정

12.1.4 교촌치킨 주소 정보 보정

12.1.5 처갓집양념치킨 주소 정보 보정

12.1.6 굽네치킨 주소 정보 보정

12.2 포리움(Folium)의 설치 및 활용[Visualization 3,4]

12.2.1 포리움 설치 및 객체 생성

1. 초기 객체 생성

2. 다른 유형의 맵 호출

3. 마커(Marker)와 팝업(Popup)의 설정

4. GeoJSON 활용 데이터

12.3 프랜차이즈 주소 매핑: Folium ? 네이버 주소 검색

12.4 전국 지도에 블록맵으로 표시하기



참고 문헌

이원하 저자 이원하는 한국외국어대학교 경영정보대학원 석사과정을 마치고 디지털 워터마킹과 DRM(Digital Right Management) 기술을 이용한 보안 분야 회사를 창업하여 문서보안이라는 솔루션을 설계, 한국에 처음 상용화하였다. 한동안 IT 개발에 회의를 느껴 자동차 개발 쪽에서 외도를 하다가 최근 다시 복귀, 빅데이터 처리 및 서버취약성점검 소프트웨어 개발을 하고 있는 개발자이다. 그리고 조그만 저수지에 낚시점빵을 차리는 게 소원인 두 아이의 아빠이기도 하다.