통계 기반 데이터 분석(알통(R을 활용하여 배우는))

인스타그램에 사진을 올리고 '좋아요' 수에 따라 세상은 달라진다. 페이스북에 올려진 글이 전 세계를 감동의 눈물 바다로 만들 수 있고 트위터에 올려진 영화에 대한 감상평이 그 영화를 천만 관객의 대열에 올릴 수도 있는 세상에 살고 있다. 이런 일이 가능해 진 것은 바로 데이터의 힘이라는 것을 부정할 사람은 없을 것이다. 하루에도 수천억 건씩 쏟아지는 무한의 힘을 가진 데이터를 어떻게 하면 더 많은 사람들에게 효과적으로 분류하고 맞춤형 소비 트렌드를 분석할 수 있을까? 그것은 통계가 가지고 있는 힘을 첨가하면 된다. 데이터를 숫자로 보는 것도 중요하지만 데이터 안에 의미를 보기 위해서는 통계 기반의 분석이 필요한 것이다.



[ R 은 인공지능으로 가는 조언자 ]



R은 통계를 1도 모르는 학습자들에게 함수 한 줄로 통계학에 대한 부담을 없애준다.

R은 데이터 시각화 또한 놀라울 정도로 빠르고 쉽게 해주며 데이터 수집부터 분석까지 다양한 패키지들을 지원한다. Python 보다 쉬운 라이브러리를 제공하여 누구나 쉽게 데이터를 수집하고 분석하고 이해하기 쉬운 언어로 만들어져 있다.

인공지능은 우리의 삶에 이미 깊숙이 파고들어있다. 비행기를 조정하거나 자율주행을 하거나 바닷가에 표류되어 있는 선박을 찾거나 드론으로 물체를 인식하는 모든 행위들이 이미 카메라 기술을 이용하여 만든 인공지능 기술들이다. 센서 데이터에서 보내는 신호들을 처리하면 미래를 예측할 수 있으며 텍스트 데이터와 같은 비정형 데이터를 분석하면 인공지능에게 대화를 통해 인간처럼 일과 행동을 시킬 수 있다. R은 통계학자들이 만든 만큼 어려운 수학 공식을 몰라도 의미있는 데이터를 만들고 이를 인공지능에게 학습시킬 수 있다.



[ 통계학은 세상을 보는 나침반 ]



빅데이터 분석에 대해 주변에서 관심이 많고 이제는 청소년 수험서의 이름조차도 빅데이터 분석으로 당신의 학습 능력을 높혀 준다는 제목의 책들을 심심치 않게 볼 수 있다. 수학, 영어에 대한 자신감을 인공지능이 키워주고 데이터로 분석해 주는 일들이 점점 산업 각계각층에 엄청난 일들이 실제로 벌어지고 있는 것이다. 어떤 학생이 자주 틀리는 문제, 스포츠 선수의 잘못된 습관, 로봇이나 기계가 발생하는 오류들, 자주 보이는 패턴의 질병들, 동물과 교감하는 능력들, 범죄에 대한 재범률, 버스를 타고 가는 바퀴의 마모율, 신호등에서 보내는

자동차 수치에 따른 깜박임 설정 등 이 모든 것이 숫자로 만들어지고 이를 통계 기반으로 분석하면 지구에서 발생하는 많은 에너지들과 현상들을 미래의 가치로 변환할 수 있다.

통계학은 왜 수학에 포함되어야 했을까 라는 질문을 해 보았었다. 수학이 만드는 세상과 사람과 사물이 만드는 데이터 세상은 닮은 것 같지만 다르다. 물줄기가 많아지면 강이 만들어지듯 세상은 데이터로 변화되어 가고 있다. 통계학은 이미 세상의 이치를 가르치고 있는지 모른다.



많아지면 달라진다.



이 책의 20개 통계 기반 지식을 배우고 나면 여러분들의 데이터를 보는 눈이 달라질 것이다. 데이터가 만드는 세상은 신호일 수도 있고 소음일 수도 있다. 가볍게 소음으로 외면할 것인가? 아니면 소음을 신호로 바꿀 혁신을 만들어 낼 것인가!

PART 01 빅데이터 정의와 활용 사례

01 빅데이터 정의 및 10가지 사례

02 R 프로그램 설치

03 JDK 설치

04 Rstudio 설치



PART 02 기초 R 스크립트 단련

01 R 스크립트 이해

02 민원 데이터 분석 실습

03 자연어처리

04 데이터 시각화



PART 03 영화 평점 데이터 분석

01 영화 평점 댓글 데이터 수집

02 데이터 정제

03 데이터 분석

04 데이터 시각화



PART 04 감성 분석 [ 긍정, 부정 분석 ]

01 뉴스 댓글 수집

02 긍정 사전 및 부정 사전 만들기

03 감성분석 알고리즘 살펴보기

04 데이터 시각화



PART 05 공공 데이터 수집 분석

01 육군 신체 치수 데이터 수집

02 정형 데이터 그래프 시각화

03 서버를 이용한 그래프 시각화



PART 06 트위터 데이터 수집 분석

01 트위터 API 등록하기

02 트위터 데이터 수집

03 트위터 데이터 분석

04 데이터 시각화



PART 07 가설 설정

01 통계기반 분석 모델

02 가설 설정

03 데이터 분포 및 검정통계량 설정



PART 08 통계처리 결과에 대한 해석

01 통계 데이터 용어 해설

02 통계 데이터 검정 활용



PART 09 빅데이터 처리 기술

01 각 분석기법에 대한 통계학 이론

02 통계적 해석 및 업무적용

03 데이터 시각화 기술



PART 10 상관분석과 회귀분석

01 상관분석

02 회귀분석



PART 11 분산분석과 주성분분석

01 분산분석

02 주성분분석



PART 12 로지스틱 회귀분석

01 분류

02 로지스틱 회귀분석



PART 13 예측 분석

01 예측

02 예측 모델 생성



PART 14 군집화

01 군집화

02 k 평균 군집화

03 K 평균 군집화 모델 생성



PART 15 파생변수를 활용한 분석모델 확장

01 파생변수

02 분석모델 확장



PART 16 앙상블 기법을 활용한 분석모델 확장

01 배깅(Bagging)

02 부스팅(Boosting)

03 랜덤 포레스트(Random Forest)

04 분석모델 확장



PART 17 예측 오차를 통한 예측 모델 성능 평가

01 예측 오차

02 예측 모델 성능평가



PART 18 교차 유효성 검사를 통한 예측 모델 성능 평가

01 교차 유효성 검사

02 예측 모델 성능 평가



PART 19 컨퓨젼 메트릭스(Confusion Matrix)를 통한 분류 모델 성능 평가

01 혼동 행렬

02 분류 모델 성능 평가



PART 20 ROC 곡선 기법을 통한 분류 모델 성능 평가

01 ROC 곡선

02 분류 모델 성능 평가

황윤찬 ㆍ 현) 스토리조아 대표[빅데이터 분석 및 인공지능 교육]

ㆍ 현) 경희사이버대학교 컴퓨터정보통신학과 겸임 교수