빅데이터 분석 개론

빅데이터 분석 전문가를 희망하는가

데이터 분석 기획, 컨설팅, 개발을 원하는가



'빅데이터 분석' 전반을 설명한 개론서



'빅데이터 분석' 전반에 대해 설명한 개론서이다. 빅데이터 분석에 대한 다양한 관점에서의 이해와 환경, 빅데이터 기획과 설계 측면에서 고려해보아야 할 것들을 다루었다. 한편으로는 지은이의 주관적인 해석이나 견해를 곳곳에 담았다. 이는 '빅데이터 분석'에 관한 문제들을 한 번이라도 직접 생각하게 해보려는 의도가 들어있다.



머지않아 국내에서도 관련 법규제에 대한 개선과 업계의 생태계가 만들어진다면 '데이터 가공, 유통'에 대해 많은 발전이 있을 것이다. 하지만 이 데이터를 해당 기관, 기업에 적합하게 분석할 수 있는 전문가는 그리 많지 않다. 현재 '빅데이터 분석 전문가'를 양성하는 교육도 기술에 치우쳐있어 '빅데이터 분석'에 대한 이해와 실질적인 활용은 어렵다. 대부분의 빅데이터 도서도 빅데이터의 특정 기술을 중심으로 구성되어있다. 또한 전문가라고 하더라도, 현실에서 만나는 대부분의 '빅데이터 분석' 문제들을 만족스럽게 해결하기는 어렵다. '빅데이터 분석'은 다루는 범위가 넓기도 하지만, 정답이 무엇인지도 명확하지 않기 때문이다. 오늘은 이런 방법이 최선이었지만, 내일은 다른 방법이 있다는 것을 알게 될 수도 있다. 이에 대한 안타까움으로 저자들은 '빅데이터 기술'보다는 '빅데이터 분석'에 대한 이해를 중심으로 도서작업을 진행하였다.



이 책은 어느 정도 빅데이터 분야를 공부하거나 경험이 있는 사람들을 대상으로 한다. 하지만 향후 '빅데이터 분석 전문가'를 희망하는 잠재적 인재들을 대상으로 가능한 쉽게 이해할 수 있도록 책을 구성하였다.



『빅데이터 분석 개론』은 빅데이터 분석 시리즈의 1권으로, 2권 『빅데이터 분석 사례연구와 실습』, 3권 『빅데이터 분석 데이터 모델링과 구축 방법론, 4권 『빅데이터 분석과 과학 그리고 인문학』이 곧 출간될 예정이다.



출판사 리뷰



'빅데이터 분석' 시리즈 첫 번째 도서

'빅데이터 분석' 전반을 설명한 개론서



빅데이터 분석 전문가를 희망하는가

데이터 분석 기획, 컨설팅, 개발을 원하는가



"빅데이터"라는 용어가 우리 곁으로 다가온 지 5년이 넘어가고 있다. 2012년에는 하드웨어, 네트워크, 디스크 제조 벤더가 주도하였지만, 인프라 구축과 기술의 검증이 끝나가면서 분석과 활용으로 중심이 바뀌었다. 지난 2015년까지 '빅데이터'와 '빅데이터 기술'이 중심이었다면 2016년부터는 빅데이터, 빅데이터 기술에 알고리즘이 추가되는 형태로 발전되어 가고 있다. 빅데이터 자체보다는 빅데이터를 어떻게 분석하고 어디에 활용하는지가 더 중요하게 되었다.



'빅데이터 기술'과 '빅데이터 분석'은 다른 영역이다. '빅데이터 기술'은 컴퓨터공학을 전공한 사람들이 적용하고 발전시킨 것이고, '빅데이터 분석'은 통계학, 경영학, 사회학 등을 전공한 사람들이 가장 잘 활용할 수 있는 영역이다. 그러나 서로 생경한 영역이라 최근에는 '융합학문'이 대안으로 나타나고 있다. 컴퓨터공학을 전공한 사람은 비즈니스나 통계에 대해 비교적 어려워하고, 통계나 경영을 전공한 사람은 빅데이터 기술을 어려워한다. 이에 최근 가장 많이 활용되는 오픈소스 'R'을 쉽고 빠르게 활용할 수 있는 도구들도 나타나고 있다.



머지않아 국내에서도 관련 법규제에 대한 개선과 업계의 생태계가 만들어진다면 '데이터 가공, 유통'에 대해 많은 발전이 있을 것이다. 하지만 이 데이터를 해당 기관, 기업에 적합하게 분석할 수 있는 전문가는 그리 많지 않다. 현재 '빅데이터 분석 전문가'를 양성하는 교육도 기술에 치우쳐있어 '빅데이터 분석'에 대한 이해와 실질적인 활용은 어렵다. 대부분의 빅데이터 도서도 빅데이터의 특정 기술을 중심으로 구성되어있다. 또한 전문가라고 하더라도, 현실에서 만나는 대부분의 '빅데이터 분석' 문제들을 만족스럽게 해결하기는 어렵다. '빅데이터 분석'은 다루는 범위가 넓기도 하지만, 정답이 무엇인지도 명확하지 않기 때문이다. 오늘은 이런 방법이 최선이었지만, 내일은 다른 방법이 있다는 것을 알게 될 수도 있다. 이에 대한 안타까움으로 '빅데이터 기술'보다는 '빅데이터 분석'에 대한 이해를 중심으로 도서작업을 진행하였다.



이 책은 '빅데이터 분석' 전반에 대해 설명한 개론서이다. 빅데이터 분석에 대한 다양한 관점에서의 이해와 환경, 빅데이터 기획과 설계 측면에서 고려해보아야 할 것들을 다루었다. 한편으로는 지은이의 주관적인 해석이나 견해를 곳곳에 담았다. 이는 '빅데이터 분석'에 관한 문제들을 한 번이라도 직접 생각하게 해보려는 의도가 들어있다.



전문가로 불리는 누군가가 제시한 방안을 그대로 받아들이면, 현실의 '빅데이터 분석' 문제를 해결할 능력이 길러지지 않는다. 당연한 이론이나 인기 있는 기술 지식이라도, 자세히 들여다보고 그것들이 잘못되거나 부족한 점이 있는지를 생각해보는 것이 중요하다. 따라서 이 책은 '빅데이터 분석'이 무엇인지 알아보려는 정도로 볼 책은 아니다. 빅데이터 분석에 관련된 기획이나 컨설팅, 개발을 하려는, 즉 어느 정도 이 분야에 대한 공부나 경험이 있는 사람들을 대상으로 한다. 하지만 향후 '빅데이터 분석 전문가'를 희망하는 잠재적 인재들을 대상으로 가능한 쉽게 이해할 수 있도록 책을 구성하였다.



'빅데이터 분석'을 하고 있는 사람은 책의 제1부부터, '빅데이터 기술'에 대해 이해가 있는 사람은 제2부부터 정독을 한다면 현재 하고 있는 일과 하고자 하는 일에 대한 정리와 방향성이 나타날 것이다. 이어서 빅데이터 분석의 사례와 실제 적용 가능한 내용에 대해서는 곧 출간할 『빅데이터 분석 사례연구와 실습』에서 상세하게 다룰 예정이다.

제 1 부 빅데이터 분석의 이해



1. 빅데이터 이해

1.1 빅데이터의 실제 모습

1.2 정보와 데이터

1.3 과거의 빅데이터 접근법

1.4 빅데이터에서 중요한 것



2. 빅데이터 분석 동향

2.1 빅데이터 분석의 시대적 흐름

2.2 플랫폼 관점의 동향

2.3 데이터 관점의 동향

2.4 알고리즘 관점의 동향

2.5 활용 관점의 동향

2.6 공공데이터 개방 동향



3. 빅데이터 분석 바라보기

3.1 책과 신문 기사에서 소개되는 분석

3.2 실제 기업에서 원하는 분석

3.3 데이터에서 분석까지의 거리

3.4 개념적인 분석 기법 리뷰



4. 데이터 의미 표현을 위한 빅데이터 분석

4.1 데이터 분석 방법의 구분

4.2 OLAP과 Reporting

4.3 대시보드

4.4 시각화



5. 추측과 의미 파악을 위한 빅데이터 분석

5.1 통계

5.2 신경망 기반의 기계학습과 딥러닝

5.3 오차 기반의 기계학습과 유사성 기반의 기계학습

5.4 정보 기반의 기계학습

5.5 베이즈정리 기반의 기계학습

5.6 기계학습에서의 다양한 학습 방법



6. 의사결정에 직접 활용하기 위한 빅데이터 분석

6.1 최적화

6.2 예측과 추정을 위한 확률과정 모형

6.3 시나리오 기반 시뮬레이션



7. 데이터 과학자

7.1 데이터 과학자의 모습

7.2 분석 필요성의 판단

7.3 분석 데이터 만들기

7.4 분석의 검증과 모니터링

7.5 데이터 과학자로서의 견해





제 2 부 빅데이터 분석 기획과 설계



1. 빅데이터 분석 비즈니스 기획

1.1 데이터 비즈니스

1.2 비즈니스와 시스템

1.3 파레토 법칙(Pareto's Law)

1.4 롱테일 이론(Long-Tail Theory)



2. 빅데이터 분석 주제와 시스템 기획

2.1 빅데이터 분석 주제 도출

2.2 구축하지 않고 시스템 만들기

2.3 분석 시스템 개념 설계



3. 빅데이터 수집과 저장

3.1 분석을 먼저 생각해야 하는 이유

3.2 빅데이터 수집

3.3 빅데이터 저장

3.4 데이터 품질

3.5 데이터 수집 인터페이스와 인공지능



4. 빅데이터 처리

4.1 분석을 위한 데이터와 데이터 처리

4.2 데이터마트와 분석지표

4.3 다차원 모델링의 적용

4.4 분석 모형을 위한 데이터 준비

4.5 HDFS에서의 데이터 처리

4.6 실시간, 배치, 스트리밍



5. 빅데이터 분석 제품과 변화하는 기술

5.1 분석 제품의 선택

5.2 제품의 대체와 변화

5.3 인공지능에 인한 제품의 변화



제1권을 마무리하며

안동혁 저자 안동혁은 연세대학교에서 경영학을 전공했으며, KAIST에서 경영공학 석사(최적화 전공) 학위를 받았다. <2013 우수 DB인 상> 시상식에서 DB솔루션 이노베이터(Innovator) 부문 상을 수상했다.

㈜위세아이텍에서 연구소장을 맡고 있으며, 데이터 분석을 쉽게 사용할 수 있는 제품들과 서비스에 관심을 가지고 있다.