통계 101×데이터 분석(빅데이터 시대, 올바른 인사이트를 위한)

연구에서 비즈니스까지, 언제 어디서나 통하는
데이터를 다루는 모두를 위한 맞춤 교양 통계 강의 '통계 101'!

'숨만 쉬어도 기록과 자료가 쌓이는' 빅데이터 시대를 맞아, 점점 더 많은 사람이 데이터를 다루기 시작하고 있습니다. 데이터를 수집하고, 이리저리 분석하고, 수치나 표, 그래프를 보는 일이 나날이 익숙해져만 갑니다. '데이터 분석'을 통해 신뢰성 높은 증거를 얻고, 미래 상태를 설득력 있게 예측할 수 있기에, '데이터 분석'은 자연과학, 심리학, 경제학, 사회과학 등 여러 연구 분야는 물론 비즈니스 현장에까지 폭넓게 쓰입니다.

데이터 과학의 근간은 바로 '통계(statistics)'에 있습니다. "현상이나 자료에 관한 수량적인 기술"에 관한 오랜 탐구의 결실인 통계. 그런 만큼 그 원리와 관점, 사고방식을 꼼꼼히 체화해야만 비로소 수치와 데이터에서 올바른 인사이트를 이끌어 낼 수 있게 됩니다. 이는 문자를 다 쓸 줄 안다 해서 꼭 문장을 잘 구사한다고 할 순 없는 것과 마찬가지 이치입니다. 데이터를 적절하게 수집하려면, 분석 방법을 제대로 선택하려면, 나온 결과지를 오독하지 않으려면, 먼저 통계에 대해 이해하는 것이 필수입니다.

그렇지만 우리는 바쁩니다. 당장 살펴볼 데이터만 하더라도, 말 그대로 거대한 뭉치입니다. 또 직접 나서서 실험하고 조사할 일도 너무나 많습니다. 그런가 하면 통계 소프트웨어 사용법도 익혀야겠는데, 그것도 녹록지는 않습니다. 그렇게 '데이터 분석' 자체에 매달리다 보면, 정작 데이터에서 올바른 인사이트를 얻기 위해 정말 중요한 '통계'는 다소 뒷전이 되곤 합니다.

그러다 간혹 통계 학습의 필요성을 느껴 고등학교 시절 살짝 배웠던 '확률과 통계'를 떠올려 봐도, 분포나 신뢰구간 같은 개념이 파편적으로만 남아 좀처럼 체계화되질 않습니다. 본격적으로 책이라도 읽어 보고자 하면 '수식이 대부분인 지나치게 어려운 전문서' 아니면 '통계 개념을 살짝 곁들인 흥미진진한 일화 위주 에세이'인 관계로, 딱 원하는 만큼의 통계학 지식을 익히기가 쉽지만은 않은 상황이었습니다.

만일 이것이 여러분의 이야기라면, 잘 오셨습니다. 이 책은 데이터 분석 맞춤 교양 통계 강의, '통계 101'입니다.

모집단과 표본부터 상관과 인과까지, 기술통계부터 기계학습까지
지금 내게 필요한 통계의 핵심이 빠짐없이 다채롭게 담겼다!

통계에 과도하게 많은 시간과 노력을 쏟고 지치지 않도록, 본연의 업무/연구에 제대로 집중할 수 있도록, '통계 101' 강의실에 어서 들어오세요! 이 책 《통계 101×데이터 분석》에서 저자 아베 마사토는, 본격적인 데이터 분석에 필수불가결한 통계적 사고방식과 다양한 통계분석 방법 지식에 대해 가능한 한 알기 쉽게, 모든 내용을 빠짐없이 소개하고자 했습니다.

그는 생물학, 심리학, 농학 등 다양한 전공의, 통계학을 배운 적 없는 대학생들을 대상으로 통계학 입문을 강의해 온 경험을 살려, 문장은 최대한 잘 읽히도록 정제하고, 수학적인 설명은 될 수 있는 대로 줄이면서도 최대한 정확한 해설을 위해 노력했습니다. 특히 초보자가 실수하기 쉬운 점을 자세히 설명하여, 구석구석 도움을 주고자 하는 배려가 돋보입니다. 개중 백미는, 무려 200컷에 가까운 그림들입니다. 복잡한 개념도 한눈에 알아보고, 분명히 이해할 수 있게끔 독창적인 도식(그림)들을 많이 실음으로써, 수학적 기초가 없고 다소 자신감이 부족한 독자라도 완독할 수 있도록 세심히 안배하고 있습니다.

《통계 101×데이터 분석》은 13장으로 구성되었습니다. 1~3장에서는 데이터 분석의 목적부터 통계분석에 필요한 기초 지식과 개념을 두루 개괄합니다. 4~5장에서는 본격적인 통계분석인 추론통계 개념을, 6~8장에서는 데이터 형태나 목적에 따른 다양한 추론통계 분석 방법을 살펴봅니다. 9장에서는 최근 화제가 된 가설검정 사용법과 재현 가능성 관련 논의를 짚어 보며, 10장에서는 결과 해석 시 중요한 상관과 인과의 차이점을 집중적으로 다룹니다.

여기까지가 '빈도주의 통계'라면, 남은 3개 장은 더 다채로운 응용 분야의 장입니다. 11장에서는 빈도주의 통계와 함께 통계학의 쌍벽을 이루는 베이즈 통계 기법을 설명하며, 더 유연한 데이터 분석으로 이어갑니다. 12장과 13장에서는 통계와 관련이 깊은 기계학습과 수리 모형을 만나 봅니다. 특히 13장에는 수리 모형 사례로 감염병 전파 모델이 등장해, 마지막까지 흥미를 놓치지 않는 구성입니다.

이렇듯 《통계 101×데이터 분석》에는 현대 데이터 분석에 반드시 필요한 지식이 충분히 채워져 있습니다. 통계 기초 개념부터 가설검정, 통계 모형화는 물론, 나아가 인과 추론, 베이즈 통계, 기계학습, 수리 모형에 이르기까지, 주제도 그야말로 다양합니다. 이 책 한 권이면 통계의 전체상과 통계 관련 데이터 분석 방법들을 조감하고, 실전 데이터 분석을 대비한 기반을 다질 수 있을 것입니다.

[이런 분에게 강력 추천!]
● 통계는 접한 적 있지만, 어렵다고 느끼거나 아직 명확히 알지 못하는 사람
● 지금부터 데이터 과학 공부를 본격적으로 시작하려는 사람
● 다양한 조사나 연구를 진행하면서, 그 일환으로 데이터 분석을 하고 있는 사람
● 통계분석 방법이 너무 많아 혼란스러우므로, 전체 모습을 파악하고 싶은 사람

시작하며

1장 통계학이란?: 데이터 분석에서 통계학의 역할

1.1 데이터를 분석하다
데이터와 통계학
데이터 분석의 목적
1.2 통계학의 역할
통계학은 데이터 퍼짐 정도가 클수록 힘을 발휘한다
데이터 퍼짐이 작은 현상
1.3 통계학의 전체 모습
기술통계와 추론통계
다양한 분석 방법

2장 모집단과 표본: 데이터 분석 목적과 대상 설정

2.1 데이터 분석의 목적과 알고자 하는 대상
데이터 분석의 목적
알고자 하는 대상
2.2 모집단
모집단을 생각하다
모집단 크기
2.3 모집단의 성질을 알다
모집단의 성질
전수조사
표본조사
표본크기

3장 통계분석의 기초: 데이터 유형, 통계량, 확률

3.1 데이터 유형
모집단과 표본
변수
다양한 데이터 종류
3.2 데이터 분포
그림으로 데이터 분포 표현하기
히스토그램은 그림으로 나타낸 것일 뿐
3.3 통계량
데이터 특징 짓기
다양한 기술통계량
분산을 확인할 수 있는 상자 수염 그림
이상값
3.4 확률
확률을 배우기 전에
확률의 기본 사고방식
추론통계와 확률분포
확률변수가 2개일 때
3.5 이론적인 확률분포
확률분포와 파라미터
정규분포
표준화
다양한 확률분포

4장 추론통계~신뢰구간: 데이터로 모집단의 성질을 추정한다

4.1 추론통계를 배우기 전에
전수조사와 표본조사
데이터를 얻는다는 것
무작위추출
추론통계를 직감적으로 이해하기
4.2 표본오차와 신뢰구간
모집단과 데이터 사이의 오차 고려하기
표본오차
표본오차의 확률분포
신뢰구간이란?
t분포와 95% 신뢰구간
신뢰구간과 가설검정

5장 가설검정: 가설검정과 p값

5.1 가설검정의 원리
또 하나의 추론통계 방법
통계학에서 가설이란?
p값
가정검정 흐름 정리
5.2 가설검정 시행
가설검정의 구체적인 계산
기각역과 p값
신뢰구간과 가설검정의 관계
가설검정의 구체적인 예
5.3 가설검정 관련 그래프
오차 막대
"통계적으로 유의미"를 나타내는 표기
5.4 제1종 오류와 제2종 오류
진실과 판단의 4패턴
α와 β는 상충 관계
효과크기를 달리 했을 때의 α와 β

6장 다양한 가설검정: t검정부터 분산분석, 카이제곱검정까지

6.1 다양한 가설검정
가설검정 방법 구분해 사용하기
6.2 대푯값 비교
모수검정의 평균값 비교
비모수검정의 대표값 비교
분산분석 (3개 집단 이상의 평균값 비교)
다중비교 검정
6.3 비율 비교
범주형 데이터
이항검정
카이제곱검정: 적합도검정
카이제곱검정: 독립성검정

7장 상관과 회귀: 두 양적 변수의 관계를 분석하다

7.1 양적 변수 사이의 관계를 밝히다
2개의 양적 변수로 이루어진 데이터
산점도
상관
회귀
7.2 상관관계
피어슨 상관계수
비모수 상관계수
상관계수와 가설
비선형상관
7.3 선형회귀
회귀분석이란?
회귀계수
결정계수
오차의 등분산성과 정규성
설명변수와 반응변수

8장 통계 모형화: 선형회귀에서 일반화선형모형으로

8.1 선형회귀 원리의 확장
선형회귀는 다양한 해석 방법의 기초
다중회귀
편회귀계수
범주형 변수를 설명변수로
공분산분석
고차원 데이터 문제
다중공선성
8.2 회귀모형의 형태 바꾸기
상호작용
이원배치 분산분석
비선형회귀
8.3 일반화선형모형의 개념
선형회귀 원리 확장하기
가능도와 최대가능도 방법
로지스틱 회귀
푸아송 회귀
다양한 일반화선형모형
8.4 통계 모형의 평가와 비교
왈드 검정
가능도비 검정
AIC
BIC
그 밖의 정보기준

9장 가설검정의 주의점: 재현 가능성과 p-해킹

9.1 재현성
가설검정, 이해는 어렵지만 시행은 간단
재현성 위기
재현 불가능한 원인은?
과학 논문 게재 과정
9.2 가설검정의 문제점
가설검정 이해하기
p값 되돌아보기
피셔류 검정과 네이만?피어슨류 검정
효과크기
베이즈 인수
논문이 옳지 않을 확률
좋은 가설 세우기
9.3 p?해킹
p?해킹(p-hacking)이란?
p?해킹을 예방하기 위한 노력들
가설검정을 이해할 때 확인할 항목

10장 인과와 상관: 잘못된 해석을 방지하기 위한 사고방식

10.1 인과와 상관
인과관계 밝히기
인과관계와 상관관계
인과관계와 상관관계의 다양한 사례
10.2 무작위 통제 실험
인과관계를 밝히려면
무작위 통제 실험
10.3 통계적 인과 추론
인과효과를 추정하는 또 다른 방법

11장 베이즈 통계: 유연한 분석을 향해서

11.1 베이즈 통계의 사고방식
통계학의 2가지 흐름
베이즈 통계의 이미지
통계 모형
베이즈 통계의 사고방식
베이즈 통계의 이점
11.2 베이즈 통계 알고리즘
MCMC 방법
MCMC 방법의 예
11.3 베이즈 통계 사례
이표본 평균값 비교
푸아송 회귀의 예
계층적 베이지안 모형

12장 통계분석과 관련된 그 밖의 방법: 주성분분석부터 기계학습까지

12.1 주성분분석
변수의 차원
주성분분석
인자분석
12.2 기계학습 입문
기계학습이란?
통계학과 기계학습의 차이
12.3 비지도 학습
비지도 학습이란?
12.4 지도 학습
지도 학습이란?
예측 성능 측정 ①: 이진 클래스 분류
예측 성능 측정 ②: 회귀

13장 모형: 통계 모형·기계학습 모형·수리 모형

13.1 모형이란?
통계 모형·기계학습 모형·수리 모형
모형은 현상을 이해하는 도구
수리 모형이란?
13.2 수리 모형: 미분 방정식
미분 방정식과 차분 방정식
수리 모형 사례 ①: 수의 변화를 모형으로
수리 모형 사례 ②: 감염병 모형
복잡한 모형으로
13.3 수리 모형: 확률 모형
확률 모형
수리 모형의 역할

마치며
찾아보기

아베 마사토 阿部?人
현 일본 이화학연구소 혁신지능통합연구센터 연구원. 도쿄대학교에 입학하여 광역과학 전공으로 박사학위를 취득한 뒤, 일본학술진흥회(DC1)와 국립정보학연구소 과학기술진흥기구(JST) 연구원을 거쳐 현재에 이르렀다. 통계 및 기계학습을 이용한 데이터 분석과 수리 모형 해석을 무기로 곤충의 사회성, 인간의 뇌와 행동, 사회, 생태계 등 폭넓은 주제를 연구해 왔고, 이를 인정받아 일본 수리생물학회 연구장려상을 수상했다.
과거 국제기독교대학교와 도쿄농업대학교의 강사 시절, 초보자를 위한 통계학 강의로 많은 학생으로부터 호평받은 바 있다. 이 책은 그때의 경험을 살려 저술한 것이다. 다른 저서로 《R로 배우는 통계학 입문(Rで?ぶ統計?入門)》, 《Python과 R로 배우는 데이터 과학(Python, Rで?ぶデ?タサイエン)》 등이 있다.
*홈페이지: https://masatoabe.com