데이터지능(반양장)

데이터지능은 21세기형 문해력이다!

불확실성의 시대, 어떻게 해야 올바른 결정을 내릴 수 있을까? 우리는 수많은 갈림길에서 그중 하나를 선택한다. 고민하고 추측하고 결정한다. 이때 중요한 것은 직감이 아니라 데이터를 바탕으로 한 검증된 판단이다. 신용평가 정보를 기반으로 대출 여부를 결정하고, 환자의 검사 수치로 진단과 처방을 내리며, 다양한 경제지표를 토대로 통화 정책을 조정한다. 이를 비롯한 모든 과정에는 불확실성을 측정하고 추론하는 능력, 데이터를 읽고 의심하고 분석하는 데이터지능이 작동한다. 데이터를 반복적으로 보고 질문하며 규칙을 찾아야 한다. 데이터지능의 중심에는 통계적 사고가 있다.
눈에 보이지 않는 질서의 의미를 해석하고, 데이터를 모아 흐름을 관찰하고, 그 속에서 일정한 패턴을 찾으며, 검증된 패턴 결과를 바탕으로 예측하고 결정할 때 직관과 규칙을 넘어서는 새로운 전략과 해석을 도출해낼 수 있다.

분석을 넘어 세상을 이해하고 변화시키는 힘
Data Intelligence

우리는 매일 수많은 선택의 갈림길에 선다. 아침에 어떤 커피를 마실지, 어떤 옷을 입을지 같은 사소한 결정부터 진로를 바꾸거나 인생의 반려자를 선택하는 중대한 결정까지. 이 모든 선택은 삶의 궤적을 형성하고, 미래를 조금씩 바꿔 나간다. 하지만 중요한 선택일수록 우리는 늘 불확실성의 벽과 마주하게 된다.
"이게 과연 옳은 선택일까?", "나중에 후회하지는 않을까?", "다른 선택을 했다면 어땠을까?" 우리는 이 질문들 앞에서 고민하고, 망설이며, 결국 확실하지 않은 것을 추측하며 결정을 내린다. 이런 추측은 단순한 직감만으로 이루어지는 것이 아니다. 우리는 흔히 데이터를 바탕으로 판단한다.
우리는 눈에 보이지 않는 질서와 패턴을 발견하고, 그 의미를 해석하려는 본능을 지니고 있다. 이런 패턴 인식은 자연현상에만 국한되지 않는다. 인간의 삶, 건강, 사회현상에도 동일하게 적용된다. 예컨대 어떤 질병의 근원을 완전히 알지 못하더라도 우리는 누가 병에 걸리고 누가 그렇지 않은지를 비교해 차이를 측정하고, 그 속에서 원인을 유추해낸다.
오늘날의 인공지능 역시 데이터를 기반으로 패턴을 발견하고 예측하는 과정을 자동화한 것이다. 신경망 모형의 작동 방식은 통계적 사고와 닮아 있다. 우리는 데이터를 보고, 의심하고, 반복적으로 검토하면서 판단한다. 인공지능도 그런 과정을 반복 학습을 통해 수행한다. 결국 데이터지능은 인간과 기계가 공유하게 된 새로운 사고의 기반이기도 하다.

데이터를 읽고, 분석하고, 예측하는 힘
데이터지능이 세상을 변화시킨다

필자는 통계학을 배운 후 40여 년 동안 데이터를 통해 세상을 이해하고 예측해왔다. 1980년대 후반 한국은행에 들어간 뒤, 통계 패키지인 SAS를 활용해 국가통계를 전산화했고, 거시경제 예측모형을 개발해서 정책 분석에 활용했다. 또한 국민소득통계를 작성했고, 우리나라의 실정에 맞는 계절조정 방법을 개발해 다양한 통계에 적용했다. 이후 대학으로 자리를 옮겨서는 빅데이터와 인공지능 시대에 맞는 교육과 연구에 힘써 왔다. 통계학의 모든 영역을 경험하며 데이터와 함께 사고하고 성장해왔으며, 《데이터지능》은 그런 경험을 바탕으로 데이터를 통해 세상을 해석하는 방법, 다시 말해 데이터지능에 대한 생각들을 정리한 결과물이다.
이 책은 데이터를 읽고, 분석하고, 예측하는 힘, 즉 데이터지능을 키우는 방법을 다룬다. 그 중심에는 통계학과 통계가 있다. 통계는 세상을 데이터로 측정해서 요약한 결과다. 1장부터 6장까지는 추측통계학을 중심으로 확률, 표본, 추정, 검정, 인과관계, 모형 등 불확실성을 다루는 사고의 기본 원리를 설명한다. 7장과 8장은 통계와 기술통계학을 중심으로 데이터를 요약하고 시각화해서 정보를 정리하고, 세상을 설득하고 변화시키는 방법을 보여준다.
불확실성이 일상이 된 시대, 데이터를 나침반 삼아 분석하고, 이를 넘어 세상을 이해하고 변화시키는 힘 데이터지능이 절실하다. 이 책이 그 길에 동반자이자 길잡이가 되기를 기대한다.

프롤로그

1장__불확실한 세상에 동전을 던져라
세상이 불확실하다는 것만 확실할 뿐 / 불확실성의 정량화, 확률의 시작 / 차라리 동전을 던져라 / 생각을 어떻게 업데이트할까 / 보이는 것이 전부가 아니다 / 아름다운 확률분포, 정규분포 / 슈뢰딩거의 고양이는 살아 있을까 / 파스칼의 선택 기준

2장__세상의 조각으로 전체를 읽다
하나를 보면 열을 안다 / 중요한 것은 항해하는 방법 / 표본조사는 언제부터 시작했을까 / 모집단을 대표하는 표본을 뽑을 수 있을까 / 여론조사는 왜 틀리는가 / 여론조사의 대안은

3장__가장 가능성 높은 판단을 하는가
군중심리인가 군중의 지혜인가 / 통계적으로 사랑을 찾다 / 통계적 추정의 편의와 분산 / 통계적 추정의 기준, 불편성과 효율성 / 사법 판단에서의 통계적 통찰, 편의와 분산 / 판결 보조 시스템은 필요한가 / 자동 볼 판정 시스템은 야구를 어떻게 바꾸었나 / 표본평균은 어떻게 움직이는가

4장__낮은 확률의 사건을 믿지 마라
낮은 확률의 사건은 왜 과대평가될까 / 확률과 심리를 이용한 사기, 보이스피싱 / 통계적 가설검정과 형사재판 / 무고한 사람을 만들지 말자 / 낮은 확률을 믿지 않는다 / 그는 정말 초능력자일까 / 나는 확률을 정확히 계산할 수 있을까

5장__까마귀 날자 배 떨어진 이유
〈살인의 추억〉은 왜 범인 검거에 실패했을까 / 플랫폼은 어떻게 내가 좋아하는 것을 알까 / 챌린저호의 폭발과 재앙의 통계학 / 대형사고는 우연히 일어났을까 / 진짜 원인 찾기의 여정

6장__변하는 것과 변하지 않는 것
모든 모형은 틀렸지만, 어떤 모형은 유용하다 / 통계 모형은 어떻게 만들까 / 와인 가격을 어떻게 평가할까 / 작은 모형이 아름답다, 오캄의 면도날 / 외환위기와 거시계량경제모형 / 빅데이터 시대와 통계 분석 패러다임의 전환

7장_데이터, 세상을 보여주다
그림이 많은 것을 보여준다 / 데이터 너머의 이야기 / 러시아원정과 미나르의 데이터 시각화 / 나이팅게일, 장미도표로 생명을 구하다 / 존 스노우와 콜레라 맵 / 튜키, 데이터과학을 열다

8장__데이터로 세상을 읽고 답하라
변동에서 시작한 통계적 사고 / 불확실한 세상을 읽는 렌즈 / 변동을 고려한 통계적 사고 / 데이터를 표로 체계화하라 / 식목왕과 식목년표 / 통계는 신뢰의 소프트 인프라 / 20세기 위대한 발명품, 국민소득통계 / 진실과 새빨간 거짓말 사이

에필로그
참고문헌

이긍희 서울대학교와 미국 Texas A&M University에서 통계학을 전공했다. 한국은행에서 경제예측 및 정책분석 모형 개발, 계절조정방법 연구, 국민소득통계 작성 업무를 담당했다. 이후 한국방송통신대학교 통계·데이터과학과 교수로 20년 넘게 재직하며 학생들과 함께 통계학을 가르치고, 배우고, 나눠 왔다. 통계학을 단순한 계산 기술이나 수학 증명이 아닌, 데이터를 통해 세상을 이해하고 더 나은 결정을 내리는 데 필요한 사고의 도구로 인식하고, '데이터 뒤에 숨은 이야기'를 발견하고 해석하는 데 집중해왔다. 《딥러닝의 통계적 이해》 《빅데이터의 이해와 활용》 《통계학의 개념과 제문제》《예측방법론》 《데이터 시각화》 등 여러 저서를 통해 빅데이터와 인공지능 시대에 필요한 통계적 사고를 쉽고 친근하게 전하고자 노력했다. 방송통신대 경기지역대학 학장, 디지털미디어센터 원장, 국가통계위원회 분과위원, 한국은행 자문교수 등을 역임하며 현장과 교육, 정책 현장을 넘나드는 다양한 경험을 쌓았다. '데이터는 세상을 읽는 언어'라는 믿음 아래 오늘도 학생들과 함께 데이터 속에 숨겨진 패턴과 가능성을 탐구하고 있다.