데이터과학의 첫걸음 빅데이터분석 with Python

2012년 10월 교수이자 작가인 데이븐포트(Davenport)와 데이터 과학자인 패틸(Patil)은 유
명한 경영학 저널인 Harvard Business Review에 "데이터 과학자: 21세기 가장 섹시한 직업"
이라는 제목의 글을 실었다. 데이터 과학자(data scientist)라는 말 자체가 생소했던 당시에 금
세기 가장 섹시한 직업이 될 것이라는 자극적인 제목까지 달려있어 많은 이들의 눈길을 끌었다. 글은 이렇게 끝을 맺는다.
"지금 빅데이터라는 엄청난 파도가 몰려들어 정점으로 치닫기 시작했다.
그것을 잡으려면 거기에서 서핑을 할 줄 아는 사람이 필요하다".

그로부터 정확히 10년이 지난 2022년 7월 그들은 또 다시 같은 저널에 글을 올린다. 이번
제목은 "데이터 과학자는 여전히 21세기 가장 섹시한 직업인가?"로서 그들의 대답은 여러분
예상대로다.

"당시 우리는 데이터 과학자를 "빅데이터 세계를 탐구할 역량과 호기심을 지닌 수준 높은
전문가"로 정의했다. (중략) 10년이 지난 지금 그 직업은 기업과 리크루터들에게 그 어느
때보다 수요가 많다. AI가 비즈니스에서 갈수록 인기를 얻고 있으며 모든 회사들이 규모
와 소재지에 상관없이 AI 모델을 개발하기 위해 데이터 과학자가 필요하다고 여긴다.
2019년에는 인디드(Indeed)에 데이터 과학자를 구하는 포스팅이 256%나 증가했으며 미
국 노동통계국(BLS)은 데이터 과학이 지금부터 2029년 사이에 다른 어떤 분야보다 더
빨리 성장할 것으로 예측한다. 잘나가는 직업은 보수도 좋기 마련이어서 데이터 과학자
경력직의 연봉 중위값이 캘리포니아의 경우 $200,000에 근접하고 있다".

지난 10년만 본다면 그들의 예측은 100% 적중했다. 빅데이터와 데이터 과학이 우리 일상생
활에 깊숙이 들어왔고 AI, 딥러닝, 알고리듬, 코딩 등의 전문용어가 일상적으로 사용되고 있다.
자연히 이와 관련된 교육 훈련 프로그램도 아주 많이 늘어났다. 아래는 그들이 미국 상황을
설명한 것이지만 현재 우리도 비슷한 길을 걷고 있다.

2012년에는 사실상 데이터 과학 학위 프로그램이 없었다. 그래서 다른 관련 분야에서 데이
터 과학자를 데려와야 했다. 하지만 이제 데이터 과학 또는 애널리틱스나 AI 분야에 수백개의 학위 프로그램이 있다. 대부분은 석사 학위 프로그램이지만 데이터 과학 분야의 학부
전공이나 박사 프로그램도 있다. 또한 데이터 과학 관련 분야에는 엄청난 수의 인증서,
온라인 과정, 부트캠프들이 있다. 심지어는 고등학교에도 데이터 과학 코스와 커리큘럼이
있을 정도다. 이제 데이터 과학 역량을 갖추고 싶어 하는 사람은 누구라도 그렇게 할 수
있는 많은 선택들이 열려있다.

파이썬(Python)은 가장 많이 사용되는 10대 프로그래밍 언어에 꾸준히 랭크돼왔으며 2024
년 1월 현재 PYPL(PopularitY of Programming Language) 기준 전세계적으로 가장 인기있
는 프로그래밍 언어다. 특히 요즘 각광받고 있는 딥러닝 등에서 파이썬 관련 모듈이 가장 앞서
나가고 있는 것으로 여겨진다. 이처럼 강력한 도구이면서도 무료(!)라는 점이 특히 매력적이다.
여러분은 파이썬을 익힘으로써 코딩과 알고리듬에 대해 배우게 될 것이다.
앞에서 데이터 과학자의 매력에 대해 많이 인용했지만, 이 책은 데이터 과학자가 되기 위한
책은 아니다. 그보다는 데이터 과학에 첫발을 내딛는 책이라 할 수 있다. 우리가 반드시 경제학자가 되려고 경제학원론을 공부하는 것은 아니다. 전문경영인이 되려고 경영학을 공부하는 것 도 아니다. 이제 빅데이터, 알고리듬, 코딩이 우리 일상생활에까지 들어왔기 때문에 데이터 과학자를 목표로 하지 않더라도 도대체 무슨 일이 벌어지고 있는지 알아야 한다. 수리금융학으로 무장한 퀀트가 되어 투자은행으로 진출할 계획이 아니더라도 우리가 투자론을 공부하는 것과 마찬가지다.

01 파이썬 시작하기
02 파이썬 코딩 기초
03 은행 텔레마케팅 데이터 분석
04 전자상거래 데이터 분석
05 통계적 학습
06 선형 회귀
07 로지스틱 회귀를 이용한 분류
08 KNN 분류
09 나이브 베이즈 분류
10 선형 모형 변수선택 및 정규화
11 추천 시스템
12 결정 트리 만들기
13 트리 기반 모형
14 서포트 벡터 머신
15 딥러닝 입문
16 비지도학습과 주성분 분석
17 생존분석

최필선 서울대학교 사회과학대학 국제경제학과 및 동 대학원 졸업
Texas A&M University 경제학과 대학원 졸업(경제학 박사)
예금보험공사 연구위원, 금융감독원 팀장
(현) 건국대학교 상경대학 국제무역학과 교수