데이터 사이언티스트(가장 섹시한 직업)

제4차 산업혁명과 인공지능 시대

"왜 데이터 사이언티스트가 중요한가?"



미국 최대의 직장 평가 및 구인·구직 서비스 업체인 글래스도어가 발표한 '2019년 미국 최고의 직업 50'에서 데이터 사이언티스트(data scientist)를 최고의 1위 직업으로 선정했다. 글래스도어는 직업별 연봉의 중간값, 직업 만족도, 구인 중인 일자리 수 등을 토대로 매년 '최고의 직업 50'을 선정해왔다. 미국 경제지 『하버드비즈니스리뷰』도 21세기 가장 유망한 직업으로 데이터 사이언티스트를 선정했으며, 미국 경제지 『포브스』도 미래 최고의 직업 2위로 데이터 사이언티스트를 선정했다. 미국 뱁슨칼리지의 석좌교수이자 세계적인 분석 전문가인 토머스 대븐포트는 "데이터 사이언티스트는 21세기 가장 섹시한 직업"이라고 말했다. 그만큼 데이터 사이언티스트에 대한 수요가 매우 높다는 것을 의미한다. 스웨덴 통계학자인 한스 로슬링은 "데이터는 세상을 들여다보는 창(窓)이다"라고 말하기도 했다.

우리나라에서도 데이터 사이언티스트에 대한 수요는 가속적으로 늘어나고 있는 데 비해 공급은 턱없이 모자란다. 그래서 정부는 데이터 사이언티스트 양성에 막대한 투자를 하고 있다. 최근에 대통령 직속 제4차 산업혁명위원회는 인공지능 대학원 6곳을 신설하는 등 2022년까지 2조 2,000억 원을 투자해 인공지능 연구 인력 1,700명을 양성할 계획이라고 발표했다. 그렇다면 데이터 사이언티스트는 무엇을 하는 사람이기에 이렇게 인기가 있는가?

데이터 사이언티스트는 데이터 사이언스를 하는 사람이다. 데이터 사이언스란 "기업에서 발생하는 여러 가지 문제를 데이터를 사용해 객관적이고 과학적으로 해결하려는 활동"으로 정의할 수 있다. 제4차 산업혁명 시대의 화두는 바로 데이터에 바탕을 둔, 사실에 근거한 의사결정을 하는 것이다. 따라서 데이터 사이언티스트는 이러한 시대적 흐름의 선두에 있는 추진 엔진이다. 다시 말해 "비즈니스 현장에서 발생하는 문제들을 데이터 분석 기술을 이용해 해답을 찾고, 이것을 비즈니스에 적용해서 고객들에게 의미 있는 상품이나 서비스로 제공함으로써 기업 가치를 증대시키는 활동"으로 정의할 수 있다.

데이터 사이언티스트가 중요해진 이유는 우리가 데이터 폭증의 시대를 살고 있기 때문이다. 거의 모든 분야에서 엄청나게 많은 데이터가 다양한 형태로 생성되고 저장되고 있다. 이 데이터 속에는 누가, 어디에서, 무엇을, 어떻게 하고 있다는 정보가 숨어 있다. 이런 데이터를 잘 정리, 요약, 시각화해서 정보를 캐내게 되면 무슨 문제가 있는지, 그 문제를 어떻게 해결할 것인지에 대한 인사이트를 얻을 수 있다. 데이터 사이언티스트가 되기 위해서는 데이터를 수집, 저장, 추출, 가공할 수 있는 코딩 능력과 이를 분석해 인사이트를 끄집어낼 수 있는 통계적 능력이 필요하다.

그뿐만 아니라 데이터가 생성된 특정한 산업과 업무에 대해서 해박한 지식도 필요하고, 나아가서는 이러한 영역을 모두 통합해 데이터 분석 프로젝트를 의사소통과 협업을 통해 진두지휘할 수 있는 리더가 되어야 한다. 따라서 가장 바람직한 데이터 사이언티스트는 IT 전문가보다는 데이터 분석을 잘하고, 데이터 분석 전문가보다는 코딩을 잘하면서, 도메인 특징을 잘하는 현업 담당자들과 의사소통과 협업을 통해 데이터 분석 프로젝트를 리드할 수 있는 사람이다.

이 책은 20대에서 60대까지 다양한 연령대에서 각기 다른 배경과 스토리로 빅데이터나 인공지능의 시대를 치열하게 살아가는 45명의 솔직한 모습을 담아냈다. 데이터 사이언티스트에 대해 알고 싶거나 앞으로 데이터를 공부하고 싶은 독자들은 이 책을 통해 다음과 같은 사항들에 대한 도움을 얻을 수 있을 것이다. 데이터 사이언티스트는 무슨 일을 하는가? 어떤 배경의 사람들이 왜 데이터를 공부하는가? 그들은 무엇을, 어떻게 공부하고 있는가? 그들은 공부하면서 어떤 어려움을 겪고, 어떻게 극복하는가? 데이터 사이언티스트가 되기 위해서는 무엇을 공부하고 준비해야 하는가?



장바구니를 든 데이터 사이언티스트



온라인 오픈마켓인 11번가는 '장바구니 프로젝트'를 진행했다. 이 프로젝트는 11번가에서 제기되는 다양한 문제를 데이터를 이용해 분석적으로 해결하려는 시도였다. 11번가의 고객들 중에서는 장바구니에 상품을 담기만 하고 정작 구매는 하지 않는 고객이 많았다. 11번가로서는 장바구니 결제 포기가 손실이 아닌 새로운 기회가 될 수 있었다. 고객이 장바구니 결제를 포기하는 이유를 잘 파악하기만 하면, 결제 방해 요인을 제거하고 구매 완료를 촉진하는 최선의 방안을 찾아낼 수 있었기 때문이다. 이런 고객들이 어떤 사람들인지, 왜 구매하지 않는지를 분석해 그들의 구매를 유도하는 최선의 방안을 찾아내기 위해서였다.

우선 장바구니에 담긴 상품의 구매 포기와 관련해서 어떤 연구가 어떤 방법으로 수행되었으며 어떤 결과가 나와 있는지를 파악했다. 구글에서 '장바구니 결제 포기'를 검색하면 무려 약 77만 9,000개의 결과가 제시된다. 기존 연구에서 가장 도움이 될 만한 연구는 세계적인 소프트웨어 기업인 SAP가 2018년에 발표한 아시아태평양 고객 소비 성향 보고서였다. SAP는 한국의 소비자 1,000명을 대상으로 온라인 쇼핑 습관을 조사했다. 이 조사에서 장바구니와 관련된 결과는 다음과 같았다. 첫째, 장바구니에 담고 '구매' 클릭을 결정하기까지 소요되는 시간에는 당일(13%), 1~6일(22%), 일주일 이상(24%), 둘째, 장바구니 결제를 항상 혹은 자주 포기하는 상품 유형으로는 패션(27%), 금융(23%), 가구(23%), 셋째, 장바구니 결제를 포기하는 이유로는 장바구니를 다른 웹사이트와 가격 비교 목적으로 사용(62%), 재고 부족(35%), 할인 또는 프로모션이 없음(29%) 등으로 나타났다.

11번가는 2가지 문항을 새로 추가해 조사했다. 그 결과 '장바구니에 상품을 담는 이유'는 가격 비교, 찜하기, 구매 등의 순서로 나타났으며, '장바구니에 담긴 상품 구매 포기 이유'는 가격 비교로 유사 상품 이미 구매, 가격 부담, 재고 없음, 깜박함 등의 순서였다. 11번가는 장바구니에 담긴 상품을 '깜박해서' 까먹고 구매하지 않은 고객들을 목표로 삼았다. 상품을 구매할 목적으로 장바구니에 담았지만 깜빡하고 잊은 고객들에게 다시 장바구니에 담은 상품을 알려준다면 구매를 촉진할 수 있을 것이다. 따라서 장바구니에 상품을 담아 놓고도 구매하지 않은 고객들에게 그 사실을 알리는 문자를 보내면 고객들은 반응을 보이리라고 판단했다.

장바구니 결제 포기 데이터를 분석하는 것은 11번가가 검색에서부터 최종 구매에 이르기까지 고객의 결제 여정을 이해하고 원활한 고객 경험을 방해하는 요인을 개선하려는 출발점이다. 검색 과정, 특정 단계 완료에 소요되는 시간, 선택되었지만 삭제된 상품, 결제를 포기하는 정확한 시점 등 결제 단계에서 고객 행동은 11번가에 구매 전환율을 높이기 위한 중요한 인사이트를 제공한다. 또한 현재는 가격 부담과 재고 없음으로 상품 구매를 포기한 고객들에게 적절한 쿠폰을 제공한다든지 유사한 상품을 추천한다든지 하는 방안을 실험 중이다.



경쟁력을 키우는 데이터 사이언티스트



미용그룹 마니아의 이사인 홍수정은 중국 베이징대학 법학과를 졸업한 후 호텔에서 직장 생활을 시작했다. 전공과 무관한 서비스업에 종사하게 되면서 데이터의 중요성을 몸소 체험하게 되었다. 고객의 예약 상황, 이전 이용 기록 등에 맞춰 객실과 기타 서비스가 제공되었고, 투숙 기간에 있었던 고객의 요청 사항과 컴플레인에 대해 상세하게 기록을 남겨야 했다. 남겨진 데이터는 같은 실수의 반복을 막고 더 나은 서비스를 제공할 수 있게 했으며, 고객이 말하지 않아도 니즈를 파악하고 원하는 서비스를 제공할 수 있었다.

그 다음 직장은 현재 일하고 있는 뷰티살롱이다. 법·호텔·뷰티업 모두 서비스업이며 고객의 데이터가 중요한 분야라는 공통점을 갖고 있다. 그런데 뷰티살롱 전용 고객 관리 프로그램이 이미 사용되고 있었지만, 기능이 많은 것에 비해 정작 알고 싶은 분석 결과는 볼 수 없었다. 미용실을 운영하는데도 인사, 교육, 매장 운영 등 다양한 파트에서 데이터 분석을 통한 의사결정이 이루어져야 한다고 생각한 홍수정은 현재 미용실에서 '빅데이터 경영'을 하고 있다.

안은주는 국군간호사관학교에서 4년간 혹독한 생도 생활을 했다. 졸업 후에는 간호장교로 12년간 남들이 경험하지 못하는 많은 일을 경험하며 근무했다. 그러고 나서 성신여자대학교 시뮬레이션센터로 이직했다. 대학에서는 교직원과 학생의 건강을 관리하는 센터와 시뮬레이터를 이용해 간호대학 학생들의 실습을 실시하는 센터에서 번갈아 근무하고 있다. 빅데이터를 활용해 의료 서비스 분야에서 차별적인 경쟁력을 갖춘다면, 데이터를 여러 각도로 분석해서 쓸모 있는 결과를 도출할 수 있겠다고 생각했다. 나이팅게일도 크림전쟁 당시 로즈다이어그램을 활용한 통계를 제시해 야전 병원에서 병사들의 사망률을 줄일 수 있었다. 세상을 조금이라도 좋은 방식으로 바꾸기 위해서 데이터를 활용하는 것은 크림전쟁 때에도, 지금도, 앞으로도 필수라고 생각하고 있다.

11번가에서 7~8년을 상품 기획자로 일하고 있는 강윤정은 플랫폼에 판매자가 올려놓은 상품에서 육성할 상품을 선별하고 매력적으로 보이도록 상품 페이지를 제작하거나 가격을 정비하고 행사를 기획하고 있다. e－커머스는 가파르게 성장했고, 상품 데이터와 고객 데이터가 쌓여갔다. 그런데 최근 경쟁사가 많아지면서 가팔랐던 성장 곡선이 완만해졌다. e－커머스에서는 고객 재방문을 이끌어내고, CRM을 하고, 마케팅을 하는 것이 오프라인 매장과는 사뭇 달랐다. 최근까지도 히트 상품·베스트셀러는 판매 이력과 상품·셀러의 평판에 상품 기획자 개인의 '감'과 '경험'이 더해져서 만들어졌다. 이는 마켓의 특성, 고객 니즈의 변화, 고객 유입 가감, 상품 주기, 경쟁사의 변동성 등 생물인 양 살아 움직이는 듯한 유통을 만드는 요소가 변동적이 아니라 어느 정도 고정적이라는 전제를 바탕으로 한다.

이제는 고도화된 추천 로직으로 대체되었고, 검색어에 따라 나열식이었던 검색 결과가 각 소비자별로 개인화한 순위가 제공되면서 구매 전환율이 올라가도록 바뀌었다. 쇼핑의 모든 구성 요소가 소비자에 따라 즉각 반응하는, 살아 움직이는 유기체가 되었고 이에 따라 결과도 달라지게 되었다. 이런 시점에서 단순히 과거 데이터만으로는 소비자의 다음 행동을 예측하기 힘들어졌고, 셀러들에게 어떤 상품을 어떻게 준비하고 어떻게 팔아야 한다는 컨설팅을 해주기도 힘들어질 것 같았다. 그래서 인간 상품 기획자의 감과 경험에 상호보완적인 요소로 데이터 사이언티스트로서 기술을 갖추면 현재 유통이 원하는 e－커머스 상품 기획자가 되지 않을까 하고 생각했다. 미국 아마존 MD는 '데이터로 무장한 컨설턴트'라고 불린다고도 하지 않은가.



미래를 준비하는 데이터 사이언티스트



제4차 산업혁명과 빅데이터 시대의 특징은 아이디어, 알고리즘의 로직, 심지어는 알고리즘의 코드까지 공유할 정도로 개방적이라는 것이다. 따라서 어떤 분야에서 이룬 획기적인 성과는 1년 이내에 다른 곳에서 재현된다. 알파고가 나온 지 1년 내에 알파고와 대등한 수준의 인공지능 바둑프로그램인 중국의 줴이(絶藝)와 일본의 딥젠고(DeepZenGo)가 개발되었다. 한국에서도 알파고에 관한 『네이처』 논문을 토대로 50여 명의 개발자가 개발에 매진해 2018년에 '한돌(Handol)'을 개발했다. '한돌'은 국내 최고의 기사들을 상대로 5연승을 기록했다.

그렇다면 지금 시대의 경쟁력은 무엇일까? 그 답은 바로 분석적 역량을 가진 전문 인력을 확보하려는 '보이지 않는 전쟁'에서 찾을 수 있다. 구글은 페이스북과 치열한 경쟁 끝에 마침내 딥마인드를 인수하고 그 후 1년 반 만에 알파고를 개발해 인류의 위대한 도전이라고 불리는 '바둑 문제'를 풀어서 전 세계를 놀라게 했다. 이제 데이터 사이언티스트의 양성은 특히 한국처럼 인공지능 분야에서 선진국에 비해 2년 정도 뒤처진 상황에서는, 그야말로 국가적인 역량을 결집해야 할 절실한 문제다. 또한 데이터 사이언티스트에 대한 일반인의 인식, 즉 데이터 사이언티스트가 어떤 일을 하는 사람들이며, 이 시대에 얼마나 중요한 역할을 하는지에 대한 인식을 높이는 것도 중요하다.

머리말 ㆍ 5

프롤로그 : 장바구니를 든 데이터 사이언티스트 ㆍ 16



제1장 맨땅의 데이터 사이언티스트

데이터로 커뮤니케이션하기 ㆍ 27

데이터의 매력에 빠지다 ㆍ 33

미용실에 간 데이터 사이언티스트 ㆍ 39



제2장 새로운 '업'으로 이직한 데이터 사이언티스트

문과 출신이 데이터를 분석하다 ㆍ 47

지금은 잠을 잘 잔다 ㆍ 55

인생에 쓸모없는 우연은 없다 ㆍ 60

웹을 활용해 인공지능을 사용할 수 있다면 ㆍ 65

익숙하고 친근하고 사랑스럽기까지 ㆍ 70



제3장 회사 내 빅데이터팀으로 옮긴 데이터 사이언티스트

은행 영업점 직원에서 데이터 사이언티스트로 ㆍ 77

한 단계 진화된 커머스를 만들며 ㆍ 80

남성 육아휴직으로 원하던 목표를 이루다 ㆍ 84

법돌이에서 데이터 사이언티스트로 ㆍ 89

준비되었을 때 다가온 기회 ㆍ 93



제4장 빅데이터로 따라와 줘서 고맙다, 친구야

새로운 도전을 친구들과 함께라면! ㆍ 99

기회는 자연스럽게 열릴 것이다 ㆍ 104

내가 찾는 분야가 바로 이것이다 ㆍ 109

나보다 몇 살이라도 어리잖아 ㆍ 112



제5장 벤처 창업에 뛰어든 데이터 사이언티스트

새로운 도전을 즐기다 ㆍ 117

지하 매설물에서 사업 아이템을 찾다 ㆍ 123

창업과 학업을 동시에 선택하다 ㆍ 127

일주일에 3일만 일하는 회사 ㆍ 132



제6장 다양한 배경의 데이터 사이언티스트

사람, 아름다움, 앎을 향해서 ㆍ 137

빅데이터 기반 감사의 시작 ㆍ 142

데이터 속에서 멋짐이란 것이 폭발한다 ㆍ 147

빅데이터가 마련해준 거대한 실험장 ㆍ 151

간호사에서 데이터 사이언티스트로 ㆍ 156



제7장 경쟁력을 키우는 데이터 사이언티스트

내가 지키고자 하는 신념은 무엇인가ㆍ ㆍ 163

맘데이터와 빅데이터의 만남 ㆍ 169

내가 선택한 길을 통해 새로운 미래를 꿈꾸며 ㆍ 173

새로운 커리어에 대한 도전 ㆍ 177

데이터와 분석 역량으로 무장한 MD ㆍ 181

대의를 위한 빅데이터 ㆍ 186

중국으로 간 데이터 사이언티스트 ㆍ 191



제8장 IT 경력자들의 영역 확대 업그레이드

거듭난 데이터 사이언티스트 ㆍ 199

분석에 대한 새로운 시각을 키우다 ㆍ 204

연륜 있지만 꼰대 같지 않은 ㆍ 207

돌고 돌아 다시 학교로 ㆍ 213

좀더 인텔리전트한 영역에 도전하다 ㆍ 218

데이터 전처리도 커버하는 데이터 사이언티스트 ㆍ 222

평생 후회가 남지 않도록 ㆍ 226



제9장 미래를 준비하는 전문가

"바로 이거다!" ㆍ 233

앞으로의 20년을 위하여 ㆍ 237

이제 호수를 보고 바다라 말하지 않는다 ㆍ 242

다음 세대를 위해 사회에 기여할 수 있는 ㆍ 246



에필로그 ㆍ 250

부록 : 어시스트 빅데이터MBA학과 교과과정 ㆍ 253

김진호 서울대학교 경영대학을 졸업하고 미국 펜실베이니아대학 와튼스쿨(Wharton School)에서 경영학 석사와 박사 학위를 받았다(통계학 부전공). 사회와 기업의 다양한 문제를 계량 분석적으로 접근하는 연구를 주로 했으며, 기업의 현안을 데이터 분석적으로 해결하면서 동시에 직원들의 분석 능력을 키워주는 교육 프로그램을 개발해 여러 기업에서 실행했다. KBS 선거예측조사 자문위원을 역임했으며, KBS TV 특강(3회)과 삼성경제연구소(SERI)에서 통계 관련 인터넷 강좌(유쾌한 통계: 40강좌)를 오픈했다.

『주간동아』에 「김진호 교수의 빅데이터 이야기」, 『동아비즈니스리뷰』에 「Power of Analysis」라는 칼럼을 연재했으며, 현재는 『동아비즈니스리뷰』에 「빅데이터 리더십」을 연재하고 있다. 2016년 3월 인공지능 알파고와 이세돌 9단의 대국을 앞두고 많은 바둑 혹은 인공지능 전문가와 달리 알파고가 완승할 것이라고 예측해 주목을 끌었다.

세계적으로 유명한 분석 전문가인 토머스 대븐포트와 함께 미국에서 『Keeping Up With the Quants: Your Guide to Understanding and Using Analytics』라는 책을 출간했다(Harvard Business Review Press, 2013). 이 책은 일본어, 중국어, 스페인어로 번역되었으며 한국에서는 김진호 교수가 직접 번역해 『말로만 말고 숫자를 대봐』라는 제목으로 출간되었다. 그 외에 저서로는 『우리가 정말 알아야 할 통계 상식 백 가지』·『괴짜 통계학』·『빅데이터가 만드는 제4차 산업혁명』·『빅데이터 리더십』 등이 있으며, 『빅데이터@워크』를 우리말로 옮겼다.

2015년 서울과학종합대학원(aSSIST)에 빅데이터MBA학과를 만들었다. 어시스트 빅데이터MBA학과는 가장 많은 학점(45)과 과목(28)으로 구성된 체계적인 커리큘럼을 갖추고 있으며, 스위스 로잔경영대학 빅데이터MBA 학위도 받을 수 있는 공동학위 과정이다. 현재 어시스트 빅데이터MBA학과 주임교수 겸 빅데이터연구센터장을 맡고 있다.