머신러닝을 활용한 인공지능 개발(빅데이터를 활용한 인공지능 개발 2)

빅데이터를 활용한 인공지능 개발

Artificial Intelligence Development Using Big Data



빅데이터는 데이터 형식이 복잡하고 방대할 뿐만 아니라 그 생성속도가 매우 빨라 기존의 데이터 처리방식이 아닌 새로운 관리 및 분석 방법을 필요로 한다. 이에 따라 방대한 데이터를 수집·관리하면서 복잡하고 다양한 사회현상을 분석할 수 있는 능력을 지닌 데이터 사이언티스트의 역할은 그 중요성이 더해가고 있다.



그동안 우리 주변의 사회현상을 예측하기 위해 모집단을 대표할 수 있는 표본을 추출하여 표본에서 생산된 통계량으로 모집단의 모수를 추정해 왔다. 모집단을 추정하기 위해 표본을 대상으로 예측하는 방법은 기존의 이론모형이나 연구자가 결정한 모형에 근거하여 예측하기 때문에 제한된 결과만 알 수 있고, 다양한 변인 간의 관계를 파악하는 데는 한계가 있다. 특히 빅데이터 시대에는 해당 주제와 연관된 모든 데이터를 대상으로 하기 때문에 표본으로 모수를 추정하기 위해 준비된 모형을 적용하고 추정하는 가설검정의 절차가 생략될 수도 있다. 따라서 빅데이터를 학습하여 모형(인공지능)을 개발하는 머신러닝 방법이 다양한 변인들의 관계를 보다 정확히 예측할 수 있다. 머신러닝으로 인공지능을 개발하기 위해서는 다양한 분야에서 데이터의 잡음이 제거된 양질의 학습데이터가 생산되어야 한다.



저자들은 그동안 급속히 변화하는 사회현상을 예측하여 선제적으로 대응하기 위해 정형화된 빅데이터와 소셜 빅데이터를 활용한 연구에 노력을 경주해 왔다. 이 책 역시 그러한 연구의 결과로, 실제로 공공 빅데이터를 분석하여 미래를 예측하기 위한 인공지능을 개발하고 활용하기 위한 전 과정을 자세히 담았다.



빅데이터 분석을 통하여 급속히 변화하는 사회현상을 예측하고 창조적인 결과물을 이끌어내고자 하는 모든 분들에게 이 책이 실질적인 도움이 되기를 바란다. 나아가 머신러닝을 활용한 빅데이터 분석을 통하여 관련 분야의 인공지능 개발 및 학문적 발전에 일조할 수 있기를 진심으로 희망한다.



[이 책의 특징]



첫째, 이 책의 내용은 2권으로 구성되어 있다. 제1권은 빅데이터를 활용하여 인공지능을 개발하기 위해 필요한 지식인 통계분석의 전 과정을 설명한《빅데이터를 활용한 통계분석》이고, 제2권은 인공지능을 개발하기 위해 머신러닝 예측모델링의 전 과정을 설명한《머신러닝을 활용한 인공지능 개발》이다.

둘째, 제1권의 통계분석에는 오픈소스 프로그램인 R과 SPSS를 비교하여 설명하였다.

셋째, 제2권의 머신러닝 모델링은 오픈소스 프로그램인 R을 사용하였다.

머리말



1장 빅데이터를 활용한 머신러닝 학습데이터 생성



01 서론

02 공공 빅데이터 수집

03 머신러닝 학습데이터 생성

연습문제

참고문헌



2장 머신러닝 개념과 모델링



01 서론

02 머신러닝 학습데이터

03 머신러닝 기반 비만 예측모형 개발

3.1 나이브 베이즈 분류모형

1) 비만(정상, 비만) 예측모형

2) 비만(저체중, 정상, 비만) 예측모형

3.2 로지스틱 회귀모형

1) 비만(정상, 비만) 예측모형

2) 비만(저체중, 정상, 비만) 예측모형

3.3 랜덤포레스트 모형

1) 비만(정상, 비만) 예측모형

2) 비만(저체중, 정상, 비만) 예측모형

3.4 의사결정나무 모형

가. R 프로그램 활용

1) 비만(정상, 비만) 예측모형

2) 비만(저체중, 정상, 비만) 예측모형

나. SPSS 프로그램 활용

1) 범주형 독립변수를 활용한 비만(정상, 비만) 예측모형

2) 범주형 독립변수를 활용한 비만(저체중, 정상, 비만) 예측모형

3) 연속형 독립변수를 활용한 비만(정상, 비만) 예측모형

4) 범주형과 연속형 독립변수를 활용한 비만(저체중, 정상, 비만)

예측모형

3.5 신경망 모형

1) 비만(정상, 비만) 예측모형

2) 비만(저체중, 정상, 비만) 예측모형

3.6 서포트벡터머신 모형

1) 비만(정상, 비만) 예측모형

2) 비만(저체중, 정상, 비만) 예측모형

3.7 연관분석

1) 독립변수 간 연관 분석

2) 독립변수와 종속변수 간 연관 분석

3.8 군집분석

1) 군집분석

2) 세분화

04 머신러닝 모형평가

4.1 오분류표를 이용한 머신러닝 모형의 평가

1) na?veBayes 분류모형 평가

2) 신경망 모형 평가

3) 로지스틱 회귀모형 평가

4) 서포트벡터머신 모형 평가

5) 랜덤포레스트 모형 평가

6) 의사결정나무 모형 평가

4.2 ROC 곡선을 이용한 머신러닝 모형의 평가

1) 범주형 독립변수를 활용한 비만(정상, 비만) 예측모형 ROC 평가

2) 범주형과 연속형 독립변수를 활용한 비만(정상, 비만) 예측모형 ROC 평가

4.3 머신러닝 모형의 성능향상 방안



3장 인공지능 개발 및 활용



1. 입력변수가 출력변수에 미치는 영향력(예측확률) 산출하기

2. 입력변수만 있고 종속변수가 없는 학습데이터에 랜덤포레스트 예측모형에서 예측한 종속변수를 생성하여 학습데이터에 추가하기

3. 학습데이터의 분류와 예측데이터의 분류가 동일한 데이터 만들기

4. 기존의 학습데이터와 양질의 학습데이터의 평가

5. 머신러닝으로 인공지능 만들기

연습문제



참고문헌

찾아보기

송주영 한양대학교 법학과를 졸업하고 동 대학원에서 형사법전공 석사 학위를 받았다. 미시간 주립대학교 형사사법학대학에서 형사정책/형사사법 박사 학위를 받았다. 웨스트 조지아 주립대학교 범죄학과 조교수와 한국형사 정책연구원 부연구위원으로 재직하였고, 현재 펜실베이니아 주립대학교 범죄학과 조교수로 재직 중이다.

해외저서로는 Cambridge Scholars Publishing에서 출판 예정인 《Big Data Analysis Using Machine Learning for Social Scientists and Criminologists》, 주요 국내저서로는 《빅데이터를 활용한 범죄예측》,《머신러닝을 활용한 소셜빅데이터 분석과 미래신호 예측》, 《R을 활용한 소셜빅데이터 연구방법론》, 《빅데이터 연구 한 권으로 끝내기》, 《빅데이터 분석방법론》이 있다.

주요 연구분야로는 청소년범죄 특히 학교폭력과 사이버폭력, 청소년성매매 등이고, Journal of Adolescent Health, Cyberpsychology Behavior and Social Networking, Journal of Criminal Justice, International Journal of Offender Therapy and Comparative Criminology, Computers in Human Behavior 등에 관련 논문을 게재하였다.