래피드마이너 기초편(토닥토닥)

데이터 분석의 최강 래피드마이너(RapidMiner)

래피드마이너는 2001년 도르트문트 대학의 인공지능 연구팀의 랄프 클린캔버그(Ralf Klinkenberg), 잉고 미에스와(Ingo Mierswa), 사이몬 피셔(Simon Fischer) 등에 의해 "Yet Another Learning Environment(YALE)"라는 오픈 소스 프로젝트로 시작됐다. 래피드마이너(RapidMiner) 개발팀은 누구나 쉽게 데이터를 분석할 수 있도록 지원할 수 있는 솔루션 개발을 목표로 했다. 래피드마이너는 곧 많은 사람의 관심을 끌었고, 상용화되었다. 래피드마이너는 최근 가트너와 포레스터의 시장조사에서 가장 매력적인 데이터 분석 도구 중의 하나로 평가받았다.



래피드마이너는 왜 매력적인가?

래피드마이너는 분석 프로세스의 정의가 아주 단순하고 유연하다. 래피드마이너에서 데이터 분석 프로세스는 수많은 오퍼레이터의 조합을 통해 오퍼레이터 그래프로 표현되는데 사용자가 쉽게 인터페이스의 조작을 통해 정의할 수 있다. 분석 프로세스를 설계하는 동안 래피드마이너는 메타 데이터 변환(meta data transformation)이라는 기술을 사용하여 끊임없이 현재 진행되고 있는 분석 설계가 맞는지를 체크하고 문제가 있는 경우 해결 방안을 제공해준다.

래피드마이너는 기본 데이터 분석 업무를 위해 500개 이상의 오퍼레이터를 제공한다. 기본 오퍼레이터 이외에도 웹마이닝(web mining), 텍스트마이닝(text mining), 시계열 데이터 분석(time series analysis) 등 다양한 특화된 오퍼레이터를 제공한다. 또한 래피드마이너는 데이터 시각화를 위한 다양한 방법을 제공한다. 더 나아가 WEKA 데이터마이닝 도구, Python이나 R같은 데이터 분석 프로그램을 래피드마이너와 통합하여 사용할 수 있도록 지원한다.



하둡, NoSQL 등과 연계하여 활용할 수 있도록 지원

최근 래피드마이너는 대규모 데이터를 처리할 수 있도록 획기적으로 데이터 처리 방법을 개선하였다. 빅데이터 처리 프레임워크인 하둡, NoSQL 등과 연계하여 활용할 수 있도록 지원한다. 마지막으로 래피드마이너는 Oracle, IBM DB2, Microsoft SQL Server, MySQL, PostgreSQL, Access 등의 데이터베이스와 CSV, Excel, SPSS 등 다양한 데이터 포맷을 바로 읽어 처리할 수 있도록 지원한다.



출판사 서평



데이터 세상이 되었다. 우리가 생활하는 곳곳에서 데이터가 생성된다. 데이터의 디지털화와 데이터 저장 기술의 비약적인 발전으로 인류는 이전에 갖지 못했던 데이터를 갖게 되었다. 사람들은 이 데이터에 값진 정보와 지식이 숨겨져 있다는 것을 점차 알게 되었고, 어떻게 그것을 획득할 것인가에 관심을 갖게 되었다. 최근 각광을 받고 있는 빅데이터나 데이터 분석 등에 대한 관심은 이러한 사람들의 욕구를 보다 체계적으로 해결하기 위한 시도라고 볼 수 있다.

데이터 분석은 일반인 또는 현장 실무자들이 수행하기에는 너무 어렵다. 데이터 분석에 기초가 되는 지식은 이해하기에 난해한 경우가 많다. 따라서 전문적 훈련을 받지 못한 일반인은 데이터 분석을 수행하는 데 어려움이 있다. 최근 데이터 분석을 지원하기 위한 많은 도구들이 개발되었다. 특히 대규모 데이터 처리 기술, 데이터를 일목요연하게 보여주는 시각화 기술, 데이터로부터 패턴, 정보, 지식을 추출하는 기계학습 기술 등이 최근 비약적으로 발전하고 있다. 현장 실무자들이 이런 도구의 도움을 받아 직접 데이터를 분석한다는 시민 데이터 과학자(Citizen Data Scientist)에 대한 개념이 대두되고 있다.

이 책에서는 이런 시민 데이터 과학자가 많이 이용하는 있는 래피드마이너(RapidMiner)와 그 활용 방법에 대해 소개한다. 래피드마이너는 데이터 분석에서 특별한 기능을 수행하는 수많은 오퍼레이터(operator)를 제공한다. 래피드마이너를 활용하는 분석에서 데이터 분석가는 오퍼레이터를 레고 블록처럼 조합하여 분석 절차를 설계하고 실행할 수 있다.

이 책은 일반인도 쉽게 이해하고 활용할 수 있는 데이터 분석 방법과 도구를 제시하는 것을 목표로 한다. 이 목표를 달성하기 위해 다음의 세 가지에 중점을 두었다. 첫째, 데이터 분석의 기본 개념을 일반인들이 이해할 수 있는 수준으로 가능하면 쉽게 썼다. 데이터 분석 알고리즘은 수학적인 기반을 두고 개발되어 일반인이 이해하기에는 어려운 점이 많다. 따라서 좀 더 쉽게 이해할 수 있게 직관적인 설명을 활용하였다. 둘째, 데이터 분석의 기본적인 틀을 이해할 수 있도록 데이터 분석 방법론을 제시하고 각 단계별로 해야 할 일들을 서술하였다. 책이라는 한정된 공간에서 래피드마이너가 제공하는 분석 오퍼레이터를 모두 설명할 수는 없다. 따라서 사용할 수 있는 방법을 제시하고 학습자가 스스로 지식을 확장해 나갈 수 있도록 구성하였다. 셋째, 사용자 인터페이스의 조작을 글로써 설명하는 데는 한계가 있다. 따라서 실제 분석과정을 그림으로 제공하여 그대로 따라할 수 있도록 하였다.

01 서론

1.1 래피드마이너 소개

1.2 데이터 분석 방법론

1.3 이 책의 구성

1.4 일러두기



02 프로젝트 이해 단계

2.1 서론

2.2 데이터 세트

2.3 결론



03 데이터 이해 단계

3.1 서론

3.2 데이터 세트의 메타 데이터

3.3 데이터 세트

3.4 결론



04 데이터 준비 단계

4.1 서론

4.2 데이터 세트 생성

4.3 데이터 구성

4.4 데이터 세트 준비

4.5 결측치 처리

4.6 결론



05 모델링 단계

5.1 서론

5.2 데이터 읽기

5.3 분석 프로세스 저장하기

5.4 모델 선택

5.5 모델 적용

5.6 성과 평가

5.7 결론



06 평가 단계

6.1 서론

6.2 검증 프레임워크의 설정

6.3 비교 분석

6.4 결론

07 구현 단계 및 결론



부록

1 k-NN 알고리즘 분석 프로세스

2 Decision Tree 알고리즘 분석 프로세스

3 Decision Rule 알고리즘 분석 프로세스

4 Tree to Rules 알고리즘 분석 프로세스

5 Na?ve Bayes 알고리즘 분석 프로세스

6 Linear Regression 알고리즘 분석 프로세스

7 K-means 알고리즘 분석 프로세스

김양석 저자 김양석은 계명대학교 경영정보학과 교수