빅데이터 컴퓨팅 기술(IT CookBook 164)

도서 장점



① 빅데이터에 대한 명확한 개념 정리를 바탕으로 빅데이터 처리 과정의 전체적인 그림을 그려준다.

② 다양한 빅데이터 컴퓨팅 기술을 처리 과정별로 소개하여 빅데이터 기술을 상황에 맞게 활용할 수 있도록 했다.

③ IT 관련 종사자와 IT 관련 학과 학생들을 대상으로 빅데이터 기술에 대하여 명확하게 개념을 정리할 수 있도록 도와준다.

④ 적절한 그림과 도표를 삽입하여 내용을 좀 더 쉽게 이해할 수 있도록 했다.



도서 특징(책 표지글)



방대한 빅데이터 컴퓨팅 기술을 명쾌하게 정리한다!



방대한 빅데이터 관련 업무에 필요한 역량을 갖추고자 하나 어떤 기술이 있고 이 중 어떤 것을 익혀야 할지 갈피를 잡지 못하는 학생들과, 그들을 지도하는 교육 종사자를 위한 책이다. 새로 등장하는 수많은 빅데이터 기술에 대한 탐색과 이해의 기회를 제공해 줄 것이다. 또한 현직에 종사하는 실무자가 새로운 기술에 휩쓸리지 않고 적절한 기술을 취사선택하거나, 기업의 의사결정권자가 빅데이터 기술을 도입하기 위해 기술 전반에 대한 그림을 그리는 데도 도움이 될 것이다.



부/장별 내용 요약



? 1부 빅데이터 개요(1장)

-. 빅데이터의 개념을 명확히 정리한 후 빅데이터를 처리하는 과정에 대한 전체적인 그림을 그려준다.



? 2부 빅데이터 컴퓨팅 기술(2~7장)

-. 빅데이터 컴퓨팅 기술을 빅데이터를 처리하는 과정에 따라 단계적으로 소개한다. 구체적인 예를 언급할 때는 가장 많이 사용되는 하둡을 기반으로 설명하고, 이 과정별 기술을 통합적으로 지원하는 기술인 빅데이터 플랫폼 기술도 소개한다.



? 3부 빅데이터 기술 개발 현황과 실제 구현 예(8~9장)

-. 빅데이터 기술 개발의 현황과 활용 예를 소개한다. 그리고 하둡을 이용하여 간단한 추천 시스템을 직접 구현하는 과정을 단계별로 설명한다.

1부 빅데이터 개요

1장 빅데이터 개념과 처리 과정

1.1 빅데이터 등장 배경

1.2 빅데이터 개념과 속성

1.3 빅데이터 처리 과정과 기술

1.3.1 빅데이터 소스 생성과 수집 기술

1.3.2 빅데이터 저장 기술

1.3.3 빅데이터 처리 기술

1.3.4 빅데이터 분석 기술

1.3.5 빅데이터 표현 기술

1.4 빅데이터 활용 분야와 기대 효과

1.5 빅데이터 시대 준비

1.6 연습문제

1.7 참고문헌



2부 빅데이터 컴퓨팅 기술

2장 빅데이터 수집 및 통합 기술

2.1 개요

2.2 빅데이터 주요 수집 및 통합 기술

2.2.1 Flume플럼

2.2.2 Chukwa척와

2.2.3 Scribe스크라이브

2.2.4 SQOOPSQl-to-hadOOP; 스쿱

2.2.5 Kafka카프카

2.2.6 OpenRefine오픈리파인

2.2.7 JSONJavaScript Object Notation; 제이슨

2.2.8 BSONBinary javaScript Object Notation; 비슨

2.2.9 Thrift쓰리프트

2.2.10 Protocol Buffers프로토콜 버퍼스

2.2.11 Avro에이브로

2.3 연습문제

2.4 참고문헌



3장 빅데이터 저장 및 관리 기술

3.1 개요

3.2 빅데이터 주요 저장 및 관리 기술

3.2.1 S3Simple Storage Service

3.2.2 HDFSHadoop Distributed File System

3.2.3 DynamoDB다이나모DB

3.2.4 MongoDBMONGOus DB; 몽고DB

3.2.5 CouchDBCluster Of Unreliable Commodity Hardware DB; 카우치DB

3.2.6 Cassandra카산드라

3.2.7 HBaseHadoop dataBASE; H베이스

3.2.8 RedisREmote DIctionary System; 레디스

3.2.9 Riak리악

3.2.10 Hypertable하이퍼테이블

3.2.11 ZooKeeper주키퍼

3.2.12 Voldemort볼드모트

3.3 연습문제

3.4 참고문헌



4장 빅데이터 처리 기술

4.1 개요

4.2 빅데이터 주요 처리 기술

4.2.1 Hadoop하둡

4.2.2 Pig피그

4.2.3 Hive하이브

4.2.4 Cascading캐스캐이딩

4.2.5 Cascalog캐스칼로그

4.2.6 Mrjob미스터잡

4.2.7 S4Simple Scalable Streaming System

4.2.8 MapR맵알

4.2.9 Acunu아큐누

4.2.10 Azkaban아즈카반

4.2.11 Oozie우지

4.2.12 Greenplum그린플럼

4.2.13 EC2Elastic Compute Cloud

4.2.14 Heroku히로쿠

4.2.15 R 프로그래밍 언어

4.2.16 Pipes파이프

4.2.17 Mechanical Turk미케니컬 터크; Mturk

4.2.18 Solr/Lucene솔라/루씬

4.2.19 ElasticSearch엘라스틱서치

4.2.20 Datameer데이터미어

4.2.21 InfoSphere BigInsights인포스피어 빅인사이트

4.2.22 InfoSphere Streams인포스피어 스트림즈

4.3 연습문제

4.4 참고문헌



5장 빅데이터 분석 기술

5.1 개요

5.2 텍스트 마이닝 기술

5.3 오피니언 마이닝 기술

5.4 리얼리티 마이닝 기술

5.5 군집화 기술

5.5.1 계층적 군집화 기술

5.5.2 분할적 군집화 기술

5.6 소셜 네트워크 분석 기술

5.7 그래프 마이닝 기술

5.8 빅데이터를 처리하는 기존 알고리즘 변형 기술

5.8.1 도형 세기 알고리즘의 변형

5.8.2 컬럼 빈도수 측정 프로그래밍 방안

5.8.3 소셜 네트워크 통계 방안

5.8.4 네트워크 분석 기법

5.9 최신 빅데이터 분석 연구

5.9.1 데이터 마이닝 연관 규칙을 활용한 빅데이터 알고리즘

5.9.2 빅데이터와 분류 기술

5.9.3 빅데이터와 군집화

5.10 빅데이터 주요 분석 기술

5.10.1 NLTKNatural Language ToolKit

5.10.2 OpenNLP오픈NLP

5.10.3 Boilerpipe보일러파이프

5.10.4 WEKA웨카

5.10.5 Mahout머하웃

5.10.6 scikits_learn사이키트런

5.11 연습문제

5.12 참고문헌



6장 빅데이터 표현 기술

6.1 개요

6.2 빅데이터 주요 표현 기술

6.2.1 Tag Cloud태그 클라우드

6.2.2 Gephi게피

6.2.3 GraphVizGRAPH VIsualiZation software; 그래프비즈

6.2.4 Processing프로세싱

6.2.5 Fusion Tables퓨전 테이블

6.2.6 Tableau타블로

6.2.7 TinkerPop팅커팝

6.2.8 Clustergram클러스터그램

6.2.9 Spatial Information Flow스페이셜 인포메이션 플로우

6.3 연습문제

6.4 참고문헌



7장 빅데이터 플랫폼 기술

7.1 개요

7.2 빅데이터 플랫폼 요소 기술과 구조

7.2.1 빅데이터 플랫폼 요소 기술

7.2.2 빅데이터 플랫폼 구조 및 세부 기술

7.3 빅데이터 플랫폼 관리 기술

7.3.1 가상화 기술

7.3.2 클라우드 환경에서 처리 기술

7.4 빅데이터 워크플로우 컴퓨팅 플랫폼 기술

7.4.1 그래프 기반 빅데이터 응용

7.4.2 그래프 기반 빅데이터 처리 기술

7.5 연습문제

7.6 참고문헌



3부 빅데이터 기술 개발 현황과 실제 구현 예

8장 빅데이터 기술 개발의 현황과 활용

8.1 개요

8.2 국내외 빅데이터 기술 개발 현황

8.2.1 국내 빅데이터 기술 개발 현황

8.2.2 국외 빅데이터 기술 개발 현황

8.3 빅데이터 산업체 현황

8.3.1 EMC

8.3.2 오라클

8.3.3 IBM

8.3.4 SAP

8.3.5 테라데이타

8.3.6 마이크로소프트

8.3.7 코난테크놀로지

8.3.8 솔트룩스(트루스토리)

8.3.9 다음소프트(소셜 메트릭스)

8.3.10 그루터(씨날)

8.3.11 기타 사업체

8.4 빅데이터 활용 사례

8.4.1 공공?정부?과학 분야

8.4.2 정보 통신 분야

8.4.3 소셜 미디어 분야

8.4.4 의료?헬스 케어 분야

8.4.5 도소매 분야

8.4.6 제조업 분야

8.5 연습문제

8.6 참고문헌



9장 하둡을 이용한 추천 시스템의 구현

9.1 개요

9.1.1 협업 필터링과 연관 규칙을 이용한 추천 시스템과 하둡 에코시스템

9.1.2 실습 환경 구축

9.2 협업 필터링 기법과 머하웃을 이용한 구현

9.2.1 협업 필터링 기법의 원리

9.2.2 사용자 기반 추천 엔진의 구현

9.2.3 아이템 기반 추천 엔진의 구현

9.2.4 협업 필터링 기법에서 추가로 고려할 사항

9.3 연관 규칙 기법과 피그, 하이브를 이용한 구현

9.3.1 연관 규칙 기법의 원리

9.3.2 피그를 이용한 연관 규칙 구현

9.3.3 하이브를 이용한 연관 규칙 구현

9.4 추천 시스템의 구현

9.4.1 데이터 준비하기 : u.data

9.4.2 전처리하기 : PHP

9.4.3 단일 아이템 빈도수 구하기 : 샤크

9.4.4 아이템 (A∩B) 조합의 빈도수 계산하기 : 샤크

9.4.5 연관 규칙 계산하기 : PHP와 샤크

9.4.6 데이터 내보내기 : 스쿱

9.4.7 웹 서비스로 추천 기능 구현하기 : PHP

9.5 참고문헌

찾아보기

박두순