엔터프라이즈 빅데이터 레이크(데이터 과학 시리즈)

★ 이 책에서 다루는 내용 ★



■ 데이터 웨어하우스, 빅데이터, 데이터 과학 소개

■ 다양한 기업의 데이터 레이크 구축 방법

■ 셀프 서비스 모델 구축 방법과 데이터 제공 모범 사례 탐색

■ 다양한 데이터 레이크 설계 방법 적용

■ 다양한 분야의 전문가의 데이터 레이크 구현 방법



★ 이 책의 대상 독자 ★



■ 데이터 서비스 및 관리 팀: 최고 데이터 책임자, 데이터 관리자

■ IT 경영진 및 아키텍트: 최고 기술 책임자, 빅데이터 아키텍트

■ 분석 팀: 데이터 과학자, 데이터 엔지니어, 데이터 분석가, 분석 담당자

■ 감사 팀: 최고 정보 보안 책임자, 데이터 보호 책임자, 정보보안 분석가, 규정 준수 담당자



이 책은 첨단 데이터 기술을 개발하면서 세계적인 기업들이 겪는 가장 어려운 데이터 문제를 해결하는 과정에서 얻은 30년간의 경험을 바탕으로 저술했다. 실무자와 업계 전문가들의 논문과 성공 사례로 알 수 있는 세계적인 기업들의 모범 사례를 바탕으로 성공적인 빅데이터 레이크를 설계하고 배포하는 포괄적인 지침을 제공한다. 이처럼 매력적인 신규 빅데이터 기술과 접근 방식이 기업에 어떤 효과를 제공하는지 궁금하다면 이 책이 좋은 출발점이 될 수 있다. 관리자라면 이 책을 한 번 전체적으로 읽고 나서 실무 중에 빅데이터 관련 의문이 생길 때마다 주기적으로 다시 살펴보는 것을 추천한다. 실무자에게는 빅데이터 레이크 프로젝트를 계획하거나 실행할 때 활용할 수 있는 지침이 된다.



★ 옮긴이의 말 ★



최근에는 사람들에게 도움될 수 있는 성능이 우수하고 신뢰할 수 있는 머신러닝 모델을 만드는 데 관심들이 많습니다. 빅데이터를 활용해서 만드는 머신러닝 모델을 개발하고 모델의 신뢰성을 확보하려면 기반이 되는 데이터가 가장 중요할 수밖에 없습니다.

지금도 뉴스를 보면 자사의 빅데이터를 분석해 좋은 인공지능 모델을 만들고 그런 모델을 활용해서 혁신적인 성과를 거둔 기업의 사례가 보도되고 있습니다. 그런 뉴스를 볼 때마다 부럽다는 생각과 함께 우리도 언젠가는 저렇게 될 것이라는 확신이 듭니다. 기업이 겪고 있는 문제를 해결하는 데 필요한 데이터는 이미 기업 안에 존재한다고 믿습니다. 그것을 어떤 방식으로 저장하고 저장된 데이터를 어떻게 활용하면 좋을지 전략을 짜는 것이 중요합니다.

이 책에서는 기업의 직원들이 데이터 저장을 꺼리는 이유를 따져보고, 기업의 데이터를 효과적으로 저장하고 관리할 수 있는 방법을 알려줍니다. 관리 체계를 구축해 같은 데이터를 중복으로 구매하는 것을 방지하고, 저장한 데이터 중 민감한 데이터는 어떤 방식으로 처리하는 것이 좋을지도 소개합니다.

데이터 베이스 분야는 대부분의 용어가 영어입니다. 국내에서도 활발하게 사용되기 시작한 지 어느 정도 시간이 지났기 때문에 용어를 원문 그대로 사용하는 것이 편한 사람이 많습니다. 이 책을 옮기는 과정 중에도 원문의 의미를 해치지 않는 범위에서 업계에서 흔히 사용하는 용어를 사용하고자 노력했습니다.

1장. 데이터 레이크 소개

__데이터 레이크 성숙도

____데이터 웅덩이

____데이터 연못

__성공적인 데이터 레이크 구축

____올바른 플랫폼

____올바른 데이터

____올바른 인터페이스

____데이터 늪

__성공적인 데이터 레이크 로드맵

____데이터 레이크 구축

____데이터 레이크 구조화

____셀프서비스를 위한 데이터 레이크 설정

__데이터 레이크 아키텍처

____상용 클라우드 데이터 레이크

____논리 데이터 레이크

__결론



2장. 역사적 관점

__셀프서비스 데이터 욕구: 데이터베이스의 탄생

__반드시 해야 하는 분석: 데이터 웨어하우스의 탄생

__데이터 웨어하우스 생태계

____데이터 저장 및 쿼리

____데이터 로딩: 데이터 통합 도구

____데이터 정리와 관리

____데이터 사용

__결론



3장. 빅데이터와 데이터 과학 소개

__하둡: 빅데이터로의 역사적인 움직임을 이끌어내다

____하둡 파일 시스템

____맵리듀스 잡에서 처리와 저장의 상호작용 방법

____읽는 시점 스키마 적용

____하둡 프로젝트

__데이터 과학

__당신의 분석 조직은 어디에 초점을 맞춰야 하는가?

__머신러닝

____설명 가능성

____변화 관리

__결론



4장. 데이터 레이크 시작

__하둡은 무엇이고 왜 사용하는가

__데이터 웅덩이 확산 방지

__빅데이터 활용

____데이터 과학 주도

____전략 1: 기존 기능 가져오기

____전략 2: 신규 프로젝트를 위한 데이터 레이크

____전략 3: 일원화된 거버넌스 확립

____자신에게 가장 맞는 전략은 무엇인가?

__결론



5장. 데이터 연못/빅데이터 웨어하우스에서 데이터 레이크로

__데이터 웨어하우스의 핵심 기능

____분석용 차원 모델링

____다양한 소스의 데이터 통합

____느린 변경 차원을 통한 이력 보존

____과거 데이터 저장소로 데이터 웨어하우스가 갖는 한계

__데이터 연못으로

____데이터 연못에 이력 보관

____데이터 연못에 느린 변경 차원 구현

__데이터 연못을 데이터 레이크로 키우기: 데이터 웨어하우스에 없는 데이터 가져오기

____미가공 데이터

____외부 데이터

____사물 인터넷과 기타 스트리밍 데이터

__실시간 데이터 레이크

__람다 아키텍처

__데이터 변환

__목적 시스템

____데이터 웨어하우스

____운영 데이터 스토어

____실시간 애플리케이션과 데이터 제품

__결론



6장. 셀프서비스용 최적화

__셀프서비스의 시작

__비즈니스 분석가

____데이터 식별과 이해: 기업을 문서로 기록

____신뢰 구축

____프로비저닝

____분석용 데이터 준비

__데이터 레이크의 데이터 랭글링

____하둡에서의 데이터 준비 과정

____데이터 준비의 대표적인 사용 사례

__분석 및 시각화

__셀프서비스 비즈니스 지능의 신세계

____새로운 분석 작업 공정

____문지기에서 가게 주인으로

____셀프서비스 거버넌스

__결론



7장. 데이터 레이크 설계

__데이터 레이크 구조화

____진입 또는 미가공 영역

____골드 영역

____작업 영역

____민감 영역

__다중 데이터 레이크

____여러 데이터 레이크를 유지할 때 장점

____데이터 레이크를 하나로 합쳤을 때 장점

__클라우드 데이터 레이크

__가상 데이터 레이크

____데이터 연방

____빅데이터 시각화

____중복 제거

__결론



8장. 데이터 레이크 카탈로그화

__데이터 정리

____기술 메타데이터

____비즈니스 메타데이터

__태깅

____자동 카탈로그 생성

__논리 데이터 관리

____민감 데이터 관리와 접근 제어

____데이터 품질

__이질적 데이터 연관 짓기

__이력 수립

__데이터 확보

__카탈로그 구축 도구

____도구 비교

__데이터 오션

__결론



9장. 데이터 접근 관리

__승인이나 접근 제어

__태그 기반 데이터 접근 정책

__민감 정보 비식별화

____데이터 자주권과 규제 준수

__셀프서비스 접근 관리

____데이터 확보

__결론



10장. 업계 적용

__금융 서비스에서의 빅데이터

____고객, 디지털화, 데이터는 우리가 아는 금융을 바꾸고 있다

____은행을 구해라

____새로운 데이터가 제공하는 새로운 기회

____데이터 레이크 활용의 주요 과정

__데이터 레이크가 금융 서비스에 제공하는 가치

__보험 업계의 데이터 레이크

__스마트 시티

__의료에서의 빅데이터

알렉스 고렐릭 지난 30여 년간 최신 데이터 기술을 개발하고 배포해 왔으며, BAE(유로파이터, Eurofighter), 유니레버(Unilever), IBM, 로얄 캐리비안(Royal Caribbean), 카이저(Kaiser), 골드만삭스(Goldman Sachs) 외 수십 개의 대기업을 도와 가장 골치 아픈 데이터 문제를 해결해 왔다.

ETL 기업 창업자이자 CTO로, 대형 분석 및 데이터 웨어하우스 프로젝트에 다년간 컨설팅을 한 경험을 통해 데이터 웨어하우스의 발전을 직접 목격할 수 있었다. 그가 세운 두 번째 회사인 엑스에로스(Exeros, IBM에서 인수)는 대기업이 자신의 데이터를 이해하고 합리화하는 데 필요한 지원을 제공하고 있다. IBM 최고 엔지니어(Distinguished Engineer)이자 인포매티카(Informatica)의 SVP 겸 총책임자로 하둡(Hadoop) 기술 개발과 적용을 주도해 왔다. 또한 멘로 벤처스(Menlo Ventures)의 거주 기업가, 워터라인(Waterline)의 창업자이자 CTO로, 구글과 링크드인, 대형 은행, 정부기관, 기타 대기업에서 빅데이터 레이크 관리와 데이터 과학을 맡고 있는 여러 업계 최고 전문가와 함께 일한 경험이 있다. 컬럼비아 대학에서 BSCS를 받았으며, 스탠퍼드 대학에서 MSCS를 취득했고, 현재 샌프란시스코에서 아내와 4명의 자녀와 함께 살고 있다.