스노우플레이크 쿡북

스노우플레이크로 구축하는 클라우드 데이터 플랫폼
스노우플레이크는 뛰어난 확장성, 유연성, 성능 등 클라우드의 주요 장점을 그대로 흡수하여 제공하는 매력적인 아키텍처와 기능을 갖추고 있는 데이터 플랫폼입니다.
이 책은 스노우플레이크를 처음 접하거나 접한 지 얼마 안 된 데이터 개발자, 데이터 컨설턴트, 데이터 과학자를 위한 책입니다. 스노우플레이크에 대한 설명은 공식 홈페이지에서 제공하고 있지만 보다 실용적인 SQL 쿼리 예제와 함께 실무에 필요한 내용들을 위주로 담고 있습니다. 이 책을 이해하기 위해 필요한 SQL 지식은 기본적인 CREATE, SELECT 문만 알아도 충분합니다. 이 책을 이용하는 가장 좋은 방법은 가지고 있는 계정이나 Trial 계정을 사용하여 직접 스노우플레이크에서 쿼리를 실행해보는 것입니다.

-감수자의 글 -
스노우플레이크는 클라우드에서만 동작하는 클라우드 기반 데이터 플랫폼이며 데이터 웨어하우스(Data Warehouse), 데이터 레이크(Data Lake) 및 데이터 사이언스(Data Science) 등 다양한 워크로드에서 활용될 수 있습니다. 스노우플레이크는 클라우드의 장점인 뛰어난 확장성, 유연성, 성능 등을 그대로 활용한 아키텍처와 기능을 제공합니다. 이 책에서는 스노우플레이크의 아키텍처를 상세하게 다루지는 않았지만, 여러 곳에서 스노우플레이크 특유의 독특하고 흥미로운 아키텍처에 대한 설명을 담고 있습니다.
이 책은 스노우플레이크를 사용한 데이터 웨어하우스 구축 방법 및 관련 기능에 대한 설명을 담고 있습니다. 데이터 웨어하우스 구축 시 일반적으로 수반되는 DBMS(Database Management System)에 관련된 주요 작업 및 순서는 다음과 같습니다.
1) DBMS 설치 및 사용 환경 구성
2) 설치된 DBMS에 데이터베이스, 스키마, 테이블 등 필요한 객체 생성
3) 생성된 객체에 데이터를 적재하기 위한 환경 설정 및 적재 프로그램 구현
4) 구현된 적재 프로그램 자동화 및 스케줄링
5) 사용자별 적재된 데이터에 대한 접근 권한 설정
6) 적재, 조회 등 데이터 처리 성능 향상을 위한 객체의 물리적인 구조 변경 및 객체 추가
7) 적재된 데이터를 타 시스템과 공유하기 위한 설정

이 책은 위에 기술된 작업과 순서대로 장을 나누고 배열한 후, 장별로 해당 작업을 스노우플레이크로 구현하는 과정을 쉽게 따라 할 수 있도록 구성했습니다. 데이터 웨어하우스 구축 경험이 없는 독자분이라도 책의 내용과 흐름이 위와 같다는 것을 숙지하면 이해에 많은 도움이 될 것입니다.
스노우플레이크를 사용하면서 인상적이었던 것은 사용하기에 복잡하지 않고 데이터 처리도 빨라서인지 기존 DBMS에 비해 훨씬 가볍다라는 것이었습니다. 눈송이처럼 가벼운 느낌은 주는 DBMS, 그래서 스노우플레이크라는 이름이 참 잘 어울린다고 생각합니다.

CHAPTER1 스노우플레이크 시작하기
기술적 요구사항
새로운 스노우플레이크 인스턴스 생성하기
__준비하기
__따라하기
__정리하기
맞춤형 멀티클러스터 가상 웨어하우스 생성하기
__준비하기
__따라하기
__정리하기
__더 알아보기
스노우플레이크 웹UI를 사용하여 쿼리 실행하기
__준비하기
__따라하기
__정리하기
SnowSQL로 연결하기
__준비하기
__따라하기
__정리하기
__더 알아보기
JDBC로 연결하기
__준비하기
__따라하기
__정리하기
__더 알아보기
신규 계정 관리자 생성과 기본 제공 역할 이해
__준비하기
__따라하기
__정리하기
__더 알아보기

CHAPTER 2 데이터 라이프 사이클 관리
기술적 요구사항
데이터베이스 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
데이터 스키마 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
테이블 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
외부 테이블과 스테이지 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기
스노우플레이크에서 데이터 뷰 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기

CHAPTER3 데이터 로딩 및 추출
기술적 요구사항
비공개 S3 버킷에 대한 액세스
__준비하기
__따라하기
__정리하기
클라우드 스토리지에서 대량 데이터 로딩하기
__준비하기
__따라하기
__정리하기
로컬 시스템에서 대량 데이터 로딩하기
__준비하기
__따라하기
__정리하기
파케이 파일 로딩하기
__준비하기
__따라하기
__정리하기
JSON 반정형 데이터를 관계형 뷰로 변환하기
__준비하기
__따라하기
__정리하기
Newline-delimited JSON(또는 NDJSON) 데이터 처리하기
__준비하기
__따라하기
__정리하기
Snowpipe를 이용하여 준실시간(near real-time)으로 데이터 처리하기
__준비하기
__따라하기
__정리하기
스노우플레이크에서 데이터 추출하기
__준비하기
__따라하기
__정리하기

CHAPTER 4 데이터 파이프라인 구축
기술적 요구사항
태스크 생성과 스케줄링
__준비하기
__따라하기
__정리하기
태스크 트리를 통한 파이프라인 활용
__준비하기
__따라하기
__정리하기
태스크 이력 조회
__준비하기
__따라하기
__정리하기
변경 데이터 캡처를 위한 스트림 개념 이해
__준비하기
__따라하기
__정리하기
스트림과 태스크를 결합하여 변경 데이터를 처리하는 파이프라인 만들기
__따라하기
__정리하기
데이터 타입 변환과 오류 관리
__따라하기
__정리하기
__더 알아보기
다양한 콘텍스트 함수를 사용하여 콘텍스트 관리하기
__준비하기
__따라하기
__정리하기
__더 알아보기

CHAPTER 5 데이터 보호와 보안
기술적 요구사항
커스텀 역할 설정과 완전한 역할 계층 구조 만들기
__준비하기
__따라하기
__정리하기
__더 알아보기
사용자에게 기본 역할 설정 및 할당
__준비하기
__따라하기
__정리하기
__더 알아보기
데이터 보안과 역할 관리로부터 사용자 관리 분리하기
__준비하기
__따라하기
__정리하기
높은 보안 수준의 데이터 접근 관리를 위한 커스텀 역할 구성
__준비하기
__따라하기
__정리하기
개발, 테스트, 사전 운영, 운영 데이터베이스 계층 및 역할 설정
__준비하기
__따라하기
__정리하기
ACCOUNTADMIN 역할과 사용자 보호
__준비하기
__따라하기
__정리하기

CHAPTER 6 성능 및 비용 최적화
기술적 요구사항
테이블 스키마 검사와 최적화 구조 도출
__준비하기
__따라하기
__정리하기
쿼리 플랜 및 병목지점 식별
__준비하기
__따라하기
__정리하기
분석을 통한 비효율적인 쿼리 제거
__준비하기
__따라하기
__정리하기
불필요한 페일 세이프와 타임트래블 스토리지 줄이기
__준비하기
__따라하기
__정리하기
성능 향상을 위한 구체화 뷰
__준비하기
__따라하기
__정리하기
__더 알아보기
테이블 클러스터링 수정을 위한 쿼리 플랜 검토
__준비하기
__따라하기
__정리하기
가상 웨어하우스 스케일 최적화
__준비하기
__따라하기
__정리하기

CHAPTER 7 시큐어 데이터 셰어링
기술적 요구사항
다른 스노우플레이크 계정과 테이블 공유
__준비하기
__따라하기
__정리하기
다른 스노우플레이크 계정과 뷰 공유
__준비하기
__따라하기
__정리하기
다른 스노우플레이크 계정과 데이터베이스 공유 및 신규 생성 객체 공유 설정
__준비하기
__따라하기
__정리하기
스노우플레이크를 사용하지 않는 미사용자와 데이터 공유를 위한 리더 계정 생성 및 구성
__준비하기
__따라하기
__정리하기
스노우플레이크를 사용하지 않는 미사용자와 객체 공유 설정
__준비하기
__따라하기
__정리하기
스노우플레이크를 사용하지 않는 미사용자와 데이터 공유 시 비용 관리
__준비하기
__따라하기
__정리하기

CHAPTER 8 타임트래블과 복제
기술적 요구사항
타임트래블을 이용하여 특정 시점의 데이터 상태로 돌아가기
__준비하기
__따라하기
__정리하기
타임트래블을 이용하여 실수로 손실된 데이터 복구하기
__준비하기
__따라하기
__정리하기
타임트래블을 이용하여 삭제된 데이터베이스, 테이블 및 다른 객체들을 식별하고 복원하기
__준비하기
__따라하기
__정리하기
복제와 함께 타임트래블을 이용하여 디버깅 향상시키기
__준비하기
__따라하기
__정리하기
복제를 이용하여 운영 환경 기반으로 빠르게 새로운 환경 셋업하기
__준비하기
__따라하기
__정리하기

CHAPTER 9 고급 SQL 테크닉
기술적 요구사항
타임스탬프 데이터 다루기
__준비하기
__따라하기
__정리하기
날짜 데이터로부터 캘린더 정보 추출하기
__준비하기
__따라하기
__정리하기
중복 제거 카운트하기
__준비하기
__따라하기
__정리하기
트랜잭션 관리하기
__준비하기
__따라하기
__정리하기
윈도우 함수를 사용하여 데이터 분석하기
__준비하기
__따라하기
__정리하기
시퀀스 생성하기
__준비하기
__따라하기
__정리하기

CHAPTER 10 스노우플레이크의 확장 기능
기술적 요구사항
SQL을 이용하여 스칼라 사용자 정의 함수 생성하기
__준비하기
__따라하기
__정리하기
SQL을 이용하여 테이블 사용자 정의 함수 생성하기
__준비하기
__따라하기
__정리하기
자바스크립트를 이용하여 스칼라 사용자 정의 함수 생성하기
__준비하기
__따라하기
__정리하기
자바스크립트를 이용하여 테이블 사용자 정의 함수 생성하기
__준비하기
__따라하기
__정리하기
아파치 스파크 연결하기
__준비하기
__따라하기
__정리하기
아파치 스파크를 이용하여 스노우플레이크 데이터 전처리하기
__준비하기
__따라하기
__정리하기

CHAPTER 부록

하미드 마무드 쿠레시 20년 동안 시니어 클라우드 및 데이터 웨어하우스 전문가로서 여러 데이터 웨어하우스와 비즈니스 인텔리전스 솔루션을 설계하고 구현했습니다. 테라데이터(Teradata), 오라클(Oracle), 하둡(Hadoop)은 물론 스노우플레이크와 같은 최신 클라우드 기반 도구에 이르기까지 다양한 데이터 분석 플랫폼에 대한 광범위한 경험이 있습니다.더불어 현대적인 플랫폼 관련 지식과 함께 기존 기술을 광범위하게 활용하여 스노우플레이크의 데이터 웨어하우징과 분석에 있어서 실용적인 전문 지식을 축적했으며, 이를 책으로 기록했습니다.