Data Catalog 만들기

순수하고 밝은 무당의 미래를 기대하며!



이 책은 《차세대 빅데이프 플랫폼 Data lake》에 이은 Data Lake 시리즈의 2편에 해당한다. Data Lake 플랫폼에서 가장 핵심적인 역할을 수행하는 'Data Catalog'에 관한 것, 즉 Data Catalog가 무엇인지, 왜 중요한지, 주요 기능 등에 대해 설명한다.

Data Catalog에 대한 내용부터 개발 절차, 관리자로서 알아야 할 기능, 마지막으로 Data Catalog의 미래 발전 방향까지 Data Catalog의 모든 것을 짧은 내용 안에 담고 있다.

이 책은 Data Lake 플랫폼의 가장 핵심 서비스라고 할 수 있는 Data Catalog에 대해 다루고 있기에, Data Catalog를 기획 중인 IT/DT 기획자, 시스템 구축을 준비 중인 IT/DT 부서의 담당자, 빅데이터 담당자라면 큰 도움이 될 것이다.

머리말



제1장 Data Catalog란 무엇인가?

1. Data Lake 플랫폼

2. Data Lake 플랫폼에서 Data Catalog의 역할

3. Data Catalog vs. 상품 카탈로그

4. Data Catalog의 정의

5. Data Catalog의 주요 기능

6. 기존 '메타데이터 관리 시스템'과의 차이점



제2장 Data Catalog는 왜 중요한가?

1. Data Lake 플랫폼의 출발점이자 관문

2. 전사 데이터의 자산화

3. 데이터 도구의 활용성 향상

4. Data Catalog의 실패는 '데이터 늪'



제3장 Data Catalog 주요 기능 만들기

1. 사용자 Front-End 기능

1-1. 카탈로그 검색

1-2. 카탈로그 조회

1-3. 데이터 수집 요청(VoC)

1-4. 데이터 질의응답

1-5. 카탈로그 큐레이션

1-6. 실데이터 조회

1-7. 실행 스케줄러

1-8. 데이터 전처리 도구와의 연계

1-9. 데이터 분석 도구와의 연계

1-10. 용어사전 관리

1-11. My Catalog

2. Back-End 기능

2-1. 메타데이터 수집

2-2. 메타데이터 추천(M/L)

2-3. 검색엔진 색인 생성

2-4. 쿼리 로그 수집/파싱

2-5. 데이터 프로파일링

2-6. 데이터 활용 현황 집계

2-7. 데이터 배치 처리

2-8. 데이터 보안 처리

3. 관리자 기능

3-1. 데이터 활용 현황판(대시보드)

3-2. 카테고리 관리

3-3. 데이터 요청(VoC) 처리

3-4. 데이터 Life Cycle 관리

3-5. 데이터 품질 관리

3-6. 플랫폼 보안 관리

3-7. 플랫폼 모니터링



제4장 Data Catalog 개발 절차

1. 자체 개발 vs. 솔루션 도입 의사결정

2. 단계별 구현 로드맵 수립

3. 메타데이터 구축 모듈

3-1. 대상 '데이터 객체' 범위 정의

3-2. '데이터 Steward' 지정

3-3. '데이터 객체' 유형별 메타데이터 관리 항목 정의

3-4. 항목별 메타데이터 수집 방법 및 기능 설계

3-5. 메타데이터 관련 Back-End 기능 개발

3-6. 카탈로그 큐레이션

4. Data Pipeline 구축 모듈

4-1. 원천 데이터 수집 범위 정의

4-2. '데이터 오너' 지정

4-3. Data Pipeline 설계

4-4. Data Pipeline 개발

4-5. 원천 데이터 수집

5. Front-End 구축 모듈

5-1. Data Catalog Front-End 요건 정의

5-2. Data Catalog Front-End 기능 설계

5-3. Data Catalog Front-End 기능 개발

6. 변화관리 모듈

6-1. 변화관리 계획 수립

6-2. 사용자 그룹별 커뮤니케이션

6-3. 사용자 변화관리

7. 통합 테스트



제5장. Data Catalog의 미래 발전 방향

1. 전사 통합 데이터 포털

2. '지식 포털'과의 통합

3. 데이터 분석 관련 모든 기능의 통합

4. '전사 DA 시스템'과의 통합

5. AI 기반 카탈로그 큐레이션

6. 개인화된 콘텐츠 추천



참고자료

윤선웅 경영/IT 컨설턴트, Data Lake 연구가

1999년 S/W 개발자로 커리어를 시작하여, 15년 이상 경영 컨설턴트와 IT 컨설턴트로서 업무를 수행해 왔다. 주로 IT 전략 기획 업무를 수행하였으며, 최근에는 빅데이터 전략, 데이터 플랫폼 전략, 최근에는 Data Lake 프로젝트 수행과 관련 문헌 작성에 전념하고 있다.

학력
- 경남과학고등학교 졸업
- KAIST 기계공학과 학사
- KAIST 경영대학원 경영정보 MBA

주요 경력
- 시스템 엔지니어(LG CNS)
- 경영/IT 컨설턴트(A.T. Kearney / (전)밸텍컨설팅 / 딜로이트컨설팅)

주요 도서
- 《차세대 빅데이터 플랫폼 Data Lake》, 좋은땅, 2021.