보안 빅데이터 분석 플랫폼 구축과 활용

★ 이 책에서 다루는 내용 ★



■ 보안 분야에서의 데이터 분석과 플랫폼 구축의 필요성

■ 보안 빅데이터 분석 플랫폼 구축을 위한 핵심 솔루션인 스플렁크 활용법

■ 보안 빅데이터 분석 플랫폼을 구축하기 위한 5단계 절차 및 단계별 주요 활동

■ 사전 준비부터 증설 시 고려할 사항까지 플랫폼 전 과정에 걸쳐 전달하는 실무 가이드

■ 초보자를 위한 실습형 퀵 스타트 가이드





★ 이 책의 대상 독자 ★



■ 기업 보안 실무에 데이터 분석 결과를 활용하기 위해 빅데이터 플랫폼을 구축하고 싶은 기업 사용자

■ 스플렁크를 사용해 빅데이터 플랫폼을 구축해야 하지만 어디서부터 시작해야 할지 몰라 막막한 기업의 구축 담당자 및 플랫폼 구축 엔지니어

■ 솔루션을 활용해 빅데이터 플랫폼을 구축하고 활용하는 과정을 경험해 보고 싶은 일반인 및 대학생





★ 이 책의 구성 ★



이 책은 스플렁크를 활용한 보안 빅데이터 분석 플랫폼 및 상세 구축 과정을 정의하는 개요를 다루는 부분과 플랫폼 구축 전/후 과정을 예시와 함께 구체적으로 설명하는 플랫폼 구축 실무 부분, 마지막으로 입문자를 위한 퀵 스타트 가이드로 나뉘어 있다.



각 장의 구성은 다음과 같다

1장. '개요'에서는 이 책의 핵심 키워드인 '보안 빅데이터 분석', '플랫폼', '구축 가이드'에 대해 스스로 질문하며 해답을 고민했던 여정을 함께 공유하고, 왜 이 여정의 주요 파트너로 '스플렁크'를 선택했는지 살펴본다.

2장. '보안 빅데이터 분석 플랫폼 구축 워크플로우'에서는 플랫폼 구축을 체계적으로 수행하기 위한 길잡이가 돼줄 워크플로우를 소개한다. 또한 보안 빅데이터 분석 플랫폼을 구축하기 위한 실무적 절차와 고려사항을 총 5단계로 구분해 설명하고 각 단계별 정의 및 담당자가 숙지해야 할 주요 활동에 대해 알아본다.

3장. 'Phase 1 ? 구축 전 사전 준비'에서는 보안 빅데이터 분석 플랫폼을 본격적으로 구축하기 위한 첫 단추인 사전 준비 단계에 대해 소개하고, 담당자가 수행해야 할 주요 활동에 대해 실무적인 예시를 통해 설명한다.

4장. 'Phase 2 ? 플랫폼 인프라 구성'에서는 플랫폼 구축 담당자가 주로 채택하는 3가지 플랫폼 인프라 환경 구성 절차에 대해 스플렁크 인스턴스 설치부터 주요 설정 파일 적용 가이드까지 상세하게 알아보고, 빅데이터 분석 플랫폼 구축 현장에서 발생하는 주요 상황별 설정 변경 가이드도 함께 살펴본다.

5장. 'Phase 3 ? 플랫폼 콘텐츠 구현 및 활용'에서는 인프라 구성을 완료한 보안 빅데이터 분석 플랫폼에 탑재할 수 있는 콘텐츠는 주로 어떤 것들이 있는지 알아보고, 이를 구현 및 적용해 업무에 활용하기 위한 방법과 주요 고려사항에 대해 살펴본다.

6장. 'Phase 4 ? 스플렁크 앱 기반 플랫폼 확장'에서는 플랫폼의 활용 범위를 확장시켜줄 스플렁크의 대표적인 보안분야 상용 앱과 플랫폼 구축 및 활용 시 사용자가 주로 설치하는 무료 앱에 대한 설치 및 설정 방법을 알아본다.

7장. 'Phase 5 ? 구축 후 운영 환경 최적화'에서는 플랫폼이 안정적으로 운영되고 있는지 체계적으로 점검하기 위한 절차에 대해 알아본다. 또한 비정상 항목이 발견됐을 때 조치하기 위한 가이드도 함께 살펴본다.

8장. '주요 장애 유형별 대응 가이드'에서는 스플렁크를 활용한 보안 빅데이터 분석 플랫폼에서 발생할 수 있는 주요 장애는 어떤 것들이 있는지 알아보고, 플랫폼의 주요 구성 영역별로 분류해 신속하게 원인을 파악하고 조치할 수 있는 방법에 대해 살펴본다.

9장. '플랫폼 증설 가이드'에서는 플랫폼이 실제 운영중인 상태에서 진행돼야 하는 증설 작업의 특성을 감안해 담당자가 기본적으로 고려해야 할 사항들에 대해 살펴보고, 작업 절차에 대해 자세히 알아본다.

10장. '입문자를 위한 퀵 스타트 가이드'에서는 보안 빅데이터 분석 플랫폼 구축을 직접 경험해 보고 싶은 대학생 및 일반인, 사회에 첫발을 내디딘 신입 엔지니어, 스플렁크를 제대로 활용해 보고 싶은 기업 사용자들을 위해 쉽게 따라 해 보며 스플렁크를 느껴볼 수 있는 입문 가이드를 제공한다.

1장. 개요

__1.1 왜 데이터 분석이 필요한가?

____1.1.1 보안위협의 고도화 및 지능화

____1.1.2 보안 담당자의 한계 봉착

____1.1.3 기술 발전에 따른 보안 트렌드의 변화

__1.2 왜 플랫폼으로 구축해야 하는가?

____1.2.1 보안 데이터가 지니는 고유의 특성

____1.2.2 보안 빅데이터 분석 플랫폼 정의

____1.2.3 플랫폼의 진정한 힘: 네트워크 효과와 교차 네트워크 효과

__1.3 왜 구축 가이드가 중요한가?

____1.3.1 플랫폼 구축의 현실: Case By Case

____1.3.2 성공적 구축은 성공적 활용의 전제조건

____1.3.3 구축 가이드가 제공할 가치: 품질, 시간, 그리고 시너지

__1.4 왜 스플렁크인가?



2장. 보안 빅데이터 분석 플랫폼 구축 워크플로우

__2.1 워크플로우 개요

__2.2 Phase 1: 구축 전 사전 준비

____2.2.1 Why: 플랫폼 구축 목적 명시

____2.2.2 What: 플랫폼 기본 구성 요소 정의

____2.2.3 How: 주요 구성 요소별 플랫폼 구현 방안 수립

__2.3 Phase 2: 플랫폼 인프라 구성

____2.3.1 구성 기준 정의

____2.3.2 스플렁크 인스턴스 설치

____2.3.3 주요 구성별 설정 적용

____2.3.4 주요 구성 변경 요건별 설정 변경 가이드

__2.4 Phase 3: 플랫폼 콘텐츠 구현 및 활용

____2.4.1 데이터 검색

____2.4.2 데이터 분석

____2.4.3 시나리오 구현 및 적용

____2.4.4 대시보드 구성 및 활용

____2.4.5 콘텐츠 강화를 위한 툴과 팁

__2.5 Phase 4: 스플렁크 앱 기반 플랫폼 확장

____2.5.1 상용 앱

____2.5.2 무료 앱

__2.6 Phase 5: 구축 후 운영 환경 최적화

____2.6.1 플랫폼 운영 현황 점검 항목 정의

____2.6.2 점검 항목별 현황 점검 수행

____2.6.3 정상 여부 확인 및 비정상 항목 조치

____2.6.4 플랫폼 구성 요소별 운영 효율성 강화 가이드

__2.7 워크플로우 호환성: 꼭 스플렁크여야만 하는가



3장. Phase 1: 구축 전 사전 준비

__3.1 Why: 플랫폼 구축 목적 명시

____3.1.1 업무 개선 목표 달성

____3.1.2 IT 목표 달성

____3.1.3 기타 요건

__3.2 What: 플랫폼 기본 구성 요소 정의

____3.2.1 구축 환경

____3.2.2 데이터 수집 및 전송

____3.2.3 데이터 저장

____3.2.4 데이터 검색

____3.2.5 데이터 분석 및 활용

____3.2.6 데이터 시각화

____3.2.7 플랫폼 운영 및 관리

__3.3 How: 주요 구성 요소별 플랫폼 구현 방안 수립

____3.3.1 구축 환경 정의

____3.3.2 데이터 수집 및 전송 방안

____3.3.3 데이터 저장 방안

____3.3.4 데이터 검색 방안

____3.3.5 데이터 분석 및 활용 방안

____3.3.6 데이터 시각화 방안

____3.3.7 플랫폼 운영 및 관리 방안



4장. Phase 2: 플랫폼 인프라 구성

__4.1 사전 공지사항

__4.2 시뮬레이션 환경 구성 가이드

__4.3 가상 데이터 수집 설정

__4.4 단일 서버 환경 구성

____4.4.1 구성 기준 정의

____4.4.2 스플렁크 엔터프라이즈 설치 및 설정

____4.4.3 데이터 수집 및 전송 설정

________스플렁크 엔터프라이즈 라이선스 적용

________스플렁크 엔터프라이즈에서의 데이터 수집 설정

____4.4.4 데이터 저장 설정

____4.4.5 데이터 검색 설정

____4.4.6 스플렁크 유니버설 포워더 설치 및 설정

________스플렁크 유니버설 포워더 설치

________파일 및 디렉터리 모니터링 설정

________로그 이벤트 속성 설정

________로그 이벤트 전송 설정

____4.4.7 플랫폼 인프라 구성 후 정상 동작 확인

__4.5 복수 서버 환경 구성

____4.5.1 구성 기준 정의

____4.5.2 스플렁크 엔터프라이즈 인스턴스 설치

____4.5.3 데이터 수집 및 전송 설정

________스플렁크 엔터프라이즈 라이선스 슬레이브 적용

________로그 이벤트 수신 설정

________로그 이벤트 전송 설정

________로그 이벤트 필터링 설정

________로그 이벤트 마스킹 설정

____4.5.4 데이터 저장 설정

________스플렁크 엔터프라이즈 라이선스 슬레이브 적용

________신규 인덱스 생성

________전송 데이터의 대한 저장 설정

____4.5.5 데이터 검색 설정

________스플렁크 엔터프라이즈 라이선스 마스터 설정

________검색 피어 등록

________검색 데이터 필드 추출

____4.5.6 스플렁크 유니버설 포워더 설치 및 설정

____4.5.7 플랫폼 인프라 구성 후 정상 동작 확인

__4.6 클러스터링 기반 분산 처리 환경 구성

____4.6.1 구성 기준 정의

____4.6.2 스플렁크 엔터프라이즈 인스턴스 설치

____4.6.3 라이선스 마스터 & 클러스터 마스터 설정

________라이선스 마스터 설정

________클러스터 마스터 설정

________인덱스 추가 생성 및 배포 설정

____4.6.4 데이터 수집 및 전송 설정

________스플렁크 엔터프라이즈 라이선스 슬레이브 적용로그 이벤트 수신 설정

________로그 이벤트 전송 설정

________로그 이벤트 필터링 & 마스킹 설정

____4.6.5 데이터 저장 설정

________스플렁크 엔터프라이즈 라이선스 슬레이브 적용

________인덱서 피어 노드 활성화

________인덱스 생성 정보에 대한 정상 배포 확인

________전송 데이터에 대한 저장 설정

____4.6.6 데이터 검색 설정

________스플렁크 엔터프라이즈 라이선스 슬레이브 적용

________검색 피어 등록

________검색 헤드 클러스터링 설정

________검색 데이터 필드 추출

____4.6.7 스플렁크 앱 배포 설정

________스플렁크 엔터프라이즈 라이선스 슬레이브 적용

________검색 헤드 클러스터 정보 등록

________검색 헤드 클러스터 구성원 대상 배포 정보 수신 설정

________배포 대상 앱 업로드

________배포 대상 앱을 검색 헤드 클러스터 구성원에 배포

________검색 헤드 클러스터 구성원에서 배포 앱 확인160

____4.6.8 모니터링 콘솔 설정

________검색 피어 추가 적용

________분산 모드 전환 적용

____4.6.9 스플렁크 유니버설 포워더 설치 및 설정

____4.6.10 플랫폼 인프라 구성 후 정상 동작 확인

__4.7 주요 구성 변경 요건별 설정 가이드

____4.7.1 기존 수집 대상의 종류/용량 변경

____4.7.2 기존 수집 방식과 동일한 신규 수집 대상 추가

____4.7.3 수집 데이터 저장 기간 설정 및 변경



5장. Phase 3: 플랫폼 콘텐츠 구현 및 적용

__5.1 사전 공지사항

__5.2 데이터 검색

____5.2.1 키워드 검색

________사용자 요건 정의

________스플렁크를 통한 구현 예시

________실무 활용 가이드

____5.2.2 이벤트 추이 검색

________사용자 요건 정의

________스플렁크를 통한 구현 예시

________실무 활용 가이드

____5.2.3 정규표현식을 활용한 고급 검색

________사용자 요건 정의

________스플렁크를 통한 구현 예시

________실무 활용 가이드

____5.2.4 검색 결과 저장 및 공유

________사용자 요건 정의

________스플렁크를 통한 구현 예시

________실무 활용 가이드

__5.3 데이터 분석

____5.3.1 로그 이벤트에 대한 시계열 상관 분석

________사용자 요건 정의

________스플렁크를 통한 구현 예시

________실무 활용 가이드

____5.3.2 통계 함수를 활용한 분석 결과 구체화

________사용자 요건 정의

________스플렁크를 통한 구현 예시

________실무 활용 가이드

____5.3.3 차트 함수를 활용한 분석 결과 시각화

________사용자 요건 정의

________스플렁크를 통한 구현 예시

________실무 활용 가이드

__5.4 시나리오 구현 및 적용

____5.4.1 사용자 요건 정의

____5.4.2 스플렁크를 통한 구현 예시

____5.4.3 실무 활용 가이드

__5.5 대시보드 구성 및 활용

____5.5.1 사용자 요건 정의

____5.5.2 스플렁크를 통한 구현 예시

____5.5.3 실무 활용 가이드

__5.6 콘텐츠 강화를 위한 툴과 팁

____5.6.1 경고

____5.6.2 룩업

____5.6.3 KV 스토어

____5.6.4 Summary Index

____5.6.5 보고서 가속화

____5.6.6 데이터 모델 가속화



6장. Phase 4: 스플렁크 앱 기반 플랫폼 확장

__6.1 Splunk Enterprise Security App

____6.1.1 보안 포스처(Security Posture)

____6.1.2 인시던트 검토(Incident Review)

____6.1.3 조사 케이스(Investigation)

____6.1.4 글래스 테이블(Glass Table)

____6.1.5 보안 인텔리전스(Security Intelligence)

____6.1.6 보안 도메인(Security Domain)

____6.1.7 워크플로우 기반 보안 위협 대응 자동화(Adaptive Response)

__6.2 주요 무료 앱

____6.2.1 Splunk Add-on for *nix

____6.2.2 Splunk DB Connect

____6.2.3 Lookup Editor

____6.2.4 Splunk Dashboard Examples

____6.2.5 Timeline

____6.2.6 보안 솔루션 관련 앱에 대한 설치 및 활용

____6.2.7 Splunk Machine Learning Toolkit

________쇼케이스 예시: 수치 예측(Predict Numeric Fields)

________쇼케이스 예시: 범주 분류(Predict Categorical Fields)

________쇼케이스 예시: 수치형 이상치 탐지(Detect Numeric Outliers)

________쇼케이스 예시: 범주형 이상치 탐지(Detect Categorical Outliers)

________쇼케이스 예시: 시계열 예측(Forecast Time Series)

________쇼케이스 예시: 수치 데이터 군집화(Cluster Numeric Events)



7장. Phase 5: 구축 후 운영 환경 최적화

__7.1 플랫폼 운영 현황 점검 항목 정의

__7.2 데이터 수집 및 전송 영역 점검

____7.2.1 Event Processing Queue 점검

________점검 개요

________점검 방법

________정상 여부 판단 기준

____7.2.2 필드 추출 정합성 유무 점검

____7.2.3 데이터 수집 누락 여부 점검

____7.2.4 데이터 비정상 수집 점검

____7.2.5 가용성 데이터 정상 수집 여부 점검

____7.2.6 Splunk DB Connect 에러 발생 여부 점검

__7.3 데이터 저장 및 복제 영역 점검

____7.3.1 인덱서 피어 노드 정상동작 여부 점검

____7.3.2 인덱서 클러스터링 정상동작 여부 점검

____7.3.3 버킷 오류 존재 유무 점검

____7.3.4 버킷 저장 공간 상태 확인

____7.3.5 인덱스별 데이터 보관주기 확인

__7.4 데이터 검색 및 배포 영역 점검

____7.4.1 Saved Search 구동 현황 점검

____7.4.2 메모리 과다 사용 검색 점검

____7.4.3 장시간 동작하는 검색 쿼리 점검

____7.4.4 검색 헤드 클러스터링 상태 점검

____7.4.5 캡틴 선출 내역 점검

____7.4.6 KV 스토어 상태 점검

____7.4.7 룩업 파일 활용 현황 점검

__7.5 플랫폼 운영 및 관리 영역 점검

____7.5.1 스플렁크 인스턴스 현황 확인

____7.5.2 스플렁크 인스턴스 리소스 사용량 점검

____7.5.3 스플렁크 내부 로그 내 ERROR/WARN 메시지 분석

____7.5.4 플랫폼 사용 이력 점검

____7.5.5 사용자 접근 통제 관리

____7.5.6 스플렁크 라이선스 변동량 점검

__7.6 플랫폼 구성 요소별 운영 효율성 강화 가이드

____7.6.1 데이터 수집 및 전송 영역

____7.6.2 데이터 저장 및 복제 영역

____7.6.3 데이터 검색 및 배포 영역

____7.6.4 플랫폼 운영 및 관리 영역



8장. 주요 장애 유형별 대응 가이드

__8.1 장애 대응의 어려움과 신속한 조치의 중요성

__8.2 데이터 수집 및 전송 영역

____8.2.1 수집 데이터 파싱 오류

____8.2.2 데이터 수집 누락

____8.2.3 DB Connection fail 오류

____8.2.4 Line Breaking Error

____8.2.5 Timestamp Parsing Error

____8.2.6 Max Events Error

____8.2.7 간헐적 로그 미수집 및 스플렁크 인덱서 서버로의 미전송 오류

__8.3 데이터 저장 및 복제 영역

____8.3.1 스플렁크 인덱서 피어 다운 지속 발생

____8.3.2 초과 버킷 발생

____8.3.3 인덱스 보관주기 초과로 인한 데이터 저장 실패

____8.3.4 데이터 복제 비정상 동작으로 인한 데이터 검색 실패

____8.3.5 인덱서 클러스터링 오류

____8.3.6 스플렁크 인덱서 서버의 CPU/MEMORY 과부하 현상 지속

__8.4 데이터 검색 및 배포 영역

____8.4.1 라이선스 마스터 또는 클러스터 마스터와의 연결 실패

____8.4.2 배포 서버를 통한 배포 수행 시 오류 발생

__8.5 플랫폼 운영 및 관리 영역

____8.5.1 실시간 검색 과다로 인한 인덱싱 성능 저하

____8.5.2 Saved Search 실패

____8.5.3 대시보드 오류

____8.5.4 경고 및 보고서 생성 실패

____8.5.5 룩업 데이터 조회 시 검색 결과 미표시

__8.6 장애 조치 시 참고사항

____8.6.1 Splunk Answers 활용

____8.6.2 Splunk Support Case Open

____8.6.3 Community Based Support - Blog & Article



9장. 플랫폼 증설 가이드

__9.1 스플렁크 라이선스 증설 시 중점 고려사항

____9.1.1 기존/신규 라이선스 통합 적용 및 확인

____9.1.2 스플렁크 라이선스 증설 후 추가 고려사항

__9.2 서버 증설 시 중점 고려사항

____9.2.1 사전 체크리스트 작성 및 확인

____9.2.2 서버 증설 예시: 스플렁크 헤비 포워더 서버

____9.2.3 서버 증설 예시: 스플렁크 인덱서 서버

____9.2.4 서버 증설 예시: 스플렁크 검색 헤드 서버

____9.2.5 서버 증설 후 추가 고려사항



10장. 입문자를 위한 퀵 스타트 가이드

__10.1 스플렁크 앱 설치 및 환경 구성

____10.1.1 Splunk Enterprise 7.2.4 다운로드하기.

____10.1.2 Splunk Enterprise 7.2.4 설치

____10.1.3 Splunk Enterprise 7.2.4 로그인 및 실행 상태 확인

__10.2 데이터 수집/저장 설정 및 적용

____10.2.1 신규 인덱스 생성

____10.2.2 스크립트를 활용한 데이터 수집 설정

____10.2.3 로그 이벤트 병합 해제 설정

____10.2.4 변경된 설정 적용을 위한 스플렁크 인스턴스 재시작

__10.3 데이터 검색 및 분석 결과 시각화

____10.3.1 필드 추출

____10.3.2 데이터 검색 정상동작 여부 확인

____10.3.3 데이터 시각화 지원 앱 설치 및 설정

____10.3.4 데이터 시각화 대시보드 작성 및 적용

김대용 숭실대학교 컴퓨터학부를 졸업하고 삼성SDS 금융전략사업부에 입사해 지금까지 시스템 개발부터 운영, 프로세스 컨설팅 및 IT 전략컨설팅까지 두루 경험했다. 핀테크 기반 신사업 추진 부서 근무 시절 빅데이터와 플랫폼에 관심을 갖게 돼 금융업종에 적합한 빅데이터 플랫폼을 구축하고 활용하기 위한 방법을 연구했다. 현재는 보안 컨설턴트이자 프로젝트 관리자로써 다수의 보안 분야 프로젝트를 수행하며 보안 빅데이터 분석 플랫폼 구축 전문가로 활동하고 있으며, '현장에 답이 있다'는 평소의 철학대로 지금도 프로젝트 현장에서 굵은 땀방울을 흘리고 있다.