AI 시대의 빅데이터 사고방식

유럽입자물리학연구소(CERN)에서 '신의 입자'를 추적하던 과학자가 구글의 AI 리더가 되어 명쾌한 해답을 던진다. 저자는 AI 시대 기업의 생존은 단순히 데이터를 끌어모으는 것이 아니라, 이를 분석해 낼 탄탄한 '시스템'과 '과학적 사고방식'에 달려 있다고 단언한다. 시리즈의 포문을 여는 이 책 1편은 클라우드 컴퓨팅부터 기계 학습 인프라까지, 데이터 중심 조직으로 거듭나기 위해 반드시 갖춰야 할 기술적 뼈대를 치밀하게 해부한다. 쏟아지는 데이터의 홍수 속에서 갈 길을 잃고 헤매는 기업 전략가와 엔지니어들에게, 이 책은 혁신을 향한 가장 강력하고 완벽한 설계도가 되어줄 것이다.

머리말

추천사

감사의 글



1장 빅데이터 비즈니스의 주요 요소

빅데이터 비즈니스의 주요 요소 - 데이터, 인프라, 조직 및 시스템, 사람

빅데이터 - 실재인가, 허상인가?

CERN: 빅데이터의 조상

빅데이터 비즈니스의 네 가지 관점: 데이터, 인프라, 조직 및 시스템, 사람

빅데이터 활용의 근본적인 질문: 해결하려는 문제가 무엇인가?

CERN이 LHC를 건설한 이유

기술이 먼저인가, 비즈니스 모델이 먼저인가?: 빅데이터 비즈니스의 딜레마



2장 빅데이터 비즈니스 모델의 핵심 - 데이터 수집

빅데이터 수집 과정과 비즈니스 모델의 차별화

빅데이터 원천으로서의 LHC 가속기

빅데이터 비즈니스의 핵심: 빅데이터 수집 과정의 차별화

빅데이터 비즈니스 모델 프레임워크: 자전거 모델

CERN과 LHC 실험 프로그램의 비즈니스 모델

빅데이터 비즈니스 모델을 어떻게 만들 것인가?: 빅데이터 비즈니스의 '자전거 모델'

빅데이터 측정과 수집의 원리

LHC 검출기 및 가속기 데이터의 수집과 측정

빅데이터 비즈니스의 데이터 수집과 측정: 수집 과정과 비즈니스 모델과의 관계

빅데이터 저장과 표현을 위한 데이터 형식의 중요성

LHC 실험 데이터 가공 과정과 데이터 형식

빅데이터 수집 과정에서 데이터 형식의 중요성



3장 빅데이터와 AI 기술

빅데이터 비즈니스에서 AI 기술의 역할과 중요성

LHC 실험 데이터의 복잡성과 인공지능 기술

빅데이터 비즈니스에서 인공지능 기술이 필요한 이유: 자동화

인간 능력 증강 도구로서의 인공지능

CERN이 인공지능 기술을 소환한 이유: 2015년 LHC 데이터 과학 워크숍

빅데이터 비즈니스 시스템과 인공지능 기술의 콜라보: 자동화를 통한 인간 정보 처리 능력의 증강

딥러닝에 숨겨진 지식 - 인공지능 모델의 해석 가능성

LHC 빅데이터에서의 딥러닝과 인공지능 기술의 새로운 요구사항: 해석 가능성

빅데이터 분석에서 해석 가능한 인공지능 모델의 중요성

뉴로모픽 엔지니어링과 인공지능 가속기 반도체

LHC 실험과 뉴로모픽 엔지니어링

빅데이터 비즈니스에서의 새로운 컴퓨터 아키텍처의 중요성



4장 빅데이터와 클라우드 컴퓨팅 기술

클라우드 기술의 시작

클라우드 컴퓨팅의 서막: CERN은 왜 클라우드 컴퓨팅이 필요했나?

빅데이터 기술에서 가장 중요한 것: 자원 이종성(heterogeneity) 극복과 확장성(scalability)

빅데이터 자원 계층 문제

LHC 빅데이터와 LHC 컴퓨팅 그리드(LCG)의 계층 구조

빅데이터 인프라 구축에서의 자원 계층 문제: 빅데이터 기술의 시작과 끝

네트워크 인프라의 중요성

LHG Computing Grid를 위한 네트워크 인프라

빅데이터 인프라에서 네트워크 인프라의 중요성: 자원 계층 문제 해결 및 확장성 확보

고성능 컴퓨팅과 FPGA

CMS Level-1 트리거(Trigger)와 FGPA, GPU 기술

빅데이터 인프라, 고성능 컴퓨팅, 재구성 가능 컴퓨팅(Reconfigurable Computing): 스트림 처리의 중요성

분산 컴퓨팅 소프트웨어 스택 및 미들웨어의 중요성

CMS 검출기에 영혼을 주는 CMS 온라인 소프트웨어

빅데이터 인프라를 완성하는 기술: 빅데이터 미들웨어와 분산 컴퓨팅 소프트웨어

모니터링과 운영 인텔리전스

CMS 온라인 데이터 수집 시스템의 모니터링 문제

빅데이터 시스템 운영의 복잡성을 어떻게 해결할 것인가?: 운영 지능화(Operation Intelligence)



5장 빅데이터 주요 기술의 요건

빅데이터와 병렬 처리

LCG 데이터 병렬 처리 프레임워크: 프루프(PROOF)

빅데이터 문제 해결의 기본적인 도구: 병렬 처리 프레임워크

빅데이터 분석 플랫폼의 요건

LHC 실험의 공식 데이터 분석 플랫폼: 루트(ROOT)

빅데이터 문제 해결 과정을 묶어주는 끈: 데이터 분석 플랫폼

대용량 확장형 스토리지

LHC 실험의 데이터 그리드 요구 사항

LHC 실험의 대용량 데이터 스토리지 기술: LCG SE, SRM, CASTOR, dCache, DPM, StoRM

LHC 컴퓨팅 그리드의 이종 데이터 저장 장치 통합 표준: SRM

빅데이터를 담는 그릇: 대용량 확장형 스토리지

빅데이터 가시화 및 큐레이션

LHC 실험 데이터 분석에서의 데이터 가시화: 이벤트 및 모니터링 데이터

빅데이터: 가시화와 큐레이션의 중요성

워크플로우 엔진과 관리 도구

LHC 컴퓨팅 그리드의 워크플로우 관리 기술

빅데이터 시스템에서 워크플로우 관리 기술의 중요성



작가 인터뷰

김진철 한국과학기술원(KAIST)에서 물리학 학사를, 포항공과대학교에서 인공신경망 및 플라즈마 연구로 석·박사 학위를 받았다. 졸업 후 유럽입자물리학연구소(CERN)에서 LHC 빅데이터 인프라 및 데이터 분석 기술 연구에 참여했다. 이후 한국과학기술정보연구원(KISTI), 포항공과대학교, 삼성 SDS, SK텔레콤 기업연구소를 거치며 대규모 기계 학습과 클라우드 컴퓨팅, 지능형 빅데이터 분석 시스템을 깊이 있게 연구해 왔다.

현재는 구글의 인공지능 분야 솔루션 리드로 재직 중이다. 기업들이 고급 AI 및 양자 인공지능을 비즈니스에 성공적으로 도입하고 활용할 수 있도록 돕는 전문 컨설턴트로 활약하고 있다.


주요 경력

2021 ~ 현재 구글, Solution Lead, Machine Learning, APAC, Quantum AI Practice Specialist, Korea

2013 ~ 2021 SK텔레콤, 수석연구원

2011 ~ 2013 삼성SDS, 수석보

2009 ~ 2011 포항공과대학교, 연구교수

2007 ~ 2009 한국과학기술정보연구원, 선임프로젝트연구원

2005 ~ 2007 유럽입자물리학연구소(CERN), Post-doc.



2005 포항공과대학교, 이학박사(가속기 및 전산 플라즈마 물리학)

1999 포항공과대학교, 이학석사(통계 및 전산물리학, 신경망 알고리즘)

1997 KAIST, 이학학사(물리학)

1993 서울과학고등학교(3기)