LLM을 활용한 데이터 분석(데이터 과학)

유튜브 100만 뷰 강의로 검증된 코넬대 교수의 명쾌한 설명력
프롬프트와 파이썬으로 구축하는 실전 데이터 분석 파이프라인

LLM의 등장은 데이터 분석의 흐름을 바꾸고 있다. 하지만 LLM을 분석 업무에 제대로 녹여내기란 쉽지 않다. 이 책은 자연어 프롬프트와 파이썬 코드로 실무에 바로 적용할 수 있는 분석 파이프라인 구축 방법을 구체적으로 제시한다.

이 책의 탁월함은 저자의 깊이 있는 전문성에서 나온다. 코넬대학교 컴퓨터과학과 부교수이자 코넬 데이터베이스 그룹을 이끄는 이매뉴얼 트러머가 직접 집필했다. 유튜브 누적 조회수 100만을 돌파한 그의 강의 노하우가 고스란히 담겨 있어, 학술적으로 검증된 기본기와 현장에 곧바로 적용할 수 있는 실용성을 동시에 제공한다.

단 284쪽이라는 부담 없는 분량이지만, 그 안에 담긴 내용의 밀도는 가볍지 않다. 텍스트 분석을 시작으로 테이블과 그래프 데이터, 나아가 이미지와 동영상, 오디오를 아우르는 멀티모달 분석으로 독자를 이끈다. LLM이 도구를 선택하고 분석을 수행하는 자율 에이전트 구축부터 비용과 품질 최적화까지 실무에서 마주하는 과제를 짚어준다.

흩어진 인터넷 자료만으로는 실전에 적용할 수 있는 분석 환경을 체계적으로 구축하기 어렵다. 프롬프트와 파이썬으로 나만의 데이터 분석 파이프라인을 구축하고 싶다면, 이 책이 가장 든든한 안내서가 될 것이다.

1부 언어 모델 소개

1장 LLM을 활용한 데이터 분석
__1.1 언어 모델은 무엇을 할 수 있는가?
__1.2 이 책에서 배울 내용
__1.3 언어 모델 사용 방법
____1.3.1 프롬프팅
____1.3.2 프롬프트 예시
____1.3.3 인터페이스
__1.4 언어 모델을 데이터 분석에 활용하기
____1.4.1 언어 모델을 데이터에 직접 활용하기
____1.4.2 외부 툴을 통한 데이터 분석
__1.5 비용 최소화
____1.5.1 적합한 모델 선택
____1.5.2 모델 최적화 설정
____1.5.3 프롬프트 엔지니어링
__1.6 고급 소프트웨어 프레임워크와 에이전트

2장 ChatGPT와 채팅
__2.1 웹 인터페이스 접속
__2.2 인터페이스 소개
__2.3 ChatGPT를 사용한 텍스트 처리
__2.4 ChatGPT를 사용한 테이블 처리
____2.4.1 웹 인터페이스에서 테이블 처리
____2.4.2 자체 플랫폼에서 테이블 처리

2부 언어 모델을 활용한 데이터 분석

3장 OpenAI 파이썬 라이브러리
__3.1 사전 준비 사항
__3.2 OpenAI의 파이썬 라이브러리 설치
__3.3 사용 가능한 모델 목록 조회
__3.4 채팅 완성
__3.5 모델 동작 커스터마이징
____3.5.1 종료 조건 구성
____3.5.2 출력 생성 구성
____3.5.3 무작위성 구성
____3.5.4 커스터마이제이션 예시
____3.5.5 추가 매개변수

4장 텍스트 데이터 분석
__4.1 준비 사항
__4.2 분류
____4.2.1 개요
____4.2.2 프롬프트 생성
____4.2.3 모델 호출하기
____4.2.4 종단 간 분류 코드
____4.2.5 문서 분류
____4.2.6 코드 실행 방법
____4.2.7 다양한 변형 시도해 보기
__4.3 텍스트 추출
____4.3.1 개요
____4.3.2 프롬프트 생성
____4.3.3 후처리
____4.3.4 종단 간 추출 코드
____4.3.5 직접 해 보기
__4.4 클러스터링
____4.4.1 개요
____4.4.2 임베딩 계산하기
____4.4.3 벡터 클러스터링
____4.4.4 텍스트 클러스터링을 위한 종단 간 코드
____4.4.5 직접 해 보기
____4.4.6 임베딩 벡터의 다른 활용 사례

5장 구조화된 데이터 분석
__5.1 개요
__5.2 게임 판매 분석을 위한 자연어 쿼리 인터페이스
____5.2.1 SQLite 데이터베이스 설정
____5.2.2 SQL 기초
____5.2.3 개요
____5.2.4 text-to-SQL 변환을 위한 프롬프트 생성
____5.2.5 완성된 코드
____5.2.6 직접 해 보기
__5.3 일반적인 자연어 쿼리 인터페이스
____5.3.1 쿼리 실행
____5.3.2 데이터베이스 구조 추출
____5.3.3 전체 코드
____5.3.4 시험 운용
__5.4 그래프 데이터를 위한 자연어 쿼리 인터페이스
____5.4.1 그래프 데이터란 무엇인가?
____5.4.2 Neo4j 데이터베이스 설정
____5.4.3 Cypher 쿼리 언어
____5.4.4 질문을 Cypher 쿼리로 변환하기
____5.4.5 프롬프트 생성하기
____5.4.6 전체 코드
____5.4.7 직접 해 보기

6장 이미지와 동영상 분석
__6.1 설정
__6.2 이미지에 대한 질문 답변하기
____6.2.1 멀티모달 입력 지정하기
____6.2.2 코드 설명
____6.2.3 직접 해 보기
__6.3 이미지에서 사람 태그하기
____6.3.1 개요
____6.3.2 로컬에 저장된 이미지 인코딩하기
____6.3.3 로컬에 저장된 이미지를 OpenAI로 전송하기
____6.3.4 종단 간 구현
____6.3.5 직접 해 보기
__6.4 동영상 제목 생성하기
____6.4.1 개요
____6.4.2 동영상 프레임 인코딩
____6.4.3 종단 간 구현
____6.4.4 직접 해 보기

7장 오디오 데이터 분석
__7.1 준비 작업
__7.2 오디오 파일 텍스트 전사
____7.2.1 음성을 텍스트로 전사하기
____7.2.2 종단 간 코드
____7.2.3 직접 해 보기
__7.3 음성을 이용한 관계형 데이터 쿼리
____7.3.1 기본 준비 사항
____7.3.2 개요
____7.3.3 오디오 녹음
____7.3.4 종단 간 코드
____7.3.5 시험 운용
__7.4 음성-음성 번역
____7.4.1 개요
____7.4.2 음성 생성하기
____7.4.3 종단 간 코드
____7.4.4 직접 해 보기

3부 고급 주제

8장 GPT 대안 모델
__8.1 Anthropic
____8.1.1 Claude와 대화하기
____8.1.2 파이썬 라이브러리
__8.2 Cohere
____8.2.1 Command R+와 대화하기
____8.2.2 파이썬 라이브러리
__8.3 Google
____8.3.1 Gemini와 채팅하기
____8.3.2 파이썬 라이브러리
__8.4 Hugging Face
____8.4.1 웹 플랫폼
____8.4.2 파이썬 라이브러리

9장 비용과 품질 최적화
__9.1 예시 시나리오
__9.2 조정되지 않은 분류기
__9.3 모델 튜닝
__9.4 모델 선택
__9.5 프롬프트 엔지니어링
__9.6 Tunable 분류기
__9.7 파인튜닝
__9.8 훈련 데이터 생성하기
__9.9 파인튜닝 작업 시작하기
__9.10 파인튜닝된 모델 사용하기

10장 소프트웨어 프레임워크
__10.1 LangChain
__10.2 LangChain을 이용한 리뷰 분류
____10.2.1 개요
____10.2.2 분류 체인의 생성
____10.2.3 코드 완성
____10.2.4 시도하기
__10.3 에이전트: 대형 언어 모델을 주도적으로 활용하기
__10.4 데이터 분석을 위한 에이전트 구축
____10.4.1 개요
____10.4.2 LangChain을 이용한 에이전트 생성
____10.4.3 데이터 분석 에이전트의 전체 코드
____10.4.4 직접 해 보기
__10.5 사용자 정의 툴 추가하기
____10.5.1 통화 변환기
____10.5.2 직접 실행해 보기
__10.6 LlamaIndex를 사용한 멀티모달 데이터 인덱싱
____10.6.1 개요
____10.6.2 LlamaIndex 설치
____10.6.3 간단한 쿼리 응답 시스템 구현
____10.6.4 직접 실행해 보기
__10.7 결론

이매뉴얼 트러머 코넬대학교 컴퓨터과학과 부교수로 재직 중이며, 데이터 분석과 머신러닝의 접점에서 연구하고 있다. 특히 LLM을 데이터 분석에 활용하는 연구에 주력하여 여러 차례 논문상을 수상했고, 산업계와도 활발히 협력하고 있다. 유튜브에 올린 강의 영상도 조회수 100만을 돌파했다.

평소에는 바이올린 연주와 뉴욕주 북부의 아름다운 자연 탐방을 즐기며, 가족과 함께하는 시간을 소중히 여긴다.