한 번에 끝내는 라마인덱스 × RAG × AI 에이전트

LLM의 환각을 잡고 실무형 AI 서비스를 완성하는 가장 친절한 로드맵이 책은 단순히 LLM(대형 언어 모델)을 호출하는 것을 넘어, 원하는 지식을 정확하고 신뢰성 있게 답변하는 AI 서비스를 구축하고 싶은 독자를 위한 라마인덱스(LlamaIndex) 실전 가이드다. 생성형 AI의 최대 약점인 환각 현상을 해결하는 핵심 기술인 RAG(검색 증강 생성)부터, 스스로 판단하고 행동하는 AI 에이전트 구축까지, 실무에서 바로 적용할 수 있는 개발 노하우를 한 권에 담았다.

특히 이 책의 가장 큰 강점은 한국어 중심의 실습 데이터와 매우 친절하고 상세한 실습 안내다. 한국어 문서를 기반으로 실습을 진행하며, 한국어 형태소 분석, 불용어 처리 등 국내 실정에 맞는 구체적인 검색 최적화 전략을 자연스럽게 익힐 수 있다. 또한, 라마인덱스를 처음 접하는 초심자도 막히지 않도록 개발 환경 설정부터 API 발급까지 단계별로 안내하여, 누구나 처음부터 끝까지 편하게 실습을 따라갈 수 있도록 구성했다.

책 내용은 단순한 기능 나열에 그치지 않고, 기술의 진화 흐름에 맞춰 체계적으로 학습할 수 있도록 전개된다. 'RAG 파이프라인 구현 → 고급 검색 알고리즘 → 멀티모달과 문서 처리 → AI 에이전트와 UI 구현'까지 이어지는 학습 구조는 실무에서 가이드로 삼을 만큼 완성도가 높다.

AI 기술을 업무에 도입하려는 개발자뿐만 아니라, LLM의 작동 원리를 이해하고 설계하려는 기획자와 연구자에게도 훌륭한 길잡이가 되어줄 것이다. 이 책은 여러분을 'AI를 이해하고 설계하는 사람'으로 이끄는 가장 쉽고 빠른 길이 될 것이다. 복잡한 AI 기술을 내 손으로 직접 구현하고 확인해보자.

주요 내용RAG 시스템의 목적·구조·선택 기준 정리라마인덱스 기반 인덱싱·임베딩·검색 구현멀티모달 문서를 처리하는 라마파스 실전 활용법ReAct·Function Calling 기반 AI 에이전트 고급 설계스트림릿·그라디오 기반 프로토타입 UI 제작벡터 DB(FAISS/Chroma) 활용 및 최적화

추천사 ix
베타리더 후기 x
머리말 xii

CHAPTER 1 라마인덱스 및 RAG 이해하기 1
1.1 라마인덱스 소개 1
__1.1.1 대형 언어 모델 1 / 1.1.2 LLM의 학습 방법과 한계점 2 / 1.1.3 라마인덱스 소개 4 / 1.1.4 라마인덱스와 랭체인 비교 5 / 1.1.5 라마인덱스 환경 소개 7
1.2 프롬프트 8
__1.2.1 프롬프트와 콘텍스트 8 / 1.2.2 토큰 10 / 1.2.3 프롬프트: 시스템, 사용자, 어시스턴트 12
1.3 RAG 13
__1.3.1 RAG의 작동 원리 14 / 1.3.2 RAG의 구성 요소 16
1.4 라마인덱스 RAG 파이프라인 19
__1.4.1 데이터 로더 19 / 1.4.2 문서 분할과 노드 20 / 1.4.3 임베딩과 인덱스 21 / 1.4.4 쿼리 엔진: Query the LLM 22
1.5 라마인덱스 사용 준비하기 23
__1.5.1 VS Code 설치하기 23 / 1.5.2 파이썬 설치하기 28 / 1.5.3 ChatGPT API 준비하기 30

CHAPTER 2 라마인덱스 RAG 기본 파이프라인 구현하기 37
2.1 실습 환경 세팅 37
__2.1.1 가상 환경을 사용하는 이유 37 / 2.1.2 실습 코드 다운로드 39 / 2.1.3 가상 환경 세팅 41
2.2 라마인덱스 기초 파이프라인 구현 44
__2.2.1 실습 코드 오픈 및 가상 환경 선택 44 / 2.2.2 파이프라인 코드 설명 46
2.3 데이터 로드 49
__2.3.1 Document 50 / 2.3.2 노드 54 / 2.3.3 여러 가지 데이터 로더 소개 57 / 2.3.4 여러 가지 노드파서 소개 62
2.4 임베딩과 인덱스 69
__2.4.1 임베딩을 통한 문장 간 유사도 평가 70 / 2.4.2 VectorStoreIndex 72 / 2.4.3 로컬에 인덱스 저장 74
2.5 벡터 스토어 77
__2.5.1 FAISS 78 / 2.5.2 크로마 DB 81 / 2.5.3 기존 벡터 DB 활용 85
2.6 검색 및 쿼리 86
__2.6.1 쿼리 엔진이란? 87 / 2.6.2 쿼리 엔진 간단 사용법 89 / 2.6.3 RetrieverQueryEngine 91 / 2.6.4 Chat Engine 96
2.7 스트림릿을 활용한 RAG 애플리케이션 구축 97
__2.7.1 스트림릿 소개 97 / 2.7.2 스트림릿 설치 99 / 2.7.3 스트림릿 기본 사용법 101 / 2.7.4 스트림릿 RAG 애플리케이션 105 / 2.7.5 스트림릿 앱 배포 109

CHAPTER 3 고급 검색 알고리즘을 활용한 Advanced RAG 구현 119
3.1 희소 검색과 밀집 검색 119
__3.1.1 희소 검색 119 / 3.1.2 밀집 검색 120
3.2 라마인덱스를 활용한 BM25 RAG 구현 122
__3.2.1 TF-IDF 122 / 3.2.2 BM25 125 / 3.2.3 BM25 검색기를 통한 RAG 구현 132
3.3 리랭킹 기법 139
__3.3.1 리랭킹의 개념 139 / 3.3.2 혼합 검색 구현하기 141 / 3.3.3 크로스 인코더 기반의 리랭킹 라마인덱스 RAG 구현 146 / 3.3.4 LLM 기반의 리랭킹 라마인덱스 RAG 구현 159
3.4 다중 쿼리 생성 167
__3.4.1 다중 쿼리 생성 기능 구현 167 / 3.4.2 다중 쿼리 생성을 적용한 RAG 구현 171
3.5 가상 문서 임베딩 176
__3.5.1 가상 문서 임베딩 기능 구현 177 / 3.5.2 가상 문서 임베딩을 적용한 RAG 구현 179

CHAPTER 4 RAG 시스템 구현을 위한 여러 가지 모델 소개 183
4.1 LLM 선택 시 고려할 점 183
__4.1.1 API vs 로컬 183 / 4.1.2 LLM 모델 벤치마크 185 / 4.1.3 임베딩 모델 벤치마크 189
4.2 LLM 모델 소개 및 사용법 191
__4.2.1 OpenAI 192 / 4.2.2 구글 195 / 4.2.3 앤트로픽 199 / 4.2.4 딥시크 204
4.3 임베딩 모델 소개 및 사용법 210
__4.3.1 OpenAI 210 / 4.3.2 구글 제미나이 211 / 4.3.3 코히어 213 / 4.3.4 허깅 페이스 217 / 4.3.5 업스테이지 221
4.4 상용 vs 오픈소스 모델 실전 비교 223
__4.4.1 상용 조합(클로드 + 코히어) 224 / 4.4.2 오픈소스 조합(DeepSeek-R1 + 허깅 페이스) 227

CHAPTER 5 이미지와 표도 인식하는 멀티모달 RAG 구현 231
5.1 라마인덱스 멀티모달 RAG 소개 231
__5.1.1 멀티모달 RAG 개념 231 / 5.1.2 라마인덱스 멀티모달 RAG 파이프라인 233
5.2 라마인덱스 라마파스 활용하기 236
__5.2.1 라마파스 소개 236 / 5.2.2 라마파스 사용 준비하기: API 키 발급 237 / 5.2.3 라마파스를 활용한 RAG 구현하기 240
5.3 텍스트, 이미지를 활용한 라마인덱스 RAG 247
__5.3.1 이미지 파일을 활용한 멀티모달 구현하기 247 / 5.3.2 라마인덱스 멀티모달 RAG 파이프라인 구현하기 251 / 5.3.3 이미지를 입력으로 하는 RAG 구현하기 257
5.4 복잡한 PDF 문서를 활용한 RAG 시스템 구현 264
__5.4.1 이미지 파일로 추출하기: unstructured 사용하기 265 / 5.4.2 PDF 문서 텍스트, 표 문서로 저장하기 272 / 5.4.3 이미지 캡셔닝 273 / 5.4.4 인덱스 생성 및 RAG 구현 278

CHAPTER 6 생각하고 판단하는 ReAct 에이전트 285
6.1 생각의 사슬 288
6.2 환경 설정 및 데이터 로드 289
6.3 쿼리 엔진 만들기 293
6.4 도구 만들기 295
6.5 프롬프트 작성하기 297
6.6 에이전트 객체 선언 300
6.7 에이전트 RAG 300
6.8 멀티턴: 이전 대화 고려하기 303
6.9 그라디오를 이용한 웹 애플리케이션 310
__6.9.1 그라디오와 스트림릿 비교 310 / 6.9.2 RAG 애플리케이션 312 / 6.9.3 애플리케이션 데모 315

CHAPTER 7 즉시 함수를 호출하는 Function Calling 에이전트 319
7.1 Function Calling 이해하기 319
7.2 ReAct 에이전트와의 비교 320
7.3 환경 설정 및 필요 라이브러리 설치 321
7.4 쇼핑몰 데이터 구조 설계 323
7.5 고객 지원 함수 구현 327
7.6 에이전트 객체 선언 335
7.7 멀티턴: 이전 대화 고려하기 337
7.8 그라디오를 이용한 웹 애플리케이션 346

찾아보기 353

에디 유 현업에서 RAG와 에이전트 관련 업무를 주로 수행하고 있다. LLM 기반 서비스 개발에 관심이 많은데, 특히 요즘은 에이전트의 추론 능력 고도화를 위한 파인튜닝에 집중하고 있다. 저서로는 《LLM과 RAG로 구현하는 AI 애플리케이션》(위키북스, 2025)가 있으며, 《이론부터 실전까지 AI 에이전트 완벽 마스터》(프리렉, 2025)를 번역했다.