테디노트의 랭체인을 활용한 RAG 비법노트: 심화편

★ 더욱 정교하게: 고급 RAG로 필요한 정보를 추출한다
기본 RAG의 리트리버는 단순히 벡터 유사도에만 근거해 실제로 중요한 문서를 뽑아내는 데 한계가 있다. 이때 리트리버 검색 문서의 순위를 재조정하는 리랭커(CrossEncoder, Cohere, Jina, FlashRank 등)를 도입하면 더욱 정확하고 관련성 높은 정보를 추출할 수 있다. 문서를 계층 구조로 요약하는 RAPTOR를 이용해 구체적인 질문부터 추상적인 질문까지 효과적으로 답변하는 방법도 있으며, Stuff, Map-Reduce, Map-Refine, CoD(Chain of Density), Clustering-Map-Refine 등 여러 기법을 이용해 밀도 높은 요약을 얻는 과정을 실험해 볼 수 있다.

★ 더욱 유연하게: LCEL 고급 문법을 이용해 복잡한 체인을 구성한다
LCEL 기반 체인을 구성하는 여러 Runnable 클래스(RunnableLambda, RunnableParallel, RunnableBranch, RunnablePassthrough 등)를 활용해 병렬 처리, 조건 분기, 라우팅, 동적 프롬프트 구성 등을 구현한다. 사용자 입력에 따라 프롬프트와 모델을 선택적으로 바꾸거나 체인 흐름을 분기 처리하는 고급 설계까지 직접 실습할 수 있다.

★ 더욱 정확하게: RAG 시스템의 응답 품질을 평가하고 개선한다
RAGAS를 통해 LLM 응답의 관련성, 신뢰도, 문맥과의 정합성 등을 수치화하여 평가하는 방법을 다루고, LangSmith API로 평가 데이터셋 생성, LLM-as-a-judge 기반 평가, 사용자 정의 평가자 구현, 휴리스틱 기반 평가, 온라인 평가 자동화, 응답 비교 평가 등 실제 품질 실험을 위한 다양한 평가 방식을 체계적으로 안내한다. 실습은 코드 기반으로 진행되며 실험 결과를 비교 분석하는 방식까지 포함되어 있다.

★ 더욱 편리하게: LangChain으로 에이전트를 구성하고 외부 도구를 연동한다
LLM이 외부 도구를 직접 호출해 복잡한 작업을 수행하는 에이전트 구조를 다룬다. 파이썬 REPL, Tavily 검색 도구, DALL·E 등 다양한 도구를 바인딩하고, 메모리 기능과 중간 응답 스트리밍까지 포함한 실습을 통해 실제 업무 수준의 자동화 작업을 구현해 본다. AgentExecutor, Agentic RAG, 파일 분석, 보고서 작성 자동화 등 실전 예제를 통해 단순한 QA를 넘어선 확장형 LLM 시스템 설계를 학습할 수 있다.

★ 더욱 완전하게: 실제 사용자에게 제공할 수 있는 서비스를 배포한다
Streamlit을 이용해 사용자 입력과 체인 실행 결과를 연결하는 웹 UI를 구성하고, 설정 파일과 GitHub 연동을 통해 배포 이후의 코드 수정과 테스트까지 실습한다. LangServe를 활용해 체인이나 에이전트를 API로 서빙하고, NGROK을 통해 외부에서 접근 가능한 환경을 구성한다.


▶추천사
"LangChain의 알파이자 오메가입니다. 이 시리즈로 배웠다면 더 배울 것이 없다고 할 정도로 상세히 많은 내용을 다루고 있습니다. 취업을 준비하든, 기업에서 AI 구현을 시작하든, AI의 실체를 알고 싶은 모든 분들에게 이 책을 권합니다 ."
_장동인_ KAIST 김재철 AI 대학원 책임교수 및 AIBB LAB 대표

"이 책은 '생존 키트'입니다. 특히 LangChain을 기반으로 한 RAG 전략과 현장 중심의 팁들은 빠르게 변화하는 개념을 단시간에 체득할 수 있을 뿐 아니라 바로 현업에서 실질적인 성과를 얻을 수 있습니다. 저자의 시간과 노하우를 오롯이 담아낸 이 노트를 너무 쉽게 얻게 되어 미안한 마음까지 듭니다."
_강수진_ 더 프롬프트 컴퍼니 대표


▶코드 리뷰어들의 후기
"실습 중심으로 개념 학습은 물론, 실제 프로젝트에 곧바로 적용할 수 있는 실전형 가이드입니다. 특히 LangSmith와 같은 최신 도구까지 반영되어 있어 그 가치는 더 큽니다."
_전창원_ LG CNS

"전공자가 아닌 제가 감히 리뷰를 해도 될지 고민했지만, 저와 비슷하게 다른 분야의 업무를 하면서 AI 분야 필요성을 느껴 배움을 시작하는 독자들에게 조금이라도 도움이 되고자 하는 마음으로 진행했습니다. 실습 중심의 구성과 친절한 설명 덕분에 누구든 부담 없이 시작할 수 있을 것입니다."
_김무상_ 삼성전자

"『테디노트의 랭체인을 활용한 RAG 비법노트』는 LLM을 뛰어놀게 하는 아름다운 코드입니다. 리뷰를 거듭할수록 저자의 피와 땀이 얼마나 이 코드에 스며들었는지 느낄 수 있었습니다."
_김정욱_ 브레인크루


▶이 책에 쏟아진 찬사
"시작이 어려웠던 모두에게 최고의 선택이 될 것입니다."
_김재호_수원대학교 대학원 컴퓨터학과

"독보적 한국형 예시로 이해가 쏙쏙 되었고 빠르게 성장할 수 있었습니다."
_박정기_JCH SYSTEMS / AI 선임 연구원 / n8n Korea 앰버서더

"복잡한 설명 없이 step by step 따라하기로! 정말 매력적입니다. 사실입니다."
_신정호_입소스코리아 / 데이터사이언스

"책이 아니라 나침반을 사는 겁니다."
_오주영_프리랜서

"LangChain 입문에 있어서 바이블 같은 책"
_정광원_주식회사 스튜디오엠 개발팀 팀장

"더 이상 랭체인이 무엇인지, 어떻게 개발해야 하는지 찾지 않게 되었습니다."
_조영준_에스티이지

"코드를 따라 가다 보니 어느새 랭체인 마스터가 되었습니다."
_허수영_윈드케어


▶이 책이 필요한 독자
RAG 시스템의 기본은 알고 있지만, 실무 수준의 고도화가 필요한 개발자서비스 수준의 RAG를 구축하려는 개발자검색 품질 향상과 성능 최적화에 관심 있는 개발자사내 문서 검색, FAQ 시스템, 지식 관리 시스템을 구축하려는 기업 담당자대용량 문서 처리와 정확도 향상이 중요한 업무를 담당하는 사람AI 도입 후 품질 관리와 평가 체계 구축이 필요한 담당자업무 자동화를 위한 에이전트 시스템 구축이 필요한 사람

▶ 이 책에서 다루는 내용
_PART 01 고급 RAG
문서 검색 후 리랭커로 순위를 재정렬해 RAG의 답변 품질을 높이고, 네이버 뉴스 기반 QA 시스템과 오픈소스 LLM을 활용한 구현 방법을 설명한다. 밀도 높은 요약을 위해 다섯 가지 방식도 소개한다.

_PART 02 LCEL 고급 문법
LangChain에서 모델과 데이터를 효율적으로 연결하고 실행하기 위한 표현 언어인 LCEL의 다양한 Runnable 클래스를 활용해 병렬 처리, 데이터 변환, 라우팅 등을 수행한다.

_PART 03 RAG 평가와 개선
RAGAS를 활용해 정답 없이도 응답의 품질을 평가하고, LangSmith에서 데이터셋 생성부터 LLM 기반 자동 평가, 휴리스틱 평가, 온라인 평가까지 여러 방식으로 RAG 시스템을 실험하고 개선하는 과정을 다룬다.

_PART 04 에이전트
LangChain 에이전트를 통해 LLM이 검색, 계산, 이미지 생성 등 외부 도구를 활용해 복잡한 작업을 수행하는 방법을 다룬다. 도구 바인딩, 메모리, 스트리밍 출력 기능을 실습하고, Agentic RAG부터 업무 자동화까지 다양한 활용 사례를 소개한다.

_PART 05 서비스 배포
LangChain 에이전트를 실제 서비스로 확장하는 방법을 다룬다. LangServe를 활용해 에이전트를 배포하고, Streamlit으로 사용자 입력과 실행 과정을 보여주는 웹 UI를 구축한다.

프롤로그
추천사
독자들의 찬사
코드 리뷰어들의 후기
다운로드 및 문의
이 책의 구성


PART 01 고급 RAG

CHAPTER 01 리랭커로 검색된 문서 순위 조정하기
01 교차 인코더 리랭커
02 Cohere 리랭커
03 Jina 리랭커
04 FlashRank 리랭커

CHAPTER 02 RAG 파이프라인
01 네이버 뉴스 기사 기반 QA 시스템
02 RAPTOR
03 무료 오픈 모델로 구현하는 문서 기반 QA 시스템

CHAPTER 03 사전에 정의된 체인
01 Stuff 요약
02 Map-Reduce 요약
03 Map-Refine 요약
04 Chain of Density(CoD) 요약
05 Clustering-Map-Refine 요약
06 SQL 쿼리 생성기


PART 02 LCEL 고급 문법

CHAPTER 04 LCEL 고급 문법으로 Runnable 활용하기
01 RunnablePassthrough
02 Runnable 구조 검토하기
03 RunnableLambda
04 RunnableBranch와 RunnableLambda를 이용한 라우팅
05 RunnableParallel
06 config로 LLM이나 프롬프트를 동적으로 변경하기
07 @chain 데코레이터로 Runnable 설정하기


PART 03 RAG 평가와 개선

CHAPTER 05 RAGAS로 답변 평가하기
01 합성 테스트 데이터셋 생성하기
02 RAGAS로 평가하기
03 테스트 데이터셋 번역 및 업로드 관리하기

CHAPTER 06 LangSmith API를 활용한 프롬프트 최적화
01 평가용 테스트 데이터셋 구축하기
02 LLM-as-a-judge로 평가하기
03 사용자 정의 평가자 만들기
04 휴리스틱 방식으로 평가하기
05 실험별 비교 분석하기
06 요약 평가자로 전체 수준 평가하기
07 Groundedness 평가자로 할루시네이션 확인하기
08 Pairwise 평가로 실험 비교 분석하기
09 반복 평가하기
10 온라인 LLM 평가자를 활용한 평가 자동화하기
11 RAGAS를 활용해 RAG 평가하기


PART 04 에이전트

CHAPTER 07 도구와 툴킷
01 LangChain에서 제공하는 도구
02 사용자 정의 도구 만들기

CHAPTER 08 에이전트 주요 기능
01 LLM에 도구 바인딩하기
02 에이전트와 AgentExecutor 생성하기
03 에이전트의 중간 단계 스트리밍 출력하기
04 이전 대화 내용을 기억하는 에이전트 만들기
05 다양한 LLM을 활용해 에이전트 생성하기
06 iter() 함수로 단계별 출력하고 확인하기

CHAPTER 09 에이전트 활용
01 Agentic RAG
02 CSV, 엑셀 데이터 분석 에이전트
03 파일 관리 업무 자동화 에이전트
04 보고서 작성 업무 자동화 에이전트
05 CSV 파일 기반 데이터 분석 에이전트

PART 05 서비스 배포

CHAPTER 10 Streamlit을 이용한 서비스 배포 실습
01 배포를 위한 config 설정하기
02 배포를 위한 GitHub와 기타 설정 파일 준비하기
03 배포 및 동작 테스트하기
04 서비스 수정 및 변경 사항 확인하기

CHAPTER 11 LangServe
01 LangServe로 모델을 서빙하기
02 NGROK을 활용해서 모델을 외부에 공개하기

에필로그
찾아보기

이경록(테디노트) 삼성전자 무선사업부에서 소프트웨어 엔지니어로 출발했다. 2018년 AI 교육·개발 스타트업 브레인크루를 창업하며 현장 개발에 뛰어들었고, 데이터 분석, 머신러닝, 딥러닝 공부를 했던 것을 기반으로 생성형 AI 시대를 맞아 기술과 삶을 잇는 실전 개발을 끊임없이 하고 있다. 특히 2023년부터는 LLM·RAG 애플리케이션을 제작하며 〈랭체인 한국어 튜토리얼〉을 공개해 LangChain·LangGraph 생태계를 국내에 확산시켰고, 지금은 기업과 대학을 오가며 강연과 컨설팅을 통해 더 많은 학습자와 조직이 AI를 손에 쥘 수 있도록 돕고 있다.
개발을 사랑하고 사람들과 소통하는 것을 즐기는 천직 개발자다. 또한 지식 공유의 즐거움을 원동력 삼아 LLM 애플리케이션의 최전선에서 '쉬운 기술 설명'을 전파하는 데 누구보다 진심이다. 특히 이 믿음으로 지식 공유 플랫폼 '테디노트' 블로그와 유튜브 채널을 운영한다. 2025년 4월 현재 유튜브 구독자 4.2만 명, GitHub 튜토리얼 1,630개와 약 1,500명의 팔로워를 기록하며 입문자에게 친숙한 언어로 AI 개념과 최신 동향을 전하고 있다.

대표 저서
- 일잘러의 비밀, 챗GPT와 GPTs로 나만의 AI 챗봇 만들기(2025, 한빛미디어)
- 파이썬 딥러닝 텐서플로 (2021, 정보문화사)