LLM 마스터 모델×시스템 엔지니어링

모델을 '빌려 쓰는' 시대에서 '만들어 쓰는' 시대로 원리에서 구현까지, LLM 개발의 전체 흐름을 익힌다 LLM API를 호출해 서비스를 만드는 것과 모델을 제대로 이해하고 다루는 것은 다른 문제입니다. 목적에 맞게 모델을 학습하고 최적화하며, 실제 서비스 환경에서 안정적으로 운영하려면 모델과 시스템을 함께 이해해야 합니다. LLM 개발에는 모델의 작동 원리를 이해하는 일부터 목적에 맞게 학습하고, 빠르게 서빙하며, RAG와 에이전트로 실제 시스템을 구축하는 일까지 서로 다른 영역의 지식이 필요합니다. 이 책은 이 과정을 개별 기술의 나열이 아니라 하나로 이어지는 엔지니어링 흐름으로 설명합니다. 언어 모델의 원리부터 트랜스포머까지 깊이 이해한다 BoW와 N-gram에서 RNN, LSTM, Seq2Seq를 거쳐 트랜스포머에 이르는 언어 모델의 발전 과정을 따라갑니다. 셀프 어텐션의 작동 원리를 수식과 메커니즘 수준에서 이해하고, 그리디 디코딩, 빔 서치, Top-k, Top-p 등 주요 디코딩 전략까지 익혀 LLM의 탄탄한 기초를 다집니다. 모델을 학습하고, 최적화하고, 빠르게 서빙한다 SFT와 LoRA, QLoRA 같은 PEFT 기법으로 모델을 효율적으로 파인튜닝하고 평가합니다. VLM과 툴콜링 모델의 파인튜닝까지 경험하며 목적과 데이터에 맞게 모델을 조정합니다. 이어 FlashAttention, PagedAttention, MQA/GQA, KV 캐시, 연속 배치 등 추론·서빙 최적화의 핵심 원리를 이해하고 vLLM 기반 서빙으로 연결합니다. DeepSeek-R1과 GRPO를 통해 강화학습 기반 추론 모델의 원리를 살펴보고, MiniR1의 추론 능력을 직접 훈련하고 평가합니다. 고급 RAG와 에이전트로 실제 AI 시스템을 구축한다 Docling을 활용한 문서 처리부터 BM25와 벡터 검색을 결합한 하이브리드 검색, HyDE, 크로스 인코더 리랭킹, 캐싱까지 고급 RAG 기법을 단계적으로 적용합니다. 이어 ReAct와 툴콜링, 예외 처리, 동시 도구 실행, Text-to-SQL을 활용해 외부 도구와 데이터를 연결하고 실제 문제를 해결하는 에이전트 시스템을 구현합니다. 배운 기술은 프로젝트로 완성한다 뉴스 요약과 키워드 추출, 패션 속성 추출, 멀티턴 상담 챗봇, MiniR1 추론 훈련, 금융 PDF RAG, 병원 DB 질의 챗봇까지 다양한 프로젝트를 구현합니다. RunPod를 활용한 GPU 학습, vLLM 기반 서빙, 모델 평가 등 실제 개발 과정도 경험합니다. 트랜스포머의 원리를 이해하는 데서 시작해 모델을 학습하고 서비스하며, RAG와 에이전트로 확장하는 과정까지. 흩어져 있던 LLM 기술을 하나의 개발 흐름으로 연결하고 싶은 독자에게 필요한 실전 로드맵입니다. 이런 분께 추천합니다! ● API 활용을 넘어 트랜스포머의 내부 구조와 작동 원리를 깊이 이해하고 싶은 개발자 ● 자체 데이터로 모델을 파인튜닝하고 최적화해 목적에 맞게 활용하려는 AI 실무자 ● 학습한 모델을 빠르게 서빙하고 실제 LLM 서비스로 구현하려는 개발자 ● 고급 RAG와 에이전트까지 연결해 더 완성도 높은 AI 시스템을 구축하고 싶은 엔지니어

추천의 글
들어가며
이 책의 대상 독자와 사전 지식
이 책의 구성과 학습 로드맵
이 책을 효과적으로 읽는 법
예제 파일과 실습 환경

Chapter 1 언어 모델
1 언어 모델 이전의 텍스트 표현: 백오브워즈
2 언어 모델의 개념과 원리
3 인공 신경망 기반 언어 모델
4 Seq2Seq와 인코더-디코더 구조

Chapter 2 트랜스포머 아키텍처와 LLM 핵심 기술
1 트랜스포머 아키텍처
2 어텐션 메커니즘의 작동 원리
3 다양한 트랜스포머 모델 분석
4 사전학습의 개념과 주요 방식
5 허깅페이스 허브 활용하기
6 텍스트 생성의 디코딩과 샘플링 기법
7 LLM 토크나이저와 챗 템플릿

Chapter 3 LLM 파인튜닝과 학습 효율화
1 파인튜닝의 개념과 원리
2 파인튜닝의 등장 배경과 현재 역할
3 지시사항 튜닝
4 PEFT: 효율적인 파인튜닝 기법
5 [실습] 파인튜닝: 뉴스 기사 요약 및 키워드 추출

Chapter 4 비전 언어 모델과 Qwen3-VL
1 VLM을 위한 비전 인코더
2 Qwen3-VL의 구조
3 Qwen3-VL의 학습
4 [실습] Qwen3-VL로 패션 상품 속성 추출

Chapter 5 펑션 콜링 에이전트 파인튜닝
1 펑션 콜링의 이해
2 [실습] 파인튜닝: 쇼핑몰 멀티턴 챗봇
3 [데모] 함수를 호출하는 멀티턴 상담 챗봇

Chapter 6 LLM 추론·서빙 최적화
1 어텐션 연산과 메모리 최적화
2 KV 캐시 최적화
3 서빙 배치 관리
4 추론 가속화 기법
5 LLM 서빙 프레임워크

Chapter 7 Reasoning LLM과 강화학습
1 Reasoning LLM의 개념과 등장 배경
2 Reasoning LLM의 핵심 기술
3 DeepSeek-R1의 특징과 학습 원리
4 [프로젝트] MiniR1 추론 모델 학습

Chapter 8 RAG 시스템 구축과 최적화
1 기본 RAG 파이프라인 설계
2 랭체인으로 RAG 파이프라인 구성하기
3 고급 검색 및 RAG 기법
4 대화 메모리와 히스토리 관리
5 RAG 파이프라인 최적화
6 [프로젝트] 금융 PDF 기반 RAG 챗봇 구축

Chapter 9 도구 호출 에이전트
1 도구 호출 에이전트의 개념과 구조
2 서로 다른 두 축: 펑션 콜링과 ReAct
3 [실습] ReAct: 추론과 행동을 교차하기
4 [실습] 펑션 콜링: JSON 형식으로 도구 호출하기
5 [실습] 예외 처리와 병렬 실행
6 [응용] Text-to-SQL로 데이터베이스 질의하기

마치며
참고문헌
찾아보기

에디 유 IT 대기업에서 검색 증강 생성(RAG)과 AI 에이전트 시스템을 개발하고 있습니다. LLM 기반 서비스 구축에 깊은 관심을 두고 있으며, 최근에는 AI 에이전트의 추론 능력을 높이기 위한 파인튜닝 연구에 집중하고 있습니다. 지은 책으로 『LLM과 RAG로 구현하는 AI 애플리케이션』, 『한 번에 끝내는 라마인덱스×RAG×AI 에이전트』, 번역한 책으로 『이론부터 실전까지 AI 에이전트 완벽 마스터』가 있습니다.