실전! RAG 기반 생성형 AI 개발

▣ 01장: RAG(검색 증강 생성)가 필요한 이유
1.1 RAG란 무엇인가?
1.2 단순, 고급, 모듈형 RAG 구성
1.3 RAG 대 미세조정
1.4 RAG 생태계
__1.4.1 검색기(D)
__1.4.2 생성기(G)
__1.4.3 평가기(E)
__1.4.4 훈련기(T)
1.5 단순, 고급, 모듈형 RAG의 파이썬 구현
__1.5.1 파트 1: 기초와 기본 구현
__1.5.2 파트 2: 고급 기법과 평가

▣ 02장: 딥 레이크와 오픈AI를 활용한 RAG 임베딩 벡터 저장소
2.1 원시 데이터에서 벡터 저장소의 임베딩으로
2.2 RAG 시스템을 하나의 파이프라인으로 구성
2.3 RAG 기반 생성형 AI 파이프라인
2.4 RAG 파이프라인 구축
__2.4.1 환경 설정
__2.4.2 구성요소 1: 데이터 수집과 준비
__2.4.3 구성요소 2: 데이터 임베딩과 저장
__2.4.4 벡터 저장소 정보
__2.4.5 구성요소 3: 입력 증강과 응답 생성
2.5 코사인 유사도를 이용한 출력 평가

▣ 03장: 라마인덱스, 딥 레이크, 오픈AI를 활용한 색인 기반 RAG 구축
3.1 색인 기반 RAG를 사용하는 이유
__3.1.1 아키텍처
3.2 드론 기술 정보를 위한 의미론적 검색 엔진과 생성형 에이전트 구축
__3.2.1 환경 설치
__3.2.2 파이프라인 1: 문서 수집과 준비
__3.2.3 파이프라인 2: 벡터 저장소 준비
__3.2.4 파이프라인 3: 색인 기반 RAG
3.3 벡터 저장소 색인 및 쿼리 엔진
__3.3.1 쿼리 응답과 출처 확인
__3.3.2 최적화된 청킹
__3.3.3 성능 지표
3.4 트리 색인 쿼리 엔진
__3.4.1 성능 지표
3.5 목록 색인 쿼리 엔진
__3.5.1 성능 지표
3.6 키워드 색인 쿼리 엔진
__3.6.1 성능 지표

▣ 04장: 드론 기술을 위한 다중 모달 모듈형 RAG
4.1 다중 모달 모듈형 RAG란 무엇인가?
4.2 드론 기술용 다중 모달 모듈형 RAG 프로그램 구축
__4.2.1 LLM 데이터셋 적재
__4.2.2 다중 모달 데이터셋 적재 및 시각화
__4.2.3 다중 모달 데이터셋 구조
__4.2.4 다중 모달 쿼리 엔진 구축
__4.2.5 다중 모달 모듈형 쿼리 결과 요약
__4.2.6 성능 지표

▣ 05장: 전문가의 피드백을 이용한 RAG 성능 향상
5.1 적응형 RAG
5.2 파이썬을 이용한 하이브리드 적응형 RAG 시스템 구축
__5.2.1 검색기(섹션 1)
__5.2.2 생성기(섹션 2)
__5.2.3 평가기(섹션 3)

▣ 06장: 파인콘을 이용한 RAG 은행 고객 데이터 확장
6.1 파인콘을 이용한 확장
__6.1.1 아키텍처
6.2 파이프라인 1: 데이터셋 수집 및 준비
__6.2.1 데이터셋 수집과 처리(섹션 1)
__6.2.2 탐색적 데이터 분석(섹션 2)
__6.2.3 ML 모델 훈련(섹션 3)
6.3 파이프라인 2: 파인콘 색인(벡터 저장소) 확장
__6.3.1 벡터 저장소 관리의 난제들
__6.3.2 환경 설치
__6.3.3 데이터셋 처리
__6.3.4 데이터셋 청킹 및 임베딩
__6.3.5 파인콘 색인 생성
__6.3.6 업서트
__6.3.7 파인콘 색인 쿼리
6.4 파이프라인 3: RAG 생성형 AI
__6.4.1 GPT-4o를 이용한 RAG
__6.4.2 관련 텍스트 추출
__6.4.3 입력 증강과 프롬프트 엔지니어링
__6.4.4 증강 생성

▣ 07장: 위키백과 API와 라마인덱스를 활용한 확장 가능한 지식 그래프 기반 RAG 구축
7.1 지식 그래프 기반 의미 검색을 위한 RAG 아키텍처
__7.1.1 노드들로 트리 그래프 만들기
7.2 파이프라인 1: 문서 수집 및 준비
__7.2.1 위키백과 데이터 및 메타데이터 검색
__7.2.2 업서트를 위한 데이터 준비
7.3 파이프라인 2: 딥 레이크 벡터 저장소 생성 및 채우기
7.4 파이프라인 3: 지식 그래프 색인 기반 RAG
__7.4.1 지식 그래프 색인 생성
__7.4.2 그래프 표시
__7.4.3 지식 그래프 색인과 상호작용
__7.4.4 유사도 점수 패키지 설치 및 함수 정의
__7.4.5 재순위화
__7.4.6 예시 지표들

▣ 08장: 크로마와 허깅 페이스 라마를 이용한 동적 RAG
8.1 동적 RAG의 아키텍처
8.2 환경 설치
__8.2.1 허깅 페이스 설치
__8.2.2 크로마 설치
8.3 세션 시간 활성화
8.4 데이터셋 다운로드 및 준비
8.5 크로마 컬렉션에 데이터 임베딩 및 업서트
__8.5.1 모델 선택
__8.5.2 문서 임베딩 및 저장
__8.5.3 임베딩 표시
8.6 컬렉션에 대한 쿼리 실행
8.7 프롬프트와 검색
8.8 라마를 이용한 RAG
__8.8.1 컬렉션 삭제
8.9 전체 세션 시간

▣ 09장: AI 모델의 역량 강화 - RAG 데이터와 인간 피드백의 미세조정
9.1 정적 RAG 데이터 미세조정의 아키텍처
__9.1.1 RAG 생태계
9.2 환경 설치
9.3 미세조정을 위한 데이터셋 준비(섹션 1)
__9.3 1 데이터셋 다운로드와 시각화(섹션 1.1)
__9.3 2 미세조정을 위한 데이터셋 준비(섹션 1.2)
9.4 모델 미세조정(섹션 2)
__9.4.1 미세조정 모니터링
9.5 미세조정된 오픈AI 모델 실행(섹션 3)
9.6 지표

▣ 10장: 파인콘과 오픈AI를 활용한 동영상 스톡 제작용 RAG 시스템
10.1 동영상 제작을 위한 RAG 아키텍처
10.2 동영상 제작 생태계의 환경
__10.2.1 모듈과 라이브러리 임포트
__10.2.2 깃허브
__10.2.3 오픈AI
__10.2.4 파인콘
10.3 파이프라인 1: 생성기와 해설 작성기
__10.3.1 AI 생성 동영상 데이터셋
__10.3.2 생성기와 해설 작성기
10.4 파이프라인 2: 벡터 저장소 관리자
__10.4.1 파인콘 색인 쿼리
10.5 파이프라인 3: 동영상 전문가

▣ 부록A: 연습문제 해답

데니스 로스먼 데니스 로스먼은 소르본 대학교(Sorbonne Universit?)와 파리디드로 대학교(Universit? Paris-Diderot; 파리 제7대학교)를 졸업했다. 학생 시절에 초창기 word2vector 임베딩과 단어 조각 토큰화(word piece tokenization) 솔루션 중 하나를 개발해서 특허를 등록했다. AI 배포에 중점을 둔 회사를 설립해서 초창기 AI 인지 NLP 챗봇 중 하나를 개발했는데, 그 챗봇은 모엣 & 샹동(LVMH 계열사)의 언어 교육 도구로 쓰였다. 이후 로스먼은 설명 가능한 AI(explainable AI) 전문가로 빠르게 성장해서, 항공우주와 의류, 공급망 분야의 주요 기업 프로젝트에서 해석 가능하고 수용성 기반의 설명 데이터와 인터페이스를 솔루션에 통합했다. 다른 사람에게 어떤 것을 가르쳐 봐야만 그것을 진정으로 알 수 있다는 신념을 지니고 있다.