생성형 AI 인 액션(생성형 AI 프로그래밍 시리즈 20)

《생성형 AI 인 액션》은 대형 언어 모델(LLM)과 최신 AI 기술을 효과적이고 안전하게 활용하기 위한 실제 사례, 인사이트, 기법들을 제시한다. 이 책에서는 마케팅, 소프트웨어 개발, 비즈니스 보고서 생성, 데이터 스토리텔링 등 인간 중심의 다양한 작업에 AI를 적용하는 실용적인 접근 방식을 다룬다. 또한 생성형 AI 애플리케이션의 최신 설계 패턴을 살펴보고, 프롬프트 엔지니어링의 모범 사례를 익히며, 환각, 높은 운영 비용, 빠르게 변화하는 기술 환경 등 일반적인 문제들을 해결하는 방법도 배울 수 있다.

★ 이 책에서 다루는 내용 ★

◎ 생성형 AI 애플리케이션에 대한 실용적인 개요
◎ 생성형 AI를 위한 아키텍처 패턴, 통합 가이드 및 모범 사례
◎ RAG, 프롬프트 엔지니어링, 멀티모달리티 등 최신 기법
◎ 환각(hallucination), 탈옥(jailbreak)과 같은 생성형 AI의 과제 및 위험
◎ 비즈니스 및 IT 전략에 생성형 AI를 통합하는 방법

[01부] 생성형 AI의 기초

▣ 01장: 생성형 AI 소개
1.1 이 책에서 다루는 내용은 무엇인가?
1.2 생성형 AI란 무엇인가?
1.3 무엇을 생성할 수 있는가?
__1.3.1 엔티티 추출
__1.3.2 텍스트 생성
__1.3.3 이미지 생성
__1.3.4 코드 생성
__1.3.5 논리 문제 해결 능력
__1.3.6 음악 생성
__1.3.7 동영상 생성
1.4 기업 사용 사례
1.5 생성형 AI를 사용하지 않는 경우
1.6 생성형 AI는 기존 AI와 어떻게 다른가?
1.7 기업은 어떤 접근 방식을 취해야 하는가?
1.8 아키텍처 고려 사항
1.9 기업의 생성형 AI 도입 절차

▣ 02장: 대규모 언어 모델 소개
2.1 기반 모델 개요
2.2 LLM 개요
2.3 트랜스포머 아키텍처
2.4 훈련 컷오프
2.5 LLM의 유형
2.6 소규모 언어 모델
2.7 오픈 소스 vs. 상용 LLM
__2.7.1 상용 LLM
__2.7.2 오픈 소스 LLM
2.8 LLM의 주요 개념
__2.8.1 프롬프트
__2.8.2 토큰
__2.8.3 토큰 계산
__2.8.4 임베딩
__2.8.5 모델 구성
__2.8.6 컨텍스트 윈도
__2.8.7 프롬프트 엔지니어링
__2.8.8 모델 적응
__2.8.9 창발적 행동

▣ 03장: API를 통한 작업 - 텍스트 생성
3.1 모델 범주
__3.1.1 종속성
__3.1.2 모델 조회
3.2 완성 API
__3.2.1 완성 확장
__3.2.2 Azure 콘텐츠 안전 필터
__3.2.3 다중 완성
__3.2.4 무작위성 제어
__3.2.5 top_p를 사용한 무작위성 제어
3.3 고급 완성 API 옵션
__3.3.1 스트리밍 완성
__3.3.2 토큰 확률에 영향을 미치는 요소: logit_bias
__3.3.3 존재 및 빈도 페널티
__3.3.4 로그 확률
3.4 대화형 완성 API
__3.4.1 시스템 역할
__3.4.2 완료 이유
__3.4.3 비채팅 시나리오를 위한 대화형 완성 API
__3.4.4 대화 관리
__3.4.5 토큰 관리를 위한 모범 사례
__3.4.6 추가 LLM 제공업체

▣ 04장: 픽셀에서 사진으로 - 이미지 생성
4.1 비전 모델
__4.1.1 변분 오토인코더
__4.1.2 생성적 적대 신경망
__4.1.3 비전 트랜스포머 모델
__4.1.4 확산 모델
__4.1.5 멀티모달 모델
4.2 스테이블 디퓨전을 통한 이미지 생성
__4.2.1 종속성
__4.2.2 이미지 생성하기
4.3 다른 제공업체를 통한 이미지 생성
__4.3.1 OpenAI DALL·E 3
__4.3.2 Bing 이미지 크리에이터
__4.3.3 Adobe Firefly
4.4 스테이블 디퓨전을 사용해 이미지 편집 및 향상하기
__4.4.1 이미지-투-이미지 API를 사용해 이미지 생성
__4.4.2 마스킹 API 사용
__4.4.3 업스케일 API를 사용해 이미지 크기 조정
__4.4.4 이미지 생성 팁

▣ 05장: 인공지능은 또 무엇을 생성할 수 있을까?
5.1 코드 생성
__5.1.1 코드를 신뢰할 수 있는가?
__5.1.2 깃허브 코파일럿
__5.1.3 코파일럿의 작동 방식
5.2 추가적인 코드 관련 작업
__5.2.1 코드 설명
__5.2.2 테스트 생성
__5.2.3 코드 참조
__5.2.4 코드 리팩터링
5.3 기타 코드 생성 도구
__5.3.1 Amazon CodeWhisperer
__5.3.2 Code Llama
__5.3.3 탭나인
__5.3.4 자가 점검
__5.3.5 코드 생성을 위한 모범 사례
5.4 동영상 생성
5.5 오디오 및 음악 생성

[02부] 고급 기법과 응용

▣ 06장: 프롬프트 엔지니어링 가이드
6.1 프롬프트 엔지니어링이란?
__6.1.1 프롬프트 엔지니어링이 필요한 이유
6.2 프롬프트 엔지니어링의 기본
6.3 컨텍스트 내 학습 및 프롬프팅
6.4 프롬프트 엔지니어링 기법
__6.4.1 시스템 메시지
__6.4.2 제로샷 학습, 퓨샷 학습, 그리고 다중샷 학습
__6.4.3 명확한 구문 사용
__6.4.4 컨텍스트 내 학습이 잘되게 하는 법
__6.4.5 추론: 생각의 연쇄
__6.4.6 자체 일관성 샘플링
6.5 이미지 프롬프팅
6.6 프롬프트 주입
6.7 프롬프트 엔지니어링 도전 과제
6.8 모범 사례

▣ 07장: 검색 증강 생성: 비밀 무기
7.1 RAG란 무엇인가?
7.2 RAG의 이점
7.3 RAG 아키텍처
7.4 검색기 시스템
7.5 벡터 데이터베이스 이해
__7.5.1 벡터 인덱스란 무엇인가?
__7.5.2 벡터 검색
7.6 RAG 과제
7.7 청킹 관련 과제 해결 방안
__7.7.1 청킹 전략
__7.7.2 청킹 전략에 영향을 미치는 요인
__7.7.3 알려지지 않은 복잡성 처리
__7.7.4 문장 단위 청킹
__7.7.5 자연어 처리를 사용한 청킹
7.8 PDF 청킹

▣ 08장: 데이터와 채팅하기
8.1 기업이 자체 데이터를 활용할 때의 이점
__8.1.1 대용량 컨텍스트 윈도의 장단점
__8.1.2 데이터를 활용한 채팅 애플리케이션 구축
8.2 벡터 데이터베이스 사용
8.3 정보 검색을 위한 계획
8.4 데이터 검색
__8.4.1 검색기 파이프라인 모범사례
8.5 Redis를 사용한 검색
8.6 RAG 기반의 종합적인 채팅 구현
8.7 Azure OpenAI on your data 사용
8.8 기업이 보유한 데이터를 RAG에 통합할 때의 이점

▣ 09장: 모델 적응 및 미세 조정을 통한 모델 맞춤화
9.1 모델 적응이란 무엇인가?
__9.1.1 모델 적응의 기초
__9.1.2 기업에서의 장점과 과제
9.2 LLM을 언제 미세 조정해야 하는가
__9.2.1 LLM 미세 조정의 주요 단계
9.3 OpenAI 모델 미세 조정
__9.3.1 미세 조정을 위한 데이터 세트 준비
__9.3.2 LLM 평가
__9.3.3 미세 조정
__9.3.4 미세 조정 훈련 지표
__9.3.5 Azure OpenAI를 사용한 미세 조정
9.4 미세 조정된 모델 배포
__9.4.1 추론: 미세 조정된 모델
9.5 LLM 훈련
__9.5.1 사전 훈련
__9.5.2 지도 미세 조정
__9.5.3 보상 모델링
__9.5.4 강화학습
__9.5.5 직접 정책 최적화
9.6 모델 적응 기법
__9.6.1 낮은 순위 적응
9.7 RLHF 개요
__9.7.1 RLHF의 과제
__9.7.2 RLHF 구현 확장하기

[03부] 배포 및 윤리적 고려 사항

▣ 10장: 생성형 AI 앱을 위한 애플리케이션 아키텍처
10.1 생성형 AI: 애플리케이션 아키텍처
__10.1.1 소프트웨어 2.0
__10.1.2 코파일럿의 시대
10.2 생성형 AI: 애플리케이션 스택
__10.2.1 생성형 AI 스택 통합
__10.2.2 생성형 AI 아키텍처 원칙
__10.2.3 생성형 AI 애플리케이션 아키텍처: 상세 보기
10.3 오케스트레이션 계층
__10.3.1 오케스트레이션 프레임워크의 이점
__10.3.2 오케스트레이션 프레임워크
__10.3.3 운영 관리
__10.3.4 프롬프트 관리
10.4 그라운딩 계층
__10.4.1 데이터 통합 및 전처리
__10.4.2 임베딩 및 벡터 관리
10.5 모델 계층
__10.5.1 모델 앙상블 아키텍처
__10.5.2 모델 서빙
10.6 응답 필터링

▣ 11장: 확장하기: 프로덕션 배포를 위한 모범 사례
11.1 프로덕션 배포의 과제
11.2 배포 옵션
11.3 API를 통한 관리형 LLM
11.4 프로덕션 배포를 위한 모범 사례
__11.4.1 LLM 추론을 위한 지표
__11.4.2 지연 시간
__11.4.3 확장성
__11.4.4 PAYGO
__11.4.5 할당량 및 속도 제한
__11.4.6 할당량 관리
__11.4.7 관찰 가능성
__11.4.8 보안 및 규정 준수 고려 사항
11.5 생성형 AI 운영 고려 사항
__11.5.1 신뢰성 및 성능 고려 사항
__11.5.2 관리형 ID
__11.5.3 캐싱
11.6 LLMOps 및 MLOps
11.7 프로덕션 배포를 위한 체크리스트

▣ 12장: 평가 및 벤치마크
12.1 LLM 평가
12.2 기존 평가 지표
__12.2.1 BLEU
__12.2.2 ROUGE
__12.2.3 BERTScore
__12.2.4 기존 지표 평가의 예
12.3 LLM 작업별 벤치마크
__12.3.1 G-Eval: NLG 평가를 위한 측정 접근 방식
__12.3.2 LLM 기반 평가 지표의 예
__12.3.3 HELM
__12.3.4 HEIM
__12.3.5 HellaSWAG
__12.3.6 대규모 멀티태스크 언어 이해
__12.3.7 평가에 Azure AI Studio 사용
__12.3.8 DeepEval: LLM 평가 프레임워크
12.4 새로운 평가 벤치마크
__12.4.1 SWE-bench
__12.4.2 MMMU
__12.4.3 MoCa
__12.4.4 HaluEval
12.5 인간 평가

▣ 13장: 윤리적인 생성형 AI를 위한 가이드: 원칙, 사례, 그리고 함정
13.1 생성형 AI 위험
__13.1.1 LLM 제한 사항
__13.1.2 환각
13.2 생성형 AI 공격 이해
__13.2.1 프롬프트 주입
__13.2.2 안전하지 않은 출력 처리 예시
__13.2.3 모델 서비스 거부 공격
__13.2.4 데이터 포이즈닝 및 백도어
__13.2.5 민감정보 유출
__13.2.6 과의존
__13.2.7 모델 탈취
13.3 책임 있는 AI 수명 주기
__13.3.1 위해 요소 식별
__13.3.2 위해 요소 측정 및 평가
__13.3.3 위해 요소 완화
__13.3.4 투명성과 설명 가능성
13.4 레드 팀
__13.4.1 레드 팀 예시
__13.4.2 레드 팀 도구 및 기법
13.5 콘텐츠 안전성
__13.5.1 Azure Content Safety
__13.5.2 Google Perspective API
__13.5.3 콘텐츠 필터 평가

▣ 부록
A: 이 책의 깃허브 저장소
B: 책임 있는 AI 도구
__B.1 모델 카드
__B.2 투명성 설명서
__B.3 HAX 툴킷
__B.4 책임 있는 AI 툴박스
__B.5 학습 해석 도구
__B.6 AI Fairness 360
__B.7 C2PA
C: Azure OpenAI 사용 가이드
__C.1 Microsoft 계정 생성 및 Azure 구독 준비
__C.2 Azure OpenAI 리소스 생성
__C.3 모델 배포
__C.4 키 및 엔드포인트 확인
D: 필수 의존성 구성 요소 설치 매뉴얼
__D.1 Visual Studio Code 설치하기
__D.2 Conda 설치하기
__D.3 Python 설치하기
__D.4 Git 설치하기

아미트 바리 아미트 바리는 마이크로소프트의 수석 그룹 프로덕트 매니저이자 엔지니어링 팀의 일원으로서, Azure AI 플랫폼 기반의 차세대 AI 제품과 서비스를 개발하고 있다. 그는 주요 고객사를 대상으로 플랫폼 전반에 걸친 맞춤형 엔지니어링을 책임지고 있으며, 다양한 AI를 활용해 복잡한 엔터프라이즈 시나리오를 해결하는 업무를 담당한다. 순수한 기술 애호가인 그는 기술 및 제품 개발 분야에서 30년에 가까운 경력을 쌓아왔다. 응용 연구, 머신러닝, 인공지능, 클라우드 플랫폼에 대한 깊은 전문성을 보유하고 있으며, 산업을 혁신하고 사람들의 삶을 향상시키는 강력하고 책임 있는 AI 제품을 만드는 일에 열정을 가지고 있다. 아내, 딸, 그리고 약간은 응석받이지만 사랑스러운 반려견과 함께 시애틀 지역에 거주하고 있다.