25가지 문제로 배우는 LLM 입문 with 파이썬

이 책은 파이토치, 허깅페이스, 파이썬 등으로 구성된 25개의 실습 과제로 생성 AI와 대규모 언어 모델, 즉 LLM의 기초와 최신 기술 동향을 살펴봅니다. 먼저 개념과 이론을 살펴보고 연계된 실습을 진행한 다음 코드를 한 줄씩 상세하게 살펴보면서 이해를 높일 수 있도록 구성하였습니다. 실습은 간단하게는 프롬프트로 이미지를 생성하는 것부터 데이터 전처리, 추론 및 시각화 등을 통해
실제로 생성 AI를 구축하거나 파이토치, 허깅페이스, 파이썬 코드를 작성하는 방식으로 구성되어 있습니다. 이 책은 총 3개의 파트로 구성되어 있으며 각 파트에서 다루는 내용은 다음과
같습니다.

Chapter 1. 생성 AI
생성 AI의 정의와 구성, 알아 두어야 할 용어들을 살펴봅니다. 이 책의 실습 환경인 구글 코랩에서 간단한 실습을 통해 AI의 동작 방식을 이해할 수 있습니다.

Chapter 2. LLM 기본 편
일상에서 흔히 쓰는 AI의 기반 모델들을 살펴봅니다. n-gram, RNN, Seq2Seq, 트랜스포머 등을 살펴보고 직접 모델을 만들어 보면서 모델을 활용하는 방법을 익히게 됩니다.

Chapter 3. LLM 심화 편
더 다양한 모델과 라이브러리를 활용해 고도화된 모델을 만듭니다. GPT로 한국어 문장을 생성하기, BERT 파인튜닝으로 영문 뉴스 기사 분류하기와 같은 실습을 진행합니다. 나아가 구글 Gemma-2b, LoRa를 활용해 파인튜닝 과정까지 다룹니다.

★이 책의 대상 독자★
- 기초부터 차근차근 LLM과 생성 AI 지식을 쌓으려는 개발자
- LLM을 활용해 데이터 분석 및 모델링이 필요한 데이터 과학자
- 최신 AI 기술과 모델을 연구하고 활용하려는 AI 연구원
- 생성 AI의 밑바닥부터 구현까지 학습이 필요한 학생

★이 책의 실습 예제 다운받기★
https://github.com/jasonyim2/book5

Chapter 1 생성 AI
__01-1 _ 생성 AI란?
__01-2 _ 튜링 테스트
______실습01 챗GPT의 튜링 테스트
__01-3 _ AI의 정의
__01-4 _ 검색 엔진 빙 코파일럿
______실습02 질의 응답하기
______실습03 이미지 생성하기
______실습04 이미지로 질의 응답하기
__01-5 _ AI의 역사와 생성 AI
__01-6 _ 파이썬 프로그램 환경
______실습05 첫 파이썬 코딩
__01-7 _ AI 다트머스 회의
______실습06 숫자 이미지 그리기
______실습07 전결합형 신경망 정의하기
______실습08 학습 전 추론: 더미 데이터
______실습09 학습 전 추론: 테스트 데이터
______실습10 전처리: 데이터 정규화
______실습11 학습 데이터 및 테스트 데이터 분할
______실습12 신경망 학습시키기
______실습13 성과 평가하기
______실습14 추론 및 시각화하기
__01-8 _ 머신러닝
__01-9 _ Word2Vec으로 King-Man+Woman 계산
______실습15 Word2Vec, 유사한 단어 찾아 정렬하기
__01-10 _ 딥러닝
______실습16 Sentence-Transformer를 활용한 문장의 유사도 측정하기
__01-11 _ 디퓨전 모델과 MMM
______실습17 텍스트로 이미지 생성하기

Chapter 2 LLM 기본 편
__02-1 _ 언어 모델이란?
__02-2 _ n-gram 언어 모델
______실습18 n-gram 언어 모델 기본형 만들기
______실습19 응용 n-gram 언어 모델 만들기
__02-3 _ RNN 언어 모델
______실습20 RNN 언어 모델
__02-4 _ Seq2Seq 모델과 셀프 어텐션 메커니즘
__02-5 _ 트랜스포머
______실습21 트랜스포머를 이용한 신경망 기계 번역하기

Chapter 3 LLM 심화 편
__03-1 _ GPT
______실습22 GPT, picoGPT 실행하기
______실습23 GPT로 한국어 문장 생성하기
__03-2 _ BERT
______실습24 BERT 파인튜닝으로 영문 뉴스 기사 분류하기
__03-3 _ Text-to-Text 트랜스포머, T5
__03-4 _ 스케일링 법칙
__03-5 _ 언어 모델 퓨샷 학습기
__03-6 _ FLAN
__03-7 _ InstructGPT(RLHF, PPO)
__03-8 _ RLHF에서 DPO로
__03-9 _ MoE
__03-10 _ Sparse MoE
______실습25 나만의 LLM 파인튜닝하기

요시키 간다 와세다대학에서 School of Fundamental Science and Engineering을 전공했다. 관심 연구 분야로는 컴퓨터 네트워크 보안, 데이터마이닝, 머신러닝, 딥러닝 등이 있다.