10가지 프로젝트로 끝내는 트랜스포머 활용 가이드 with 파이토치

★이 책에서 다루는 10가지 프로젝트★
1. BERT-base-uncased 모델 파인튜닝으로 분류기 생성
2. 셰익스피어가 쓴 작품 같은 텍스트 생성
3. AI 클리닉 질의 응답 챗봇 제작
4. 안과 분야의 AI 의사 구현
5. 객체 탐지를 위한 프로그램 제작
6. 음식 사진을 분류하는 다이어트 계산기 구현
7. Whisper를 사용한 음성 to 텍스트 변환
8. SpeechT5를 활용한 텍스트 to 음성 변환
9. 노이즈 제거로 오디오 품질 개선
10. 파이토치 모델 내보내기 및 직렬화 작업

★이 책에서 다루는 10가지 주요 키워드★
1. 트랜스포머 아키텍처
2. 허깅페이스 생태계
3. 파이토치 기반 모델 구현
4. 전이 학습
5. LLM(대규모 언어 모델)
6. NLP 작업 (텍스트 분류 및 생성)
7. 컴퓨터 비전 트랜스포머 모델
8. 음성 처리 트랜스포머
9. 멀티모달 트랜스포머
10. 모델 서빙 및 배포



★이 책의 대상 독자★
* 허깅페이스 트랜스포머 모델과 라이브러리의 전체 가이드라인이 필요한 데이터 과학자
* 자연어 처리, 컴퓨터 비전, 음성 인식 등 다양한 분야의 실전 프로젝트가 궁금한 AI 엔지니어
* AI 및 머신러닝 프로젝트 관리와 구현에 대한 이해가 필요한 프로젝트 관리자
* 트랜스포머 모델이 딥러닝, 머신러닝 분야에서 어떻게 활용되는지 알고 싶은 누구나!

★아마존 독자들의 추천사★
이 책은 파이토치와 허깅페이스의 강력한 기능을 활용하여 체계적으로 통찰력 있는 고급 기법들을 제시합니다. 트랜스포머의 실용적인 응용에 깊이 파고들고자 하는 딥러닝 애호가들의 참조 서적으로 적합합니다. 내용이 잘 구성되어 있으며 최신 머신러닝 기술에 관심이 있는 독자들에게 철저하게 다가갑니다.
- sunita

트랜스포머 기반 모델 구축을 시작하고 NLP, 비전, 오디오와 관련된 프로젝트를 개발하고자 한다면 훌륭한 교재입니다. 이 책은 직접 실행하고 연습할 수 있는 완전한 코드 예제를 제공하며, 학습한 내용을 스스로 확인할 수 있는 퀴즈도 포함되어 있습니다. 전반적으로 매우 좋은 책입니다.
- Ganesh

이 책은 트랜스포머 모델 아키텍처를 자세히 설명하며 출발합니다. 본격적인 여정에서는 모델을 구현하기 위한 여러 실습 예제를 다룹니다. 기본적인 커스텀 토크나이저 생성부터 컴퓨터 비전, 음성 처리, 멀티모달 프로젝트까지 다룹니다. 모든 코드 예제가 즉시 실행할 수 있는 구글 코랩 파일로 제공되어 누구나 쉽게 따라 하며 프로젝트를 직접 만들어 볼 수 있습니다. 트랜스포머 모델에 대해 더 배우고 싶지만 방대한 콘텐츠에 압도되었다면, 이 책은 논리적인 순서로 안내하며 따라 하기 쉬운 코드 예제를 통해 '직접 실습하며 배우는' 완벽한 가이드가 될 것입니다.
- fabio santana

01장 트랜스포머 아키텍처
_01.1 NLP 모델 발전사
__01.1.1 순환 신경망(RNN)
__01.1.2 LSTM
__01.1.3 RNN 인코더-디코더
__01.1.4 어텐션 메커니즘
_01.2 트랜스포머 아키텍처
__01.2.1 임베딩
__01.2.2 위치 인코딩
__01.2.3 모델 입력
__01.2.4 인코더 층
__01.2.5 어텐션 메커니즘
_01.3 트랜스포머 학습 프로세스
_01.4 트랜스포머 추론 프로세스
_01.5 트랜스포머 종류와 애플리케이션
__01.5.1 인코더 전용 모델
__01.5.2 디코더 전용 모델
__01.5.3 인코더-디코더 모델

02장 허깅페이스 생태계
_02.1 허깅페이스 개요
__02.1.1 주요 구성 요소
__02.1.2 토크나이저
__02.1.3 커스텀 토크나이저 생성
__02.1.4 허깅페이스 사전 학습 토크나이저 사용
_02.2 Datasets 라이브러리
__02.2.1 허깅페이스 데이터셋 사용
__02.2.2 파이토치에서 허깅페이스 데이터셋 사용
_02.3 모델 파인튜닝
__02.3.1 환경 설정
__02.3.2 학습
__02.3.3 추론
_02.4 허깅페이스 모델 공유
__02.4.1 모델(Model) 공유
__02.4.2 스페이스(Spaces) 사용

03장 파이토치 트랜스포머 모델
_03.1 파이토치 트랜스포머 구성 요소
_03.2 임베딩
__03.2.1 임베딩 층 구현
_03.3 위치 인코딩
_03.4 마스킹
_03.5 트랜스포머 인코더 구성 요소
_03.6 트랜스포머 디코더 구성 요소
_03.7 파이토치 트랜스포머 층

04장 파이토치와 허깅페이스를 사용한 전이 학습
_04.1 전이 학습 필요성
_04.2 전이 학습 사용법
_04.3 사전 학습 모델 저장소
_04.4 사전 학습 모델
__04.4.1 자연어 처리(NLP)
__04.4.2 컴퓨터 비전
__04.4.3 음성 처리
_04.5 프로젝트 1: BERT-base-uncased 모델 파인튜닝으로 분류기 생성
__04.5.1 커스텀 데이터셋 클래스
__04.5.2 DataLoader 생성
__04.5.3 추론

05장 대규모 언어 모델
_05.1 대규모 언어 모델(LLM)
_05.2 성능을 결정하는 핵심 요인
__05.2.1 네트워크 사이즈: 인코더 층과 디코더 층 개수
_05.3 선도적인 LLM
__05.3.1 BERT 및 계열 모델
__05.3.2 GPT
__05.3.3 BART
_05.4 커스텀 LLM 생성
__05.4.1 Clincal-BERT 구현

06장 트랜스포머 NLP 작업
_06.1 NLP 작업
_06.2 텍스트 분류
__06.2.1 텍스트 분류에 알맞은 아키텍처
__06.2.2 트랜스포머 파인튜닝으로 텍스트 분류하기
__06.2.3 긴 시퀀스 처리
__06.2.4 문서 청킹 구현 예제
__06.2.5 계층적 어텐션 구현 예제
_06.3 텍스트 생성
__06.3.1 프로젝트 2: 셰익스피어가 쓴 것 같은 텍스트 생성
_06.4 트랜스포머 챗봇
__06.4.1 프로젝트 3: 클리닉 질의 응답(AI 의사) 트랜스포머
_06.5 PEFT 및 LoRA로 학습하기

07장 컴퓨터 비전(CV) 모델
_07.1 이미지 전처리
__07.1.1 이미지 전처리 예제
_07.2 Vision 트랜스포머 아키텍처
__07.2.1 프로젝트 4: AI 안과 의사
_07.3 Distillation 트랜스포머
__07.3.1 DeiT의 사전 학습 과정
__07.3.1 DeiT의 장점
_07.4 Detection 트랜스포머
__07.4.1 프로젝트 5: 객체 탐지 모델

08장 트랜스포머 컴퓨터 비전 작업
_08.1 컴퓨터 비전 작업
__08.1.1 이미지 분류
__08.1.2 이미지 세그멘테이션
__08.1.3 프로젝트 6: 다이어트 계산기용 이미지 세그멘테이션
_08.2 디퓨전 모델: 비조건부 이미지 생성
__08.2.1 포워드 디퓨전
__08.2.2 백워드 디퓨전
__08.2.3 추론 프로세스
__08.2.4 학습 가능(Learnable) 파라미터
__08.2.5 DogGenDiffuion 프로젝트 구현

09장 음성 처리 모델
_09.1 음성 처리
__09.1.1 음성 전처리 예제
_09.2 Whisper 모델
__09.2.1 Whisper_Nep 모델 개발 과정
_09.3 Wav2Vec 모델
__09.3.1 Wav2Vec 애플리케이션
_09.4 Speech T5 모델
__09.4.1 입출력 표현(Representation)
__09.4.2 크로스 모달 표현
__09.4.3 인코더-디코더 아키텍처
__09.4.4 사전 학습
__09.4.5 파인튜닝 및 애플리케이션
_09.5 Whisper, Wav2Vec 2.0, SpeechT5 비교

10장 트랜스포머 음성 처리 작업
_10.1 음성 처리 작업
__10.1.1 음성 to 텍스트(Speech to text)
__10.1.2 프로젝트 7: Whisper를 사용한 음성 to 텍스트 변환
_10.2 텍스트 to 음성 변환
__10.2.1 프로젝트8: 텍스트 to 음성 변환
_10.3 오디오 to 오디오 변환
__10.3.1 프로젝트9: 노이즈 제거로 오디오 품질 개선

11장 테이블 데이터 처리를 위한 트랜스포머
_11.1 트랜스포머를 사용한 테이블 데이터 처리
__11.1.1 TAPAS 아키텍처
_11.2 TabTransformer 아키텍처
_11.3 FT Transformer 아키텍처
__11.3.1 피처 토크나이저
__11.3.2 수치형과 범주형 특성 병합
__11.3.3 트랜스포머

12장 테이블 데이터 회귀 및 분류 작업용 트랜스포머
_12.1 분류 작업용 트랜스포머
__12.1.1 데이터셋
__12.1.2 타깃 변수
__12.1.3 데이터 전처리
__12.1.4 설정
__12.1.5 세 모델로 학습 및 평가
__12.1.6 평가 결과
__12.1.7 분석
_12.2 회귀 작업용 트랜스포머
__12.2.1 데이터셋
__12.2.2 데이터 전처리
__12.2.3 설정
__12.2.4 학습 및 평가

13장 멀티모달 트랜스포머
_13.1 멀티모달 아키텍처
__13.1.1 ImageBind
__13.1.2 CLIP
_13.2 멀티모달 작업
__13.2.1 피처 추출
__13.2.2 텍스트 to 이미지
__13.2.3 이미지 to 텍스트
__13.2.4 비주얼 질의 응답

14장 트랜스포머 강화 학습
_14.1 강화 학습
_14.2 강화 학습용 파이토치 테크닉(모델)
__14.2.1 Stable Baseline3
__14.2.2 Gymnasium
_14.3 강화 학습 수행 방법
_14.4 강화 학습용 트랜스포머
__14.4.1 Decision 트랜스포머
__14.4.2 Trajectory 트랜스포머

15장 모델 내보내기, 서빙, 배포
_15.1 프로젝트 10: 모델 내보내기 및 직렬화
__15.1.1 파이토치 모델 내보내기 및 불러오기
__15.1.2 여러 모델 저장
_15.2 모델 ONNX 포맷으로 모델 내보내기
_15.3 FastAPI로 모델 서빙하기
__15.3.1 FastAPI의 장점
__15.3.2 모델 서빙용 FastAPI 애플리케이션
__15.3.3 시맨틱 세그멘테이션 모델 서빙용 FastAPI
_15.4 모바일 디바이스에서 파이토치 모델 서빙하기
_15.5 AWS에서 허깅페이스 트랜스포머 모델 배포하기
__15.5.1 아마존 SageMaker를 통한 배포
__15.5.2 AWS Lamda 및 아마존 API Gateway를 통한 배포

16장 트랜스포머 모델 해석가능성 및 시각화
_16.1 설명가능성 vs 해석가능성 개념
__16.1.1 해석가능성
__16.1.2 설명가능성
_16.2 설명가능성 및 해석가능성 툴
_16.3 트랜스포머 예측 해석 용도의 CAPTUM
__16.3.1 모델 불러오기
__16.3.2 입력 준비
__16.3.3 층(레이어) 적분 그레이디언트
__16.3.4 시각화
_16.4 파이토치 모델용 텐서보드

17장 파이토치 모델의 모범 사례 및 디버깅
_17.1 트랜스포머 모델 구현 모범 사례
__17.1.1 허깅페이스 활용
__17.1.2 파이토치 모델에 대한 일반적인 고려 사항
_17.2 파이토치 디버깅 기술
__17.2.1 구문 에러
__17.2.2 런타임 에러
__17.2.3 논리적(Logical) 에러
__17.2.4 파이토치 ML 모델 디버깅에 대한 일반 가이드라인

프렘 팀시나 Prem Timsina

Mount Sinai Health Systems의 엔지니어링 디렉터로, 머신러닝/딥러닝 데이터 제품의 개발과 구현을 총괄하고 있다. 뉴욕의 여러 병원에서 의료 진단용 머신러닝 제품을 총괄하며, 파이토치, 딥러닝, 생성형 AI, Apache Spark 및 NoSQL 플랫폼을 통해 다양한 빅데이터 문제를 해결해왔다. 머신러닝, 텍스트 마이닝, 빅데이터 분석 분야에서 40편 이상의 논문을 발표, 미국 다코타 주립대학교(Dakota State University)에서 정보 시스템으로 박사 학위를 취득했다.