101가지 문제로 배우는 딥러닝 허깅페이스 트랜스포머 with 파이토치

이 책은 트랜스포머 모델에 대한 가장 기본적인 개념과 이론은 물론, 실전에서 유용한 코랩과 파이토치를 통해 문장 자동 번역, 줄거리 요약, 음성/이미지 인식, 추출 등의 자연어 처리 과정을 경험해 볼 수 있습니다. 또한 체계적으로 분류된 101가지 문제를 바탕으로 허깅페이스의 트랜스포머스 라이브러리를 다루며 상황에 따라 활용하는 방법을 알아봅니다.

[이 책에서 다루는 내용]
_01~03장: 구글 코랩 환경 설정 / DistillBERT 파인튜닝, IMDB 데이터세트, 사전학습 / 모델 성능 평가, 예측 성과 지표 분석
_04~05장: GPT-Neo, DistilGPT2, DialoGPT를 활용한 텍스트 자동 생성 / BERT, DistilBERT, ALBERT 로딩 MLM 파이프라인을 통한 토큰 예측
_06~07장: CLIP를 통한 이미지 인식과 자연어 처리 / Wav2Vec2 자동 음성 인식 모델, 오디오 데이터 처리
_08~09장: BERT 사전학습 모델, 데이터세트, 파인튜닝, 분류 정확도 분석 / BART 사전학습 모델, 정규식 활용, 토크나이징, 추론, 디코딩
_10~12장: BERT 앙상블 데이터세트, BERT 앙상블 학습 및 예측 / BigBird 데이터세트와 추론 / PEGASUS 토크나이징 및 인코딩, 자동 요약
_13~14장: M2M100를 통한 중국어, 한국어 자동 번역 / Mobile BERT 라이브러리를 활용한 빈칸 채우기
_15~16장: GPT, DialoGPT, DistilGPT2를 통한 문장 생성 활용 / BERT, tSNE의 자연어 처리 실습 및 벡터 처리, 시각화

[이 책의 대상 독자]
_트랜스포머스 라이브러리를 직접 경험해 보고 싶은 대학생, 개발자
_파이토치와 코랩으로 간편하게 딥러닝, 머신러닝을 분석하고 싶은 사람 누구나!

01장 파이프라인
_문제 001 구글 코랩 환경 설정
_문제 002 감성 분석
_문제 003 질의 응답

02장 DistillBERT 파인튜닝 및 평가
_사전준비: GPU 설정
_문제 004 IMDB 데이터세트
_문제 005 레이블 인코딩
_문제 006 학습 및 검증 데이터세트 분리
_문제 007 토크나이징 및 인코딩
_문제 008 데이터세트 클래스 생성
_문제 009 사전학습 모델 불러오기
_문제 010 TrainingArguments 설정
_문제 011 GPU로 전송
_문제 012 Trainer 클래스 사전학습
_문제 013 파이토치 사전학습

03장 모델 성능 평가
_예측 성과지표
_문제 014 정확도
_문제 015 재현율, 정밀도, F1값
_문제 016 분류 리포트

04장 GPT를 활용한 작문
_문제 017 GPT-Neo 작문 환경 설정
_문제 018 GPT-Neo 토크나이징
_문제 019 GPT_Neo 작문
_문제 020 DistilGPT2 환경 설정
_문제 021 DistilGPT2 작문
_문제 022 DialoGPT 환경 설정
_문제 023 DialoGPT 작문

05장 MLM
_문제 024 BERT 로딩 MLM 파이프라인
_문제 025 DistilBERT 로딩 MLM 파이프라인
_문제 026 ALBERT 로딩 MLM 파이프라인

06장 CLIP - 이미지 인식과 자연어 처리 연동
_CLIP란?
_문제 027 CLIP 모듈 설치
_문제 028 샘플 이미지 데이터세트
_문제 029 CLIP 기반 사전학습 모델 불러오기
_문제 030 CLIP 기반 사전학습 모델 신경망 구조
_문제 031 CLIP 전처리
_문제 032 전처리 후 이미지 확인
_문제 033 인코딩 및 디코딩
_문제 034 CLIP 추론
_문제 035 CLIP 추론에서 로짓 추출
_문제 036 CLIP 캡션 예측 결과

07장 Wav2Vec2 자동 음성 인식
_문제 037 Wav2Vec2 모듈 설치
_문제 038 Wav2Vec2 사전학습 모델 불러오기
_문제 039 자동 음성 인식 데이터세트 불러오기
_문제 040 코랩에서 오디오 데이터 확인
_문제 041 Wav2Vec2 전처리
_문제 042 Wav2Vec2 자동 음성 인식 실행

08장 BERT 다중 클래스 분류
_문제 043 다중 클래스 분류용 BERT 사전학습 모델 불러오기
_문제 044 데이터세트 준비
_문제 045 파인튜닝 없는 BERT 분류
_문제 046 BERT 분류 파인튜닝
_문제 047 파인튜닝 BERT 모델 학습 과정 시각화
_문제 048 파인튜닝 후 BERT 분류
_문제 049 분류 정확도

09장 BART 자동 요약
_문제 050 BART 라이브러리 설정 및 사전학습 모델 불러오기
_문제 051 정규식 활용 전처리
_문제 052 학습 모델 이전에 BART 토크나이징
_문제 053 BART 토크나이징 결과를 넘파이 어레이로 변경
_문제 054 BART 추론
_문제 055 BART 추론 결과 디코딩

10장 BERT 앙상블 학습
_문제 056 BERT 앙상블 학습 라이브러리 설정
_문제 057 BERT 앙상블 데이터세트 준비
_문제 058 BERT 앙상블 클래스 정의
_문제 059 앙상블 트레이닝에 사용할 사전학습 BERT 불러오기
_문제 060 BERT 앙상블 학습 - 데이터 증강
_문제 061 BERT 앙상블 학습 - 커스텀 데이터세트 정의
_문제 062 BERT 앙상블 학습 - DataLoader
_문제 063 BERT 앙상블 파인튜닝
_문제 064 학습 데이터세트를 활용한 BERT 앙상블 학습 및 예측
_문제 065 학습 데이터세트 이외의 BERT 앙상블 학습 및 예측

11장 BigBird
_문제 066 BigBird 라이브러리 설정 및 사전학습 모델 불러오기
_문제 067 BigBird 추론용 데이터세트 준비
_문제 068 BigBird 토크나이징 및 인코딩
_문제 069 BigBird 추론

12장 PEGASUS
_문제 070 PEGASUS 라이브러리 설정 및 사전학습 모델 불러오기
_문제 071 토크나이징 및 인코딩
_문제 072 PEGASUS 자동 요약

13장 M2M100 자동 번역
_문제 073 M2M100 라이브러리 설치 및 사전학습 모델 불러오기
_문제 074 M2M100 번역 소스로 중국어 텍스트 준비
_문제 075 소스 언어 M2M100 토크나이징
_문제 076 M2M100 중국어/영어 자동 변역
_문제 077 generate 메서드 결과물 디코딩
_문제 078 M2M100 번역 소스로 한국어 텍스트 준비
_문제 079 M2M100 한국어 텍스트 토크나이징
_문제 080 M2M100 한국어/영어 자동 번역
_문제 081 M2M100 번역 결과물 디코딩

14장 Mobile BERT
_문제 082 Mobile BERT 라이브러리 설치 및 사전학습 모델 불러오기
_문제 083 Mobile BERT vs BERT Tokenizer
_문제 084 Mobile BERT 추론 시 마지막 은닉층
_문제 085 Mobile BERT 빈칸 채우기 퀴즈

15장 GPT, DialoGPT, DistilGPT2
_문제 086 DistilGPT2 라이브러리 설치 및 사전학습 모델 불러오기
_문제 087 DistilGPT2 시각화
_문제 088 DistilGPT2 문장 생성
_문제 089 DialoGPT 모델(Diologe Text Pre-Learning Model) 불러오기
_문제 090 DialoGPT 문장 생성

16장 자연어 처리 실습 - BERT 및 tSNE
_문제 091 위키피디아 영문 키워드 검색
_문제 092 모더나 COVID-19 위키피디아 텍스트 가져오기
_문제 093 화이자 COVID-19 위키피디아 텍스트 가져오기
_문제 094 BERT 도큐먼트 벡터 처리 모듈 설치
_문제 095 BERT 사전학습 모델을 파이프라인에 불러오기
_문제 096 BERT 도큐먼트 벡터 표현 추출
_문제 097 BERT 벡터 차원, 단어 토크나이징 및 디코딩
_문제 098 BERT [CLS] 토큰의 도큐먼트 벡터 표현 함수 및 BERT 전처리
_문제 099 모더나/화이자 Covid-19 백신 BERT [CLS] 벡터 추출
_문제 100 토크나이저를 통한 빈도수 합산
_문제 101 모더나 vs 화이자 t-SNE 시각화

조슈아 K. 케이지 와세다대학에서 School of Fundamental Science and Engineering을 전공했다. 관심 연구 분야로는 컴퓨터 네트워크 보안, 데이터마이닝, 머신러닝, 딥러닝 등이 있다.