트랜스포머로 시작하는 자연어 처리

이 책은 자연어 처리와 트랜스포머 모델의 혁신적 발전을 심도 있게 탐구한 내용으로, AI와 NLP 분야에서 중요한 가이드가 될 것입니다. 저자는 트랜스포머 모델의 셀프-어텐션 메커니즘과 병렬 처리 능력을 통해 대규모 데이터 학습이 가능해지는 과정을 상세히 설명합니다. 이는 NLP 작업의 판도를 바꾸며, 언어 모델링, 챗봇, 텍스트 요약, 음성 인식, 기계 번역 등 다양한 응용 분야에서 뛰어난 성능을 발휘합니다.

특히, 이 책에서 파이썬, 파이토치, 텐서플로우 등의 도구를 사용하여 언어 이해의 핵심 요소를 다루고, 다양한 트랜스포머 모델의 아키텍처를 분석합니다. GPT-4와 같은 대규모 모델의 학습과 응용을 통해 AI의 최신 동향을 파악할 수 있으며, 소셜 네트워크, 스트리밍 서비스 등 다양한 도메인에서의 활용 가능성이 있다는 것을 알려줍니다.

또한, 이 책은 단순한 기술 설명에 그치지 않고, 실제 적용 사례와 코딩 예제를 통해 독자가 직접 실습해볼 수 있도록 구성되어 있습니다. 자연어 이해를 위한 딥러닝 방법론에 중점을 두고, 다양한 응용사례와 실습을 통해 독자의 이해를 돕습니다.

결론적으로, 이 책은 트랜스포머 모델을 중심으로 한 NLP의 혁신적 발전을 이해하고 이를 실제로 적용하는 데 필요한 지식을 제공하는 필수적인 참고서입니다. AI 전문가뿐만 아니라, NLP에 관심 있는 모든 독자에게 가치 있는 정보를 제공하며, 파이썬 프로그래밍에 익숙한 딥러닝 및 NLP 실무자, 데이터 분석가, 데이터 과학자들에게 특히 유용할 것입니다.

■ 옮긴이의 말
최근 머신러닝에 대한 관심이 높아지고 기술이 발전함에 따라, 사람이 직접 수행하던 반복적인 작업들이 자동화되고 해결하지 못했던 문제들이 해결되고 있습니다. 시간이 지남에 따라 데이터는 계속해서 축적되고 있습니다. 이 방대한 양의 데이터를 학습하기 위해 더 크고 더 복잡한 모델이 계속해서 제안되었으며, 트랜스포머는 그중 가장 큰 혁신을 일으켰습니다. 이제 트랜스포머는 모든 인공지능 분야의 기본 소양입니다.
이 책은 트랜스포머의 기본 개념과 작동 방식에 대한 풍부한 정보를 제공합니다. 이 책을 통해 BERT, RoBERTa, GPT-3 등 다양한 트랜스포머 모델의 장단점과 사용 사례를 탐색하여 기계 번역, 감정 분석, 가짜 뉴스 탐지 등의 문제에 활용하는 방법을 이해할 수 있습니다. 또한 블랙박스처럼 감춰진 트랜스포머 모델을 해석하는 방법을 배우고, 모델이 어떻게 결정을 내리는지 이해하면서 모델의 신뢰성을 높일 수 있습니다. 마지막으로 초인간 트랜스포머의 등장과 OpenAI의 ChatGPT 및 GPT-4와 같은 트랜스포머 기술의 최신 동향에 대해 알아볼 수 있습니다.

1장 트랜스포머란 무엇인가?
1.1 트랜스포머 생태계
1.2 트랜스포머로 NLP 모델 최적화
1.3 어떤 리소스를 사용해야 하나요?
1.4 정리하기
1.5 문제
1.6 참고 문헌

2장 트랜스포머 모델 아키텍처 살펴보기
2.1 트랜스포머의 시작: Attention is All You Need
2.2 학습과 성능
2.3 허깅페이스의 트랜스포머 모델
2.4 정리하기
2.5 문제
2.6 참고 문헌

3장 BERT 모델 미세 조정하기
3.1 BERT 아키텍처
3.2 BERT 미세 조정하기
3.3 정리하기
3.4 문제
3.5 참고 문헌

4장 RoBERTa 모델 처음부터 사전 학습하기
4.1 토크나이저 학습하기 및 트랜스포머 사전 학습하기
4.2 처음부터 KantaiBERT 구축하기
4.3 다음 단계
4.4 정리하기
4.5 문제
4.6 참고 문헌

5장 RoBERTa 모델 처음부터 사전 학습하기
5.1 트랜스포머의 트랜스덕션과 귀납적 상속
5.2 트랜스포머 성능 vs 인간 기준값
5.3 다운스트림 작업 실행하기
5.4 정리하기
5.5 문제
5.6 참고 문헌

6장 트랜스포머를 사용한 기계 번역
6.1 기계 번역 정의하기
6.2 WMT 데이터셋 전처리하기
6.3 BLEU로 기계 번역 평가하기
6.4 구글 번역으로 번역하기
6.5 트랙스로 번역하기
6.6 정리하기
6.7 문제
6.8 참고 문헌

7장 GPT-3 엔진을 사용한 초인간 트랜스포머 등장
7.1 GPT-3 트랜스포머 모델을 사용한 초인간 NLP
7.2 OpenAI GPT 트랜스포머 모델의 아키텍처
7.3 GPT-2를 사용한 일반 텍스트 완성
7.4 커스텀 GPT-2 언어 모델 학습
7.5 OpenAI GPT-3 작업 실행하기
7.6 GPT-2와 GPT-3의 출력 비교하기
7.7 GPT-3 미세 조정하기
7.8 4차 산업혁명 AI 전문가의 역할
7.9 정리하기
7.10 문제
7.11 참고 문헌

8장 법률 및 금융 문서에 트랜스포머를 적용하여 요약하기
8.1 범용 텍스트 투 텍스트 모델 디자인하기
8.2 T5를 사용해 요약하기
8.3 GPT-3로 요약하기
8.4 정리하기
8.5 문제
8.6 참고 문헌

9장 데이터셋에 적합한 토크나이저
9.1 데이터셋에 적합한 토크나이저
9.2 특정 어휘가 포함된 표준 NLP 작업
9.3 GPT-3의 범위 살펴보기
9.4 정리하기
9.5 문제
9.6 참고 문헌

10장 BERT 기반 트랜스포머를 사용한 SRL
10.1 SRL(Semantic Role Labeling, 의미역 결정)
10.2 BERT 기반 모델을 사용한 SRL 실험
10.3 기본 예시
10.4 어려운 예시
10.5 SRL 적용 범위에 대한 의문
10.6 정리하기
10.7 문제
10.8 참고 문헌

11장 데이터가 말하게 하기: 스토리, 질문, 답변
11.1 방법론
11.2 방법 0: 시행착오
11.3 방법 1: NER
11.4 방법 2: SRL
11.5 다음 단계
11.6 정리하기
11.7 문제
11.8 참고 문헌

12장 고객 감정을 감지해 예측하기
12.1 SST(Stanford Sentiment Treebank)
12.2 감성 분석으로 고객 행동 예측하기
12.3 GPT-3를 사용한 감성 분석
12.4 4차 산업 시대에 관한 몇 가지 생각
12.5 정리하기
12.6 문제
12.7 참고 문헌

13장 트랜스포머로 가짜 뉴스 분석하기
13.1 가짜 뉴스에 대한 감정 반응
13.2 가짜 뉴스에 대한 이성적 접근법
13.3 마치기 전에
13.4 정리하기
13.5 문제
13.6 참고 문헌

14장 블랙박스 트랜스포머 모델 해석하기
14.1 BertViz로 트랜스포머 시각화하기
14.2 LIT
14.3 딕셔너리 러닝을 활용한 트랜스포머 시각화
14.4 내부를 볼 수 없는 모델 분석하기
14.5 정리하기
14.6 문제
14.7 참고 문헌

15장 NLP부터 범용 트랜스포머 모델까지
15.1 모델과 생태계 선택하기
15.2 리포머
15.3 DeBERTa
15.4 범용 모델에서 비전 트랜스포머까지
15.5 확장되는 모델 세계
15.6 정리하기
15.7 문제
15.8 참고 문헌

16장 트랜스포머 기반 코파일럿의 등장
16.1 프롬프트 엔지니어링
16.2 코파일럿
16.3 도메인별 GPT-3 엔진
16.4 컴퓨터 비전
16.5 메타버스에서 인간과 AI 코파일럿
16.6 정리하기
16.7 문제
16.8 참고 문헌

17장 초인간 트랜스포머를 사용한 OpenAI의 ChatGPT와 GPT-4
17.1 ChatGPT와 GPT-4에 초인간 NLP 연동하기
17.2 ChatGPT API 시작하기
17.3 ChatGPT Plus로 코드와 주석 작성하기
17.4 GPT-4 API 시작하기
17.5 고급 프롬프트 엔지니어링
17.6 설명 가능한 AI(XAI)
17.7 DALL-E 2 API 시작하기
17.8 모든 것을 종합하기
17.9 정리하기
17.10 문제
17.11 참고 문헌

부록 Ⅰ 트랜스포머 용어 설명
Ⅰ.1 스택
Ⅰ.2 서브 층
Ⅰ.3 어텐션 헤드

부록 Ⅱ 트랜스포머 모델의 하드웨어 제약사항
Ⅱ.1 트랜스포머의 아키텍처와 규모
Ⅱ.2 GPU가 특별한 이유
Ⅱ.3 GPU는 병렬 연산을 위해 설계되었다
Ⅱ.4 GPU는 또한 행렬 곱셈을 위해 설계되었다
Ⅱ.5 GPU를 사용하는 코드
Ⅱ.6 구글 코랩으로 GPU 테스트하기
Ⅱ.7 구글 코랩의 무료 CPU
Ⅱ.8 구글 코랩의 유료 CPU

부록 Ⅲ GPT-2를 사용한 일반 텍스트 완성
Ⅲ.1 1단계: GPU 활성화
Ⅲ.2 2단계: OpenAI GPT-2 저장소 복제하기
Ⅲ.3 3단계: 요구사항 설치하기
Ⅲ.4 4단계: 텐서플로우 버전 확인하기
Ⅲ.5 5단계: 345M 파라미터 GPT-2 모델 다운로드하기
Ⅲ.6 6~7단계: 중간 지침
Ⅲ.7 7b~8단계: 모델 가져오기 및 정의하기
Ⅲ.8 9단계: GPT-2와 상호 작용하기
Ⅲ.9 참고 문헌

부록 Ⅳ GPT-2를 사용해 커스텀 텍스트 완성하기
Ⅳ.1 GPT-2 모델 학습하기
Ⅳ.2 참고 문헌

부록 Ⅴ 문제 정답

찾아보기

Denis Rothman 소르본 대학(Sorbonne University)과 파리 디드로 대학(Paris Diderot University)을 졸업하고 최초의 특허를 받은 인코딩 및 임베딩 시스템을 설계했습니다. 모엣샹동(Mo?t et Chandon, 프랑스의 포도주 회사)에서 자연어 처리(NLP, Natural Language Processing) 챗봇과 에어버스(구 Aerospatiale, 유럽의 항공기 제작 회사)의 인공지능 전술 방어 최적화 프로그램을 개발하며 경력을 쌓았습니다.
그 후 IBM 및 명품 브랜드에 인공지능 자원 최적화 프로그램을 담당하며 전 세계적으로 사용되는 사전 계획 및 스케줄링(APS, Advanced Planning and Scheduling) 솔루션으로 발전시켰습니다.