트랜스포머로 시작하는 언어 모델과 생성형 인공지능

이 책은 단순히 트랜스포머를 설명하는데 그치지 않습니다. 트랜스포머의 등장 이후 인공지능은 생성형 AI라는 새로운 시대를 맞이하게 되었고, 플랫폼과 오픈 소스를 통해 개발의 진입장벽이 현저하게 낮아지고 있습니다. 특히, 생성형 AI를 언어 모델의 관점에서 집중적으로 분석하여 글로벌 빅테크 기업의 경쟁 구도를 설명합니다. 또한, 누구나 쉽게 노트북에서도 실행해 볼 수 있는 사전 학습 언어 모델과 sLLM 실습도 영상으로 담아 실제 인공지능을 활용해 볼 수 있는 기회도 제공합니다. 이 책이 트랜스포머와 생성형 인공지능의 세계를 탐구하고자 하는 학생, 연구자, 실무자 모두에게 의미 있는 지침서가 되기를 바랍니다. AI 기술의 발전 속도는 놀라울 정도로 빠릅니다. 하지만 그 혁신의 중심에는 언제나 트랜스포머가 있었고, 앞으로도 있을 것으로 전망합니다.

제1장 인공지능의 혁신 트랜스포머
01 트랜스포머가 바꾼 인공지능
02 트랜스포머의 개념적 이해
03 언어 모델의 이해
04 언어 모델과 데이터
05 언어 모델 구현 방법의 변화
06 사전 학습 언어 모델
07 거대 언어 모델
08 기반 모델과 생성형 인공지능

제2장 트랜스포머의 구조와 분석
01 딥러닝과 트랜스포머
02 인공지능 모델의 트랜스포머
03 트랜스포머의 구조
04 트랜스포머의 입력 - 토큰화
05 트랜스포머의 입력 - 토큰간 관계 설정
06 원 핫 인코딩과 토큰 임베딩(CBOW)
07 토큰 임베딩과 토큰 임베딩 차원
08 위치 인코딩 - 토큰의 위치와 접근법
09 위치 인코딩 - 토큰 임베딩 벡터
10 트랜스포머의 인코더
11 멀티헤드 어텐션의 입력과 쿼리
12 멀티헤드 어텐션의 키와 점곱 어텐션
13 멀티헤드 어텐션의 가치와 어텐션 헤드
14 정규화와 앞먹임신경망
15 셀프 어텐션
16 인코더의 반복과 초모수
17 트랜스포머의 디코더
18 트랜스포머의 인코더와 디코더 결합
19 트랜스포머의 출력

제3장 사전 학습 언어 모델
01 사전 학습 언어 모델의 개요
02 사전 학습 언어 모델의 접근 방법
03 다양한 자연어 처리 과업
04 전형적인 자연어 처리 과업
05 BERT의 구조와 특징
06 OpenAI의 GPT 구조
07 GPT-2의 개념과 구조
08 RoBERTa의 성능과 구조
09 ALBERT의 접근과 구조
10 DistilBERT의 접근과 성능
11 MobileBERT의 개념과 특징
12 SpanBERT의 개념과 특징
13 ELECTRA의 개념과 활용
14 DeBERTa의 개념과 기능
15 TransformerXL의 등장과 성능
16 XLNet의 개념과 성능
17 BART의 개념과 특징
18 CTRL의 개념과 특징
19 T5의 구조와 성능
20 HuggingFace와 Transformers

제4장 거대 언어 모델
01 거대 언어 모델의 개요
02 거대 언어 모델의 규모
03 거대 언어 모델의 구조
04 거대 언어 모델의 특징과 재학습 방법
05 거대 언어 모델의 한계
06 계산적 관점에서의 딥러닝
07 행렬곱 연산
08 거대 언어 모델의 계산량과 효과
09 거대 언어 모델의 활용
10 GPT-3의 구조와 성능
11 LaMDA의 구조와 특징
12 MT NLG의 개념과 성능
13 Gopher의 등장과 접근법
14 InstructGPT의 접근법과 특징
15 PanGu 알파의 배경과 특징
16 PaLM의 개념과 특징
17 OPT 175B의 시작과 특징
18 BLOOM의 배경과 특징
19 HyperCLOVA의 개념과 특징
20 규모 경쟁과 ChatGPT의 등장

제5장 ChatGPT와 생성 인공지능
01 ChatGPT의 성공과 변화
02 ChatGPT의 효과와 계산량
03 ChatGPT 이후의 인공지능
04 환각 효과 완화의 기본적 접근
05 설명 가능한 인공지능과 거대 언어 모델
06 모델 경량화의 기본적 접근
07 모델 경량화와 하드웨어
08 트랜스포머의 기본적 접근
09 RWKV의 개념과 구조
10 Retentive Network의 접근과 특징
11 거대 테크 기업의 움직임
12 GPT-4의 배경과 특징
13 GPT-4 Turbo와 GPT-4o의 특징
14 GPT-o1과 GPT-5의 특징
15 OpenAI의 GPT 스토어
16 Bard의 특징과 기능
17 PaLM 2의 규모와 특징
18 Gemini의 등장과 특징
19 Copilot의 등장과 특징
20 Claude의 개발과 특징
21 소규모 거대 언어 모델의 등장
22 LLaMA의 특징과 구조
23 LLaMA 2와 LLaMA 3의 성능
24 Gemma의 특징과 기능
25 Mistral AI의 등장과 특징
26 phi의 특징과 기능
27 한국의 sLLM과 Solar
28 대화형 인공지능과 sLLM 활용 도구
29 인공지능의 기술적 미래 전망
30 인공지능의 플랫폼 미래 전망
31 인공지능의 규제 전망
32 인공지능의 정책 전망
33 범용 인공지능의 미래 전망

추형석 ▶ 저자 추 형 석(신구대학교 AI 소프트웨어학과 교수)
[경력]
ㆍ국가수리과학연구소 박사후 연구원(2013~2015)
ㆍ소프트웨어정책연구소 선임연구원(2015~2023)

[주요 업적]
ㆍ서울신문 IT 신트렌드 정기 기고(2016~2019)
ㆍ정보통신기획평가원 인공지능 분야 R&D 과제기획위원(2019)
ㆍ행정안전부 정부혁신 컨설팅단 위원(2020, 2021)

[주요 업무]
ㆍ인공지능 분야의 최신 기술 동향을 분석
ㆍ인공지능 R&D 기획, 인공지능 인재 양성, 인공지능 컴퓨팅 인프라 구축 등 인공지능 관련 정책 연구