기초강화학습(수학으로 이해하는)

이 책은 강화학습의 기초부터 탄탄한 수학적 원리를 통해 알고리즘의 핵심을 깊이 있게 파헤치는 작품입니다. 강화학습에 처음 입문하는 독자부터 수학적 배경을 갖춘 이공계 학생 및 실무 엔지니어에 이르기까지, 다양한 계층의 독자들이 체계적인 이론과 실습을 통해 인공지능의 근간을 다질 수 있도록 돕습니다.
저자는 최신 기법보다도 본질적인 고전 이론에 집중하여, 독자들이 강화학습의 기반 원리를 명확히 이해할 수 있도록 안내합니다. 복잡한 수학적 개념들을 친절한 해설과 예제를 통해 풀어내며, 이를 통해 단순 암기가 아닌 원리의 체득을 유도합니다. 또한, 독자만의 독창적인 시각을 제시하여 기존의 틀을 벗어난 새로운 통찰력을 제공합니다.
이 책은 단순한 기술서적을 넘어, 인공지능 분야에서 필수적인 수학적 사고와 논리적 분석 능력을 기르고자 하는 이들에게 꼭 필요한 길잡이 역할을 할 것입니다. 강력한 이론적 토대와 함께 실전 적용 능력을 높이고자 하는 모든 분들께 자신 있게 추천합니다.

1. 마르코프 의사결정과정 (Markov decision process)
1-1. 마르코프 의사결정과정 (Markov decision process)
1-2. 상태전이분포 (state transition probability)
1-3. 정책 (policy)
1-4. 보상 (reward)
1-5. 상태전이도표 (state transition diagram)
1-6. 에피소드 (episode)
1-7. 반환값 (return)
1-8. 목적함수 (objective function) 및 정책의 순위
1-9. 최적정책 (optimal policy)
1-10. 마르코프 의사결정문제 (Markov decision problem)
1-11. 정상상태분포 (stationary state distribution)
1-12 온폴리시 분포 (on-policy distribution)
2. 가치함수와 Q함수 (value function and Q-function)
2-1. 가치함수 (value function)
2-2. Q함수 (Q-function)
2-3. 여러가지 중요한 관계식들
2-4. 이점함수 (advantage function)
2-5. 정책의 순위와 가치함수의 관계
3. 벨만등식과 벨만연산자 (Bellman equation and Bellman operator)
3-1. 연산자 (operator)
3-2. 벨만등식 (Bellman equation)
3-3. V-벨만등식 (V-Bellman equation)
3-4. Q-벨만등식 (Q-Bellman equation)
3-5. 최적 V-벨만등식 (optimal V-Bellman equation)
3-6. 최적 Q-벨만등식 (optimal Q -Bellman equation)
4. 동적계획법 (dynamic programming, DP)
4-1. 정책반복 (policy iteration, PI)
4-2. 최적 가치함수와 최적정책의 관계
4-3. 가치반복 (value iteration, VI)
5. 수학적 배경지식
5-1. 최적화 (optimization)
5-2. 경사하강법 또는 그레디언트 디센트 (gradient descent method)
5-3. 확률적 경사하강법 또는 확률적 그레디언트 디센트 (stochastic gradient descent method, SGD)
5-4. 회기문제 (regression problem)
6. 몬테카를로 학습 (Monte Calro learning, MC learning)
6-1. 강화학습이란?
6-2. 확률적 근사 (stochastic approximation)
6-3. 일괄처리방식 MC추정 (batch Monte Calro prediction, batch MC prediction)
6-4. MC추정에서 탐색문제 (exploration issue in MC prediction)
6-5. 순차처리방식 MC추정 (recursive Monte Calro prediction, recursive MC prediction)
6-6. 순차처리방식 MC추정의 회기문제 및 그레디언트 (regression and gradient)관점
6-7. Q함수 추정을 위한MC추정 (MC prediction for Q-function estimation)
6-8. MC추정에서 Q함수 추정시 발생하는 탐색문제
6-9. 함수 근사화기반 MC추정
6-10. 온폴리시 (on-policy) vs 오프폴리시 (off-policy) 학습 (정책평가시)
6-11. MC제어 알고리즘 (MC control)
6-12. 온폴리시 (on-policy) vs 오프폴리시 (off-policy) 학습 (최적정책설계시)
7. TD학습 (temporal difference learning, TD learning)
7-1. TD학습 개요 (introduction to TD learning)
7-2. TD추정 (temporal difference prediction, TD prediction)
7-3. TD추정의 직관적 이해
7-4. TD추정의 회기문제 및 확률적 그레디언트 관점
7-5. TD추정의 동적계획법 관점
7-6. 함수근사를 사용한 TD추정
7-7. 오프폴리시 TD추정
7-8. TD추정의 탐색문제
7-9. 잔차 학습법 (residual method)과 중복 샘플링 문제 (double sampling issue)
7-10. Q함수를 위한 TD추정 (SARSA)
7-11. 함수근사화 기반 SARSA 및 오프폴리시 SARSA
7-12. 기대값 SARSA (expected SARSA)
7-13. SARSA 제어 (SARSA control)
7-14 기대값 SARSA 제어 (expected SARSA control)
8. Q학습 (Q-learning)
8-1. Q학습 개요 (introduction to Q-learning)
8-2. Q학습의 MC학습기반 해석
8-3. Q학습의 회귀문제 관점
8-4. Q학습의 동적계획법 관점
8-5. 함수근사화를 이용한 Q학습
8-6. Q학습의 과대평가문제 (overestimation issue)
8-7. 더블 Q학습 (double Q-learning)
8-8. 잔차 학습법 (residual method)과 중복 샘플링 문제 (double sampling issue)
8-9. 심층 Q학습 (deep Q-learning 또는 deep Q-network, DQN)
8-10. 심층 더블 Q학습 (deep double Q-learning 또는 deep double Q-network, D2QN)
9. 정책 그레디언트 (Policy gradient, PG)
9-1. 정책 그레디언트 정리 (policy gradient theorem)
9-2. 정책 그레디언트의 확률적 근사화기법
9-3. 정책 그레디언트 알고리즘 (policy gradient algorithm)
9-4. 정책함수 매개변수화 (policy parameterization)
9-5. 정책 그레디언트 알고리즘의 직관적 이해
9-6. 기준선 (baseline) 기법
10. 행위자-비평자 (actor-critic) 알고리즘
10-1. Q함수 기반 행위자-비평자 (Q actor-critic) 알고리즘
10-2. 이점함수 기반 행위자-비평자 (advantage actor-critic) 알고리즘
10-3. 연속적인 행동공간에서 정책 그레디언트 (policy gradient with continuous action-space)
10-4. 확정적 정책 그레디언트 (deterministic policy gradient, DPG)
10-5. 심층 확정적 정책 그레디언트 (deep deterministic policy gradient, DDPG)

이동환 저자는 현재 한국과학기술원 전기 및 전자공학과 교수이며 강화학습 및 인공지능 분야를 연구하고 있습니다. 미국 Purdue에서 수학과 석사 및 전기 및 컴퓨터공학과에서 박사학위를 받고 박사후에는 University of Illinois, Urbana-Champaign에서 포스트닥 연구원으로 일했습니다.