Stable Baselines를 이용한 강화학습

1장 강화학습의 이해
1.1 3×3 환경에서의 강화학습
1.2 MDP(Markov Decision Process)
1.3 가치함수와 Q 함수

2장 Bellman 방정식과 다이나믹 프로그래밍
2.1 Bellman 방정식
2.2 DP(Dynamic Programming)
2.3 DP 예제

3장 OpenAI Gym

4장 몬테카를로 추정방법
4.1 가치함수 및 Q 함수의 몬테카를로 추정
4.2 최적 policy 몬테카를로 추정
4.3 Blackjack 게임의 몬테카를로 학습
4.4 off-policy 몬테카를로

5장 TD와 action의 탐색
5.1 SARSA와 Q-학습
5.2 SARSA와 Q-학습의 응용
5.3 Action의 탐색과 선택

6장 Deep Q networks
6.1 DQN 모형
6.2 DQN의 응용
6.3 Double DQN
6.4 가중치를 가진 replay buffer
6.5 Dueling DQN

7장 정책기반 강화학습
7.1 Policy Gradient의 도출과 의미
7.2 정책기반 강화학습 알고리즘
7.3 REINFORCE의 응용

8장 Actor-Critic 강화학습
8.1 A2C
8.2 비동시성 A2C(A3C)
8.3 ACER

9장 Stable Baselines
9.1 DQN의 적용과 응용
9.2 A2C, A3C, ACER의 적용과 응용
9.3 Stable Baselines에서 지원하는 action space와 policy 아키텍처
9.4 맞춤형 Policy 만들기
9.5 Multiprocessing과 맞춤형 환경
9.6 시스템 주식거래를 위한 주식시장 환경구축

10장 TRPO, PPO, ACKTR
10.1 TRPO
10.2 PPO
10.3 ACKTR
10.4 Stable Baselines의 적용

11장 DDPG, TD3, SAC
11.1 DDPG
11.2 TD3
11.3 SAC
11.4 DDPG, TD3, SAC의 응용
11.5 HER

12장 모방학습과 역강화학습
12.1 DAgger
12.2 DQfD
12.3 IRL
12.4 GAIL
12.5 사전학습과 GAIL의 적용

13장 확률분포 강화학습
13.1 범주형 DQN
13.2 QR-DQN
13.3 D4PG

부록
1. 몬테카를로 정책 반복법
2. off-policy 몬테카를로 알고리즘
3. SARSA 알고리즘
4. Q-학습 알고리즘
5. DQN 알고리즘
6. REINFORCE 알고리즘
7. policy gradient with baseline 알고리즘
8. A2C 알고리즘
9. TRPO 알고리즘
10. PPO-clipped 알고리즘
11. PPO-penalty 알고리즘
12. DDPG 알고리즘
13. TD3 알고리즘
14. SAC 알고리즘
15. DAgger 알고리즘
16. DQfD 알고리즘
17. IRL 알고리즘
18. 범주형 DQN 알고리즘
19. D4PG 알고리즘

참고문헌

찾아보기

박유성 고려대학교 정경대학 통계학과 졸업
고려대학교 대학원 석사과정 졸업(통계학 전공)
미국 조지아대학교 대학원 졸업(통계학 박사)
현재 고려대학교 정경대학 통계학과 교수