Stable Baselines를 이용한 강화학습
Regular price
$30.34
Sale price
Regular price
✈️
Estimated delivery date 예상 배송일
Standard Shipping
불러오는 중...
주문일로부터 8-12 영업일
Express Shipping
불러오는 중...
주문일로부터 6-8 영업일
이 책은 강화학습의 작동원리를 toy example을 통해 쉽게 이해할 수 있도록 집필되었으며, MDP와 Bellman 방정식을 일일이 구체적 수치로 계산한 후 통계적·수학적 수식으로 재표현하여 수식의 의미를 이해할 수 있도록 구성하였다. Stable Baselines는 현재까지 총 15개의 강화학습법을 실행할 수 있다. 이 책에는 10개의 강화학습을 추가하여 25개의 강화학습법을 수록하였다. 강화학습 발표 논문을 기반으로 강화학습법의 장단점과 원리를 충실하게 반영하였지만 상당한 수준의 수학적 배경을 요구하는 이론적 증명은 생략하였다. 코딩에 능숙한 독자가 직접 프로그래밍이 가능할 만큼 상세한 알고리즘을 제공하여 강화학습법의 원리와 구조를 충분하게 파악할 수 있도록 하였다. Stable Baselines의 사용법을 최대한 자세하게 수록하였고 출력 결과에 대한 해설도 충실하게 작성하였다. Stable Baselines에서 제공하지 않은 강화학습 중 일부는 해설과 함께 프로그램을 제공하였고 일부는 프로그램을 download 할 수 있는 주소를 제공하였다.
강화학습은 이론적으로 계층적 구조를 가지고 있다. 근본적으로 모든 강화학습 알고리즘은 MDP와 Bellman 방정식을 기초로 작성되어 있으므로 최근에 개발된 강화학습은 과거의 강화학습에서 개선된 형태라고 보면 된다. 참고할 수 있도록 머리말 마지막 부분에 강화학습 계보도를 실어 두었다. 이 책을 공부하면 자연스럽게 이 계보도를 이해할 수 있도록 책의 차례도 계보도의 순서로 구성하였으며 부록에 따로 실행 알고리즘을 정리해 놓았다. 강화학습의 계보도와 정리된 실행 알고리즘은 강화학습을 비교하고 특성을 파악하는 데 매우 간단하고 유용한 일종의 summary로 활용할 수 있다. 계보도에서 (off)는 해당 강화학습이 off-policy라는 의미이며 별도의 표식이 없는 강화학습은 on-policy 학습법임을 의미한다. 본문을 공부하면 onpolicy와 off-policy를 구분할 수 있겠지만 간단하게 구별하는 방법은 별도의 표본 저장공간으로부터 표본을 뽑아서 policy를 개선하면 이를 off-policy라고 생각하고, 그렇지 않으면 on-policy라고 생각하면 된다.
좋은 책을 위해 최선을 다했지만 부족한 부분이 있을 수 있다. 이 점은 양해를 바라며, 책에 나오는 실습 프로그램과 출간 후 나올 수 있는 수정사항 등은 자유아카데미 홈페이지(www.freeaca.com) 자료실을 통해 제공할 예정이니 참조하기를 바란다.
강화학습은 이론적으로 계층적 구조를 가지고 있다. 근본적으로 모든 강화학습 알고리즘은 MDP와 Bellman 방정식을 기초로 작성되어 있으므로 최근에 개발된 강화학습은 과거의 강화학습에서 개선된 형태라고 보면 된다. 참고할 수 있도록 머리말 마지막 부분에 강화학습 계보도를 실어 두었다. 이 책을 공부하면 자연스럽게 이 계보도를 이해할 수 있도록 책의 차례도 계보도의 순서로 구성하였으며 부록에 따로 실행 알고리즘을 정리해 놓았다. 강화학습의 계보도와 정리된 실행 알고리즘은 강화학습을 비교하고 특성을 파악하는 데 매우 간단하고 유용한 일종의 summary로 활용할 수 있다. 계보도에서 (off)는 해당 강화학습이 off-policy라는 의미이며 별도의 표식이 없는 강화학습은 on-policy 학습법임을 의미한다. 본문을 공부하면 onpolicy와 off-policy를 구분할 수 있겠지만 간단하게 구별하는 방법은 별도의 표본 저장공간으로부터 표본을 뽑아서 policy를 개선하면 이를 off-policy라고 생각하고, 그렇지 않으면 on-policy라고 생각하면 된다.
좋은 책을 위해 최선을 다했지만 부족한 부분이 있을 수 있다. 이 점은 양해를 바라며, 책에 나오는 실습 프로그램과 출간 후 나올 수 있는 수정사항 등은 자유아카데미 홈페이지(www.freeaca.com) 자료실을 통해 제공할 예정이니 참조하기를 바란다.
Couldn't load pickup availability
출판사 리뷰
출판사 리뷰
목차
목차
1장 강화학습의 이해
1.1 3×3 환경에서의 강화학습
1.2 MDP(Markov Decision Process)
1.3 가치함수와 Q 함수
2장 Bellman 방정식과 다이나믹 프로그래밍
2.1 Bellman 방정식
2.2 DP(Dynamic Programming)
2.3 DP 예제
3장 OpenAI Gym
4장 몬테카를로 추정방법
4.1 가치함수 및 Q 함수의 몬테카를로 추정
4.2 최적 policy 몬테카를로 추정
4.3 Blackjack 게임의 몬테카를로 학습
4.4 off-policy 몬테카를로
5장 TD와 action의 탐색
5.1 SARSA와 Q-학습
5.2 SARSA와 Q-학습의 응용
5.3 Action의 탐색과 선택
6장 Deep Q networks
6.1 DQN 모형
6.2 DQN의 응용
6.3 Double DQN
6.4 가중치를 가진 replay buffer
6.5 Dueling DQN
7장 정책기반 강화학습
7.1 Policy Gradient의 도출과 의미
7.2 정책기반 강화학습 알고리즘
7.3 REINFORCE의 응용
8장 Actor-Critic 강화학습
8.1 A2C
8.2 비동시성 A2C(A3C)
8.3 ACER
9장 Stable Baselines
9.1 DQN의 적용과 응용
9.2 A2C, A3C, ACER의 적용과 응용
9.3 Stable Baselines에서 지원하는 action space와 policy 아키텍처
9.4 맞춤형 Policy 만들기
9.5 Multiprocessing과 맞춤형 환경
9.6 시스템 주식거래를 위한 주식시장 환경구축
10장 TRPO, PPO, ACKTR
10.1 TRPO
10.2 PPO
10.3 ACKTR
10.4 Stable Baselines의 적용
11장 DDPG, TD3, SAC
11.1 DDPG
11.2 TD3
11.3 SAC
11.4 DDPG, TD3, SAC의 응용
11.5 HER
12장 모방학습과 역강화학습
12.1 DAgger
12.2 DQfD
12.3 IRL
12.4 GAIL
12.5 사전학습과 GAIL의 적용
13장 확률분포 강화학습
13.1 범주형 DQN
13.2 QR-DQN
13.3 D4PG
부록
1. 몬테카를로 정책 반복법
2. off-policy 몬테카를로 알고리즘
3. SARSA 알고리즘
4. Q-학습 알고리즘
5. DQN 알고리즘
6. REINFORCE 알고리즘
7. policy gradient with baseline 알고리즘
8. A2C 알고리즘
9. TRPO 알고리즘
10. PPO-clipped 알고리즘
11. PPO-penalty 알고리즘
12. DDPG 알고리즘
13. TD3 알고리즘
14. SAC 알고리즘
15. DAgger 알고리즘
16. DQfD 알고리즘
17. IRL 알고리즘
18. 범주형 DQN 알고리즘
19. D4PG 알고리즘
참고문헌
찾아보기
1.1 3×3 환경에서의 강화학습
1.2 MDP(Markov Decision Process)
1.3 가치함수와 Q 함수
2장 Bellman 방정식과 다이나믹 프로그래밍
2.1 Bellman 방정식
2.2 DP(Dynamic Programming)
2.3 DP 예제
3장 OpenAI Gym
4장 몬테카를로 추정방법
4.1 가치함수 및 Q 함수의 몬테카를로 추정
4.2 최적 policy 몬테카를로 추정
4.3 Blackjack 게임의 몬테카를로 학습
4.4 off-policy 몬테카를로
5장 TD와 action의 탐색
5.1 SARSA와 Q-학습
5.2 SARSA와 Q-학습의 응용
5.3 Action의 탐색과 선택
6장 Deep Q networks
6.1 DQN 모형
6.2 DQN의 응용
6.3 Double DQN
6.4 가중치를 가진 replay buffer
6.5 Dueling DQN
7장 정책기반 강화학습
7.1 Policy Gradient의 도출과 의미
7.2 정책기반 강화학습 알고리즘
7.3 REINFORCE의 응용
8장 Actor-Critic 강화학습
8.1 A2C
8.2 비동시성 A2C(A3C)
8.3 ACER
9장 Stable Baselines
9.1 DQN의 적용과 응용
9.2 A2C, A3C, ACER의 적용과 응용
9.3 Stable Baselines에서 지원하는 action space와 policy 아키텍처
9.4 맞춤형 Policy 만들기
9.5 Multiprocessing과 맞춤형 환경
9.6 시스템 주식거래를 위한 주식시장 환경구축
10장 TRPO, PPO, ACKTR
10.1 TRPO
10.2 PPO
10.3 ACKTR
10.4 Stable Baselines의 적용
11장 DDPG, TD3, SAC
11.1 DDPG
11.2 TD3
11.3 SAC
11.4 DDPG, TD3, SAC의 응용
11.5 HER
12장 모방학습과 역강화학습
12.1 DAgger
12.2 DQfD
12.3 IRL
12.4 GAIL
12.5 사전학습과 GAIL의 적용
13장 확률분포 강화학습
13.1 범주형 DQN
13.2 QR-DQN
13.3 D4PG
부록
1. 몬테카를로 정책 반복법
2. off-policy 몬테카를로 알고리즘
3. SARSA 알고리즘
4. Q-학습 알고리즘
5. DQN 알고리즘
6. REINFORCE 알고리즘
7. policy gradient with baseline 알고리즘
8. A2C 알고리즘
9. TRPO 알고리즘
10. PPO-clipped 알고리즘
11. PPO-penalty 알고리즘
12. DDPG 알고리즘
13. TD3 알고리즘
14. SAC 알고리즘
15. DAgger 알고리즘
16. DQfD 알고리즘
17. IRL 알고리즘
18. 범주형 DQN 알고리즘
19. D4PG 알고리즘
참고문헌
찾아보기
저자
저자
박유성
고려대학교 정경대학 통계학과 졸업
고려대학교 대학원 석사과정 졸업(통계학 전공)
미국 조지아대학교 대학원 졸업(통계학 박사)
현재 고려대학교 정경대학 통계학과 교수
고려대학교 대학원 석사과정 졸업(통계학 전공)
미국 조지아대학교 대학원 졸업(통계학 박사)
현재 고려대학교 정경대학 통계학과 교수
Payment & Security
Payment methods
Your payment information is processed securely. We do not store credit card details nor have access to your credit card information.
$99 이상 무료 배송
3% 리워드 크레딧 적립
Secure Payment

