모두를 위한 메타러닝(위키북스 데이터 사이언스 시리즈 86)

▣ 1장: 메타러닝 개요
1.1 머신러닝과 딥러닝
1.2 메타러닝이란?
1.3 메타러닝 학습 환경 구축
___1.3.1 아나콘다 설치와 사용
___1.3.2 아나콘다 설치
___1.3.3 깃허브 저장소 클론 및 환경 구축

▣ 2장: 메타 지도학습
2.1 메타러닝 문제 정의
___2.1.1 태스크 정의
___2.1.2 메타러닝 데이터셋
___2.1.3 메타러닝
___2.1.4 실습: Torchmeta 라이브러리 소개
2.2 모델 기반 메타러닝
___2.2.1 모델 기반 메타러닝의 핵심 개념
___2.2.2 NTM(Neural Turing Machines)
___2.2.3 MANN(Memory-Augmented Neural Networks)
___2.2.4 실습: MANN 구현
___2.2.5 SNAIL(Simple Neural Attentive Meta-Learner)
___2.2.6 실습: SNAIL 구현
2.3 최적화 기반 메타러닝
___2.3.1 전이학습과 최적화 기반 메타러닝
___2.3.2 MAML과 FOMAML
___2.3.3 실습: MAML-Regression
___2.3.4 실습: MAML-Classification
2.4 메트릭 기반 메타러닝
___2.4.1 KNN과 메트릭 기반 메타러닝
___2.4.2 Matching 네트워크
___2.4.3 실습: Matching 네트워크 구현
___2.4.4 Prototypical 네트워크
___2.4.5 실습: Prototypical 네트워크 구현
2.5 메타러닝 알고리즘 속성과 장단점
___2.5.1 메타러닝 알고리즘의 세 가지 속성
___2.5.2 메타러닝 알고리즘 비교

▣ 3장: 강화학습 개요
3.1 마르코프 결정 과정, 정책, 가치함수
___3.1.1 마르코프 결정 과정
___3.1.2 정책과 강화학습의 목표
___3.1.3 가치 함수
3.2 탐험과 활용
3.3 강화학습 알고리즘의 종류
___3.3.1 On-policy와 Off-policy
___3.3.2 정책 기반 알고리즘
___3.3.3 가치 기반 알고리즘
___3.3.4 액터 크리틱 알고리즘
3.4 TRPO(Trust Region Policy Optimization)
___3.4.1 TRPO 아이디어
___3.4.2 Surrogate 목적 함수와 제약 조건
___3.4.3 켤레 그라디언트법 기반 최적화
3.5 PPO(Proximal Policy Optimzation)
___3.5.1 PPO 아이디어
___3.5.2 Clipped Surrogate 목적함수
___3.5.3 PPO 알고리즘
3.6 SAC(Soft Actor Critic)
___3.6.1 엔트로피
___3.6.2 최대 엔트로피 강화학습
___3.6.3 가치함수 및 정책 학습
___3.6.4 SAC 알고리즘

▣ 4장: 메타 강화학습
4.1 메타 강화학습
___4.1.1 태스크 개념 소개
___4.1.2 메타 강화학습 문제 정의
___4.1.3 MuJoCo 및 Half-Cheetah 환경 개념 소개
4.2 순환 정책 메타 강화학습
___4.2.1 GRU
___4.2.2 순환 정책 메타 강화학습
___4.2.3 RL2
___4.2.4 실습: RL2 구현
4.3 최적화 기반 메타 강화학습
___4.3.1 MAML-RL
___4.3.2 실습: MAML-RL 구현
4.4 컨텍스트 기반 메타 강화학습
___4.4.1 태스크 추론 관점에서의 메타 강화학습
___4.4.2 컨텍스트 기반 정책
___4.4.3 변분적 추론
___4.4.4 PEARL(Probabilistic Embeddings for Actor critic RL)
___4.4.5 실습: PEARL 구현

▣ 5장: 오픈 챌린지와 메타러닝 애플리케이션
5.1 오픈 챌린지(Open Chanllenges)
___5.1.1 메타 과적합
___5.1.2 치명적 망각과 지속 학습
___5.1.3 부족한 벤치마크
___5.1.4 부족한 레이블된 데이터와 메타 비지도 학습
5.2 메타러닝 애플리케이션
___5.2.1 컴퓨터 비전
___5.2.2 강화학습
___5.2.3 자연어 처리
___5.2.4 의료
___5.2.5 마치며

정창훈 동국대학교에서 컴퓨터공학을 전공하고 서울대학교 컴퓨터공학부에서 박사과정 중에 있습니다. 메타러닝을 연구하고, 최근에는 메타 강화학습, 오프라인 강화학습에 관심을 가지고 연구하고 있습니다.