메타러닝: 기본 개념과 아키텍처

역자 서문
저자 서문

1장. 메타 러닝 개요
1.1 연구 배경 10
1.1.1 메타 러닝과 딥러닝의 차이점과 공통점 13
1.1.2 메타 러닝 응용의 예 19
1.2 메타 러닝의 기원 22
1.2.1 1987년 Jurgen Schmidhuber 23
1.2.2 1990년 Stuart Russell와 Eric H. Wefald 28
1.3 최근 개발 사항 31
1.3.1 1997 장단기 메모리 신경망 33
1.3.2 2001년의 장단기 메모리 신경망 메타 러닝 시스템 34
1.3.3 2017년의 MAML 알고리즘 35
1.3.4 2019년 장단기 메모리 신경망 기반 메타 모델 37
1.3.5 2019년 효율적인 기본 모델 기반 메타 러닝 38
1.4 참고문헌 40

2장. 메타 러닝 프레임워크
2.1 메타 러닝 연구를 위한 상용 데이터 세트 44
2.2 작업의 정의 49
2.2.1 메타 러닝 작업의 정의 51
2.2.2 메타 강화 학습 작업의 정의 52
2.2.3 작업 분해 53
2.3 메타 러닝 학습 프레임워크 54
2.4 메타 러닝 방법의 분류 58
2.4.1 신경망 적응법 58
2.4.2 메트릭 기반 적응법 59
2.4.3 기본 러너 및 메타 러너 적응법 60
2.4.4 베이지안 메타 러닝 적응법 61
2.4.5 메타 러닝과 다양한 학습 프레임워크의 결합 63
2.5 메타 러닝 방법의 비교 65
2.6 참고문헌 68

3장. 메타 러닝 신경망 적응법
3.1 신경망 72
3.1.1 뉴런 73
3.1.2 가중치, 편향, 활성화 함수 74
3.1.3 역전파 알고리즘 76
3.1.4 학습률, 배치 크기, 운동량 및 가중치 감쇠 79
3.1.5 신경망 모델의 정규화 81
3.1.6 배치 정규화 83
3.1.7 드롭아웃 86
3.2 합성곱 신경망 87
3.2.1 합성곱 층 및 필터 87
3.2.2 풀링 층 및 다운샘플링 90
3.2.3 완전 연결 층 및 업샘플링 92
3.2.4 고전적인 합성곱 신경망 94
3.3 잔차 신경망 96
3.3.1 잔차 신경망 모듈 96
3.3.2 하이웨이 신경망 97
3.3.3 넓은 잔차 신경망 98
3.4 메타 러닝 신경망 모델 99
3.4.1 메타 러닝 신경망 모델 100
3.4.2 사전 학습된 심층 신경망의 적응 102
3.4.3 적응형 뉴런 설계 105
3.5 자동화된 머신 러닝 111
3.5.1 하이퍼파라미터 최적화 112
3.5.2 메타 러닝과 자동화된 머신러닝 114
3.5.3 자동화된 머신 러닝 가속 117
3.5.4 의사결정 자동화 머신러닝 123
3.5.5 점진적 자동화된 머신 러닝 127
3.6 결론 134
3.7 참고문헌 135

4장. 메트릭 기반 메타 러닝
4.1 메트릭 기반 학습 140
4.1.1 메트릭의 정의 141
4.1.2 메트릭 학습의 적용 143
4.1.3 지도 메트릭 학습 145
4.1.4 준지도 메트릭 학습 149
4.1.5 비지도 메트릭 학습 151
4.2 어텐션 메커니즘 152
4.3 메모리 모듈 153
4.4 스네일 알고리즘 160
4.5 관계 신경망 알고리즘 162
4.6 프로토타입피컬 신경망 알고리즘 166
4.7 TADAM 신경망 알고리즘 169
4.8 다이나믹 퓨샷 알고리즘 173
4.9 mAP 알고리즘 181
4.10 결론 188
4.11 참고문헌 189

5장. 기본 러너와 메타 러너의 결합을 통한 메타 러닝 방법
5.1 기본 러너 196
5.2 메타 러너 197
5.3 MAML 알고리즘 198
5.4 렙타일 알고리즘 207
5.5 순환 신경망 213
5.5.1 순환 신경망 기본 구조 214
5.5.2 양방향 순환 신경망 217
5.5.3 장단기 메모리 신경망 219
5.5.4 게이트 순환 유닛 모델 223
5.6 순환 신경망 메타 러닝 알고리즘 226
5.7 메타-장단기 메모리 알고리즘 229
5.8 R2D2 알고리즘 235
5.9 LR2D2 알고리즘 239
5.10 MetaOptNet 알고리즘 244
5.11 전이적 전파 신경망 알고리즘 249
5.12 잠재 임베딩 최적화 알고리즘 257
5.13 참고문헌 264

6장. 베이지안 메타 러닝 방법
6.1 베이지안 프로그램 러닝 알고리즘 269
6.2 신경 통계학자(Neural Statistician) 알고리즘 274
6.3 LLAMA 알고리즘 279
6.4 BMAML 알고리즘 286
6.5 PLATIPUS 알고리즘 293
6.6 VERSA 알고리즘 296
6.7 참고문헌 300

7장. 메타 러닝 응용 분야
7.1 메타 전이 학습 308
7.2 메타 강화 학습 311
7.3 메타 모방 학습 312
7.4 온라인 메타 러닝 313
7.5 비지도 메타 러닝 314
7.6 참고문헌 314
8장. 메타 강화 학습 315
8.1 강화 학습 316
8.2 MAML 기반 메타 강화 학습 319
8.3 GrBAL 알고리즘 322
8.4 참고문헌 326

9장. 메타 모방 학습
9.1 모방 학습 328
9.2 MAML 알고리즘을 이용한 메타 모방 학습 331
9.3 메타미믹 알고리즘 333
9.4 참고문헌 337

10장. 온라인 메타 러닝
10.1 온라인 학습 340
10.2 FTML 알고리즘 343
10.3 참고문헌 345

11장. 비지도 메타 러닝
11.1 비지도 학습 348
11.2 CACTUs 알고리즘 350
11.3 참고문헌 352

펑후이민