PART I 기초 1 CHAPTER 1 강화학습이란? 3 1.1 심층 강화학습에서 ‘심층’의 의미 4 1.2 강화학습 6 1.3 동적 계획법과 몬테카를로 방법 9 1.4 강화학습의 틀 12 1.5 강화학습으로 할 수 있는 일 16 1.6 왜 심층 강화학습인가? 18 1.7 이 책의 주요 설명 수단: 끈 그림 21 1.8 앞으로의 여정 22 요약 24 CHAPTER 2 강화학습 문제의 모형화: 마르코프 결정 과정 25 2.1 끈 그림과 이 책의 교육 방식 25 2.2 여러 팔 강도 문제의 해법 30 2.3 여러 팔 강도 문제를 광고 배치 최적화에 적용 41 2.4 PyTorch로 신경망 만들기 43 2.5 문맥적 강도 문제의 해법 47 2.6 마르코프 성질 52 2.7 향후 보상의 예측: 가치와 정책 함수 55 요약 59 CHAPTER 3 가장 나은 동작의 선택: 심층 Q 신경망(DQN) 61 3.1 Q 함수 62 3.2 Q 학습 개요 64 3.3 파국적 망각 방지: 경험 재현 85 3.4 목표망을 이용한 안정성 개선 92 3.5 정리 99 요약 102 CHAPTER 4 정책 기울기 방법 103 4.1 신경망을 이용한 정책 함수 구현 104 4.2 좋은 동작의 강화: 정책 기울기 알고리즘 108 4.3 OpenAI Gym 다루기 114 4.4 REINFORCE 알고리즘 117 요약 125 CHAPTER 5 좀 더 어려운 문제 풀기: 행위자-비평자 모형 127 5.1 가치 함수와 정책 함수의 결합 129 5.2 분산 훈련 135 5.3 이익 행위자-비평자 141 5.4 N-단계 행위자-비평자 151 요약 157 PART I I 더 높은 곳을 향하여 159 CHAPTER 6 또 다른 최적화 방법: 진화 알고리즘 161 6.1 강화학습의 또 다른 접근 방식 162 6.2 진화를 이용한 강화학습 163 6.3 CartPole을 위한 유전 알고리즘 172 6.4 진화 알고리즘의 장단점 180 6.5 규모가변적 대안으로서의 진화 알고리즘 182 6.5.6 기울기 기반 접근 방식의 규모 확장 189 요약 189 CHAPTER 7 모든 가능성의 탐색: 분포 심층 Q 신경망 191 7.1 기댓값 Q 학습의 문제점 192 7.2 다시 살펴보는 확률과 통계 197 7.3 벨먼 방정식 204 7.4 분포 Q 학습 206 7.5 확률분포의 비교 219 7.6 가상의 데이터에 대한 분포 DQN 225 7.7 분포 DQN을 이용한 아타리 프리웨이 학습 231 요약 237 CHAPTER 8 호기심 주도 탐험 239 8.1 예측 부호화를 이용한 희소 보상 문제 해결 241 8.2 역방향 동역학 예측 244 8.3 슈퍼 마리오브라더스 환경 설정 247 8.4 Q 신경망 전처리 250 8.5 Q 신경망과 정책 함수 설정 253 8.6 ICM(내재적 호기심 모듈) 257 8.7 그 밖의 내재적 보상 메커니즘들 271 요약 274 CHAPTER 9 다중 에이전트 강화학습 277 9.1 단일 에이전트에서 다중 에이전트로 278 9.2 이웃 Q 학습 282 9.3 1차원 이징 모형 286 9.4 평균장 Q 학습과 2차원 이징 모형 298 9.5 혼합 협조-경쟁 게임 309 요약 323 CHAPTER 10 해석 가능한 강화학습: 주의 모형과 관계 모형 325 10.1 주의와 관계 편향을 이용한 기계학습 해석성 개선 326 10.2 주의 메커니즘을 이용한 관계 추론 330 10.3 MNIST 이미지 분류를 위한 자가 주의 모형 구현 342 10.4 다중 헤드 주의 모형과 관계 DQN 356 10.5 이중 Q 학습 365 10.6 훈련과 주의 시각화 367 요약 376 CHAPTER 11 결론: 돌아보기와 내다보기 379 11.1 핵심 정리 380 11.2 심층 강화학습 분야의 미개척 주제들 382 11.3 마치며 386 APPENDIX A 수학, 심층학습, PyTorch 387 A.1 선형대수 388 A.2 미적분 390 A.3 심층학습 396A.4 PyTorch 397 참고문헌 402 찾아보기 406