00장: 강화학습과 딥러닝 개요 0.1 강화학습의 개요 ___0.1.1 기계 학습이란? ___0.1.2 강화학습의 성과 ___0.1.3 강화학습의 기본 용어 ___0.1.4 탐험(Exploration)과 이용(Exploitation) 0.2 인공 신경망 이론 ___0.2.1 인공 신경망(Artificial Neural Network, ANN) ___0.2.2 인공 신경망의 학습 ___0.2.3 데이터 세트의 구성 ___0.2.4 오버피팅(Overfitting)과 언더피팅(Underfitting) ___0.2.5 텐서플로(TensorFlow) ___0.2.6 텐서보드(TensorBoard) 0.3 인공 신경망 코드 ___0.3.1 분류와 회귀 ___0.3.2 회귀 문제(Boston Housing) 0.4 합성곱 신경망 이론 ___0.4.1 합성곱(Convolution) ___0.4.2 합성곱 연산과 관련된 주요 용어 ___0.4.3 합성곱 신경망의 구조 0.5 합성곱 신경망 코드 ___0.5.1 분류 문제(MNIST 데이터 세트) 01장: 유니티와 ML-Agents의 개요 1.1 유니티 설치 및 기초 ___1.1.1 유니티 시작하기 ___1.1.2 유니티 인터페이스 1.2 유니티 ML-Agents ___1.2.1 에이전트(Agent) ___1.2.2 브레인(Brain) ___1.2.3 아카데미(Academy) 02장: ML-Agents 맛보기 2.1 ML-Agents 프로젝트 설정 ___2.1.1 유니티 ML-Agents 내려받기 ___2.1.2 새로운 프로젝트 생성 ___2.1.3 ML-Agents 폴더를 유니티로 복사 ___2.1.4 프로젝트 설정 2.2 유니티 예제 열기 ___2.2.1 3DBall 환경 열기 ___2.2.2 브레인 변경 ___2.2.3 3DBall 환경 빌드 2.3 mlagents 설치 및 학습 ___2.3.1 mlagents 설치 및 경로 설정 ___2.3.2 Getting-started.ipynb 실행 및 코드 설명 ___2.3.3 mlagents를 이용한 학습 ___2.3.4 학습된 결과 테스트 03장: 소코반 환경 만들기 3.1 그리드월드와 소코반 3.2 소코반 폴더 생성 및 파일명 변경 3.3 그리드월드와 소코반 비교 3.4 박스 프리팹 제작 3.5 Academy 스크립트 수정 ___3.5.1 InitializeAcademy() 함수 ___3.5.2 SetEnvironment() 함수 ___3.5.3 AcademyReset() 함수 3.6 Agent 코드 수정 3.7 소코반 환경 플레이 3.8 소코반 환경 빌드 04장: Deep Q Network 4.1 DQN 알고리즘의 개요 4.2 DQN 알고리즘의 기법 ___4.2.1 경험 리플레이(Experience Replay) ___4.2.2 타겟 네트워크(Target Network) 4.3 DQN 학습 4.4 DQN 코드 ___4.4.1 라이브러리 불러오기 및 파라미터 값 설정 ___4.4.2 Model 클래스 ___4.4.3 Agent 클래스 ___4.4.4 Main 함수 ___4.4.5 텐서보드를 이용한 성능 확인 05장: 드론 환경 만들기 5.1 드론 환경 5.2 드론 폴더 생성 및 파일명 변경 5.3 에셋 스토어에서 드론 에셋 내려받기 5.4 드론 에셋 환경 설정 및 플레이 5.5 드론 환경 제작하기 5.6 Agent 코드 작성 ___5.6.1 전역변수 설정 ___5.6.2 InitializeAgent 함수 ___5.6.3 CollectObservations 함수 ___5.6.4 AgentAction 함수(행동 설정) ___5.6.5 AgentAction 함수(보상 설정) ___5.6.6 AgentReset 함수 5.7 플레이어 브레인 설정 및 드론 환경 플레이 5.8 러닝 브레인 설정 및 드론 환경 빌드 06장: Deep Deterministic Policy Gradient 6.1 DDPG 알고리즘의 개요 6.2 DDPG 알고리즘의 기법들 ___6.2.1 경험 리플레이(Experience Replay) ___6.2.2 타겟 네트워크(Target Network) ___6.2.3 소프트 타겟 업데이트(Soft Target Update) ___6.2.4 OU 노이즈(Ornstien Uhlenbeck Noise) 6.3 DDPG 학습 ___6.3.1 크리틱 네트워크 업데이트 ___6.3.2 액터 네트워크 업데이트 6.4 DDPG 코드 ___6.4.1 라이브러리 불러오기 및 파라미터 값 설정 ___6.4.2 OU 노이즈 클래스 ___6.4.3 Actor & Critic 클래스 ___6.4.4 Agent 클래스 ___6.4.5 Main 함수 ___6.4.6 텐서보드를 이용한 성능 확인 07장: 퐁 환경 만들기 7.1 퐁 환경 설명 7.2 퐁 환경 폴더 생성 및 파일명 변경 7.3 퐁 환경 오브젝트 만들기 ___7.3.1 게임판 만들기 ___7.3.2 골대 만들기 ___7.3.3 에이전트 만들기 7.4 오브젝트에 마찰 및 탄성력 적용 7.5 스크립트 제작 ___7.5.1 PongAgent 스크립트 ___7.5.2 PongGoalDetection 스크립트 ___7.5.3 PongAcademy 스크립트 7.6 브레인 추가하기 ___7.6.1 다수의 브레인을 이용한 멀티에이전트 환경 설정 ___7.6.2 하나의 브레인을 이용한 멀티에이전트 환경 설정 7.7 퐁 환경 빌드 08장: 적대적인 DQN 에이전트 만들기 8.1 적대적인 DQN 알고리즘의 개요 8.2 적대적인 DQN 알고리즘 코드 ___8.2.1 라이브러리 불러오기 및 파라미터 값 설정 ___8.2.2 Model 클래스 ___8.2.3 Agent 클래스 ___8.2.4 Main 함수 8.3 하나의 브레인을 이용한 적대적인 DQN 알고리즘 코드 8.4 적대적인 DQN 학습 결과 09장: 소코반 커리큘럼 학습 9.1 커리큘럼 학습이란? 9.2 커리큘럼 학습을 위한 소코반 환경 ___9.2.1 소코반 커리큘럼의 환경 설정 변경 ___9.2.2 Academy 코드 수정 ___9.2.3 Agent 코드 수정 9.3 DDDQN 알고리즘 이론 ___9.3.1 Double DQN ___9.3.2 Dueling DQN 9.4 DDDQN의 학습 코드 작성 ___9.4.1 라이브러리 불러오기 ___9.4.2 파라미터 설정 ___9.4.3 DDDQN_Model 클래스 ___9.4.4 DDDQN_Agent 클래스 ___9.4.5 Main 함수 9.5 소코반 커리큘럼 학습 실행 및 결과 10장: 닷지 환경 만들기 10.1 닷지 환경 소개 10.2 닷지 폴더 생성 및 파일명 변경 10.3 씬 내부의 오브젝트 설정 ___10.3.1 아카데미 스크립트 교체 ___10.3.2 닷지 게임 환경 만들기 ___10.3.3 닷지 에이전트 만들기 ___10.3.4 공 만들기 10.4 스크립트 구성하기 ___10.4.1 DodgeAcademy 스크립트 ___10.4.2 DodgeAgent 스크립트 ___10.4.3 BallScript 스크립트 10.5 브레인 추가 10.6 환경 빌드 10.7 사람의 플레이 데이터 저장하기 ___10.7.1 Demonstration 추가 ___10.7.2 게임 실행 및 학습 데이터 녹화 ___10.7.3 녹화 데이터 저장 경로 11장: Behavioral Cloning 11.1 Behavioral Cloning 알고리즘의 개요 11.2 Behavioral Cloning 알고리즘의 기법 ___11.2.1 보상이 음수인 데이터 제외하기 ___11.2.2 드롭아웃(Dropout) 11.3 Behavioral Cloning 학습 11.4 Behavioral Cloning 코드 ___11.4.1 라이브러리 불러오기 ___11.4.2 파라미터 값 설정 ___11.4.3 Model 클래스 ___11.4.4 Agent 클래스 ___11.4.5 Main 함수 11.5 ml-agents의 내장 Behavioral Cloning 12장: 마무리 12.1 정리 12.2 여러 개의 ML-Agents 환경 동시에 실행하기