★ 이 책에서 다루는 내용 ★ ■ Deep Belief Nets 패러다임에 대한 학습 동기를 제공한다. ■ 대부분의 일반적인 Deep Belief Nets의 구성 요소들을 위한 중요한 함수와 수식들을 제시하고, 정당성에 대해 연구한다. ■ 일반적인 Deep Belief Nets 패러다임을 위한 훈련, 실행, 분석 알고리즘들을 언어 독립적인 형태로 제공한다. ■ 이 책에 수록돼 있는 DEEP 프로그램의 상세한 사용자 매뉴얼은 홈페이지(TimothyMasters.info)에서 무료로 다운로드할 수 있다. 이 책에서는 이 프로그램의 내부적인 동작 원리를 상세하게 다룬다. ■ 여러 가지 필수적인 Deep Belief Nets 알고리즘을 구현한 C++ 코드를 제공한다. 윈도우상에서 실행되는 멀티스레드 버전의 구현물과 더불어 nVidia 비디오카드의 슈퍼 컴퓨팅 성능을 활용할 수 있도록 CUDA C 기반으로 구현한 코드도 제공한다. ★ 이 책의 대상 독자 ★ 이 책은 신경망에 대해 이미 기본적인 지식이 있으며, Deep Belief Nets에 대해 학습하고 실험해보면서 DEEP 프로그램도 구현해보고자 하는 독자를 대상으로 한다. ★ 이 책의 구성 ★ 1장, *소개*에서는 다중 레이어 피드포워드 신경망에 대해 알아보고 Deep Belief Nets란 무엇인지 알아본다. 2장, *감독 피드포워드 신경망*에서는 오차 역전파에 대해 알아보고 멀티스레드를 지원하는 CUDA 기반의 기울이 연산 코드에 대해 알아본다. 3장, *제한된 볼츠만 머신*에서는 RBM(Restricted Boltzmann Machine)의 특이점을 알아보고, 최대 발생 가능 훈련에 대해 알아본다. 4장, *탐욕적인 훈련*은 훈련 알고리즘에 대해 알아 본 후, 생성적 샘플링에 대해 다룬다. 5장, *DEEP 사용 매뉴얼*에서는 개략적인 DEEP 1.0 프로그램의 사용 매뉴얼을 소개한다.

1 소개 __이 책의 대상 독자 __다중 레이어 피드포워드 신경망 개요 __Deep Belief Nets란 무엇이며, 왜 이 모델이 좋은 것인가? 2 감독 피드포워드 신경망 __오차 역전파 ____SoftMax 출력 계산 기법을 이용한 분류 작업 __기울기 계산 수행 소스코드 __가중치 패널티 __멀티스레드를 지원하는 기울기 연산 __CUDA 기반의 기울기 연산 코드 ____기본 아키텍처 ____간단한 예 ____초기화 ____은닉층 뉴런 활성화 ____출력 뉴런 활성화 ____oftMax 출력 ____출력 델타 ____출력 기울기 ____첫 번째 은닉층의 기울기 ____중간 은닉층들의 기울기 ____기울기 가져오기 ____평균 제곱 오차 연산의 효율을 향상 시켜주는 절감 알고리즘 ____로그 발생 확률 연산의 효율을 향상시켜주는 절감 알고리즘 ____총정리 __기본적인 훈련 알고리즘 ____첫 가중치를 구하기 위한 담금질 모사 알고리즘 ____최적의 출력 가중치 계산을 위한 특이값 분해 ____통계적 기울기 하강 ____기울기 최적화의 켤레 개념 3 제한된 볼츠만 머신 __제한된 볼츠만 머신이란? ____재구조화 오차 __최대 발생 가능 훈련 ____대조적 발산 ____가중치 패널티 ____희소성 유도 ____초기 가중치 찾기 ____은닉 뉴런 바이어스 ____가시 뉴런 바이어스 ____재구조화 오차 구현 코드 ____멀티스레드 기반의 초기 가중치 선택 ____통계적 기울기 하강 알고리즘의 기본 원리 ____핵심 알고리즘 ____배치 단위로 에포크 분할 ____에포크 뒤섞기 ____학습률과 모멘텀 업데이트 ____수렴 값 결정 __멀티스레드 기반의 RBM 훈련 알고리즘 구현 코드 __CUDA 기반의 RBM 훈련 코드 ____초기화와 캐시 라인 매칭 ____훈련 데이터 가져오기 ____가시 레이어에서 은닉 레이어로 ____은닉 레이어에서 가시 레이어로 ____기울기 길이와 내적 연산의 효율성을 향상시켜주는 알고리즘 ____입력 바이어스 업데이트 ____은닉 뉴런 바이어스 업데이트 ____가중치 업데이트 ____총정리 ____타이밍 ____가중치 업데이트 분석 ____가시 레이어에서 은닉 레이어로의 분석 ____은닉 레이어에서 가시 레이어로의 분석 ____향상된 훈련 알고리즘과 향후 버전 4 탐욕적인 훈련 __생성적 샘플링 5 DEEP 사용 매뉴얼 __메뉴 옵션 ____파일 메뉴 옵션 ____테스트 메뉴 옵션 ____화면 출력 메뉴 옵션 __데이터베이스 읽어 들이기 __MNIST 이미지 읽어 들이기 __MNIST 라벨 읽어 들이기 __활성화 파일 작성 __모든 데이터 삭제 __모델 아키텍처 __데이터베이스 입력과 목표치 __RBM 훈련 파라미터 __감독 훈련 파라미터 __훈련 __테스트 __분석 __수용 영역 __생성적 샘플 __DEEP.LOG 파일