주요 신경망 이론과 응용 사례

신경망 이론 입문서로서 전세계 독자들에게 많은 사랑을 받으며, 대학원 교재로 채택될 정도로 그 효용성을 인정받고 있다. 이 책에서는 인공 신경망의 역사에 변곡점을 만든 주요 신경망의 개념과 구조, 훈련 방식을 체계적이고 상세하게 소개하고 있다. 또한 신경망 이론의 수학적 이해에 필요한 선형대수 이론을 주요하게 다루고 있으며, 예제와 문제 풀이를 통해 개념을 쉽게 설명하고 있어서 누구나 흥미롭게 이해하고 따라갈 수 있고, 신경망 이론의 수학적 증명을 포함하고 있어서 수학적 타당성을 깊이 있게 이해할 수 있게 해준다. 이 책을 통해 신경망의 이론적 기반을 더욱 탄탄히 다질 수 있을 것이다.

[목 차]

1장. 소개

-목표
-역사
-응용
-생체 영감
-참고 문헌

2장. 뉴런 모델과 네트워크 구조

-목표
-이론과 예제
-표기법
-뉴런 모델
-네트워크 구조
-결과 요약
-문제 풀이
-맺음말
-연습문제

3장. 신경망 예제

-목표
-이론과 예제
-문제 정의
-퍼셉트론
-해밍 네트워크
-홉필드 네트워크
-맺음말
-연습문제

4장. 퍼셉트론 학습 규칙

-목표
-이론과 예제
-학습 규칙
-퍼셉트론 구조
-퍼셉트론 학습 규칙
-수렴의 증명
-결과 요약
-문제 풀이
-맺음말
-참고 문헌
-연습문제

5장. 신호 및 가중치 벡터 공간

-목표
-이론과 예제
-선형 벡터 공간
-선형 독립
-공간 생성
-내적
-놈
-직교성
-벡터 전개
-결과 요약
-문제 풀이
-맺음말
-참고 문헌
-연습문제

6장. 신경망을 위한 선형 변환

-목표
-이론과 예제
-선형 변환
-행렬 표현
-기저 변환
-고윳값과 고유벡터
-결과 요약
-문제 풀이
-맺음말
-참고 문헌
-연습문제

7장. 지도 헵 학습

-목표
-이론과 예제
-선형 연상 메모리
-헵 규칙
-의사역행렬 규칙
-응용
-헵 학습의 변형
-결과 요약
-문제 풀이
-맺음말
-참고 문헌
-연습문제

8장. 성능 표면과 최적점

-목표
-이론과 예제
-테일러 급수
-방향 미분
-최소
-최적의 필요조건
-2차 함수
-결과 요약
-문제 풀이
-맺음말
-참고 문헌
-연습문제

9장. 성능 최적화

-목표
-이론과 예제
-최대 경사 하강법
-뉴턴법
-켤레 경사법
-결과 요약
-문제 풀이
-맺음말
-참고 문헌
-연습문제

10장. 위드로-호프 학습

-목표
-이론과 예제
-ADALINE 네트워크
-평균 제곱 오차
-LMS 알고리즘
-수렴 분석
-적응 필터링
-결과 요약
-문제 풀이
-맺음말
-참고 문헌
-연습문제

11장. 역전파

-목표
-이론과 예제
-다층 퍼셉트론
-역전파 알고리즘
-예제
-배치 훈련과 점진적 훈련
-역전파 사용
-결과 요약
-문제 풀이
-맺음말
-참고 문헌
-연습문제

12장. 역전파 변형

-목표
-이론과 예제
-역전파의 단점
-역전파의 경험적 변형
-수치 최적화 기법
-결과 요약
-문제 풀이
-맺음말
-참고 문헌
-연습문제

13장. 일반화

-목표
-이론과 예제
-문제 정의
-일반화 개선 방법
-결과 요약
-문제 풀이
-맺음말
-참고 문헌
-연습문제

14장. 동적 네트워크

-목표
-이론과 예제
-계층화된 디지털 동적 네트워크
-동적 학습 원리
-동적 역전파
-결과 요약
-문제 풀이
-맺음말
-참고 문헌
-연습문제

15장. 경쟁 네트워크

-목표
-이론과 예제
-해밍 네트워크
-경쟁 계층
-생체 경쟁 계층
-자기 조직 특징 맵
-학습 벡터 양자화
-결과 요약
-문제 풀이
-맺음말
-참고 문헌
-연습문제

16장. 방사형 기저 네트워크

-목표
-이론과 예제
-방사형 기저 네트워크
-RBF 네트워크 훈련
-결과 요약
-문제 풀이
-맺음말
-참고 문헌
-연습문제

17장. 실용적인 훈련 이슈

-목표
-이론과 예제
-사전 훈련 단계
-네트워크 훈련
-사후 훈련 분석
-맺음말
-참고 문헌

18장. 사례 연구 1: 함수 근사

-목표
-이론과 예제
-스마트 센서 시스템
-데이터 수집과 전처리
-네트워크 구조 선택
-네트워크 훈련
-검증
-데이터 집합
-맺음말
-참고 문헌

19장. 사례 연구 2: 확률 추정

-목표
-이론과 예제
-CVD 과정
-데이터 수집과 전처리
-네트워크 구조 선택
-네트워크 훈련
-검증
-데이터 집합
-맺음말
-참고 문헌

20장. 사례 연구 3: 패턴 인식

-목표
-이론과 예제
-심근경색 인식 설명
-데이터 수집과 전처리
-네트워크 구조 선택
-네트워크 훈련
-검증
-데이터 집합
-맺음말
-참고 문헌

21장. 사례 연구 4: 클러스터링

-목표
-이론과 예제
-임상 식물 문제 정의
-데이터 수집과 전처리
-네트워크 구조 선택
-네트워크 훈련
-검증
-데이터 집합
-맺음말
-참고 문헌

22장. 사례 연구 5: 예측

-목표
-이론과 예제
-자기 부상 시스템
-데이터 수집과 전처리
-네트워크 구조 선택
-네트워크 훈련
-검증
-데이터 집합
-맺음말
-참고 문헌
-벡터

부록

-부록 A 참고 문헌
-부록 B 표기법
-부록 C 소프트웨어

[본 문]

이 책에서는 기본 신경망 구조와 학습 규칙을 소개한다. 신경망의 수학적 분석과 훈련 방법, (비선형 회귀 분석, 패턴 인식, 신호 처리, 데이터 마이닝, 제어 시스템 같은) 실용적 엔지니어링 문제로의 응용을 강조하고 있다.
책의 내용을 명확하고 일관된 방식으로 제시해 쉽게 읽고 적용할 수 있도록 심혈을 기울였다. 각 장의 논의 주제를 충분히 설명하기 위해 가능한 한 많은 문제 풀이를 포함시켰다. 또한 마지막 5개 장에서는 신경망을 실제 문제에 적용했을 때 발생할 수 있는 실질적인 이슈를 설명하기 위해 몇 가지 사례 연구를 제시했다.
이 책에 포함될 수도 있었지만 생략된 여러 내용이 있다. 예를 들어, 이 책에서는 모든 신경망 구조와 학습 규칙을 요약해서 설명하기보다는 기본 개념을 집중적으로 설명하고 있다. 둘째, VLSI, 광학기기, 병렬 컴퓨터 같은 신경망 구현 기술은 논의하지 않는다. 마지막으로 신경망의 생물학적/심리학적 근거는 깊이 있게 제시하지 않는다.
이런 내용은 모두 중요한 주제지만 이 책은 신경망 설계에 가장 유용한 주제에 집중하고 이를 깊이 있게 다룸으로써 독자에게 도움을 주고자 한다.
('지은이의 말' 중에서)

대부분의 머신 러닝 입문자들은 현재 머신 러닝 기법 중 가장 성능이 좋고 광범위하게 적용할 수 있는 딥러닝으로 입문할 것이다. 딥러닝을 공부하다 보면 DNN, CNN, RNN 같은 신경망이 어떤 배경으로 탄생하고 발전해왔는지 궁금해지는데, 이 책은 그런 궁금증을 해소해줄 뿐만 아니라 신경망의 이론적 기반을 더욱 탄탄히 하는 데 도움을 줄 수 있다.
인간이 자신의 뇌와 신경망을 직접 들여다보고 이해하기 시작한 것은 불과 100년 전이다. 19세기 말에 생체 신경망의 연구가 본격적으로 시작됐고, 그 후 얼마 지나지 않아 사람들은 기계로 생체 신경망을 모방하면 인간 수준의 추론을 할 수 있으리란 믿음으로 인공 신경망을 연구하기 시작했다. 1940년대에 인공 신경망의 역사가 시작됐으니, 그 역사는 컴퓨터의 역사와 비교해봐도 결코 짧다고 할 수 없다.
지난 70여 년 동안 인간 수준의 인공 신경망을 만들기 위해 수많은 노력이 있었으며, 그 안에서 다양한 형태의 신경망이 나타나고 발전해왔다. 이 책에서는 인공 신경망의 역사에 변곡점을 만든 주요 신경망의 개념과 구조, 훈련 방식을 체계적이고 상세하게 소개하고 있다.
이 책은 신경망 이론 입문서로서 전 세계 독자들에게 많은 사랑을 받고 있으며, 대학원 교재로 채택될 정도로 그 효용성을 인정받고 있다.

이는 다음과 같은 차별화된 특징들 때문이다.
1. 신경망 이론의 수학적 이해를 돕기 위해 선형대수 이론을 주요하게 다루고 있다.
2. 예제와 문제 풀이를 통해 개념을 아주 쉽게 설명하고 있어서 누구나 흥미롭게 이해하고 따라갈 수 있다
3. 신경망 이론의 수학적 증명을 포함하고 있어서 수학적 타당성을 깊이 있게 이해하게 해준다.

모쪼록 이 책이 신경망의 이론적 기반을 더욱 탄탄히 다질 수 있는 기회를 독자들에게 제공할 수 있기를 바란다.
('옮긴이의 말' 중에서)

[이 책에서 다루는 내용]

- (다층 신경망 및 방사형 기저 네트워크를 포함한) 피드포워드 네트워크와 순환망의 훈련 기법을 상세히 다루고 있다. 켤레 경사 및 레벤버그-마쿼트 역전파 알고리즘의 변형 외에 훈련된 네트워크의 일반화를 보장하기 위한 베이지안 정규화와 조기 종료에 대해서도 다룬다.
- 특징 맵, 벡터 양자화 학습을 포함하는 연상 네트워크와 경쟁 네트워크를 간단한 구성요소와 함께 설명한다.
- 상세한 실제 사례 연구를 제시하는 5개의 장과 함께 함수 근사, 패턴 인식, 군집화, 예측에 관한 실용적인 훈련 팁에 관한 장을 제공한다.
- 상세한 예제와 다양한 문제 풀이를 제공한다. 슬라이드와 종합적인 데모 소프트웨어를 hagan.okstate.edu/nnd.html에서 내려 받을 수 있다.

[이 책의 대상 독자]

대학교 졸업반이나 대학원 1년 차를 위한 한 학기 신경망 입문 과정으로 구성됐다(물론 단기 과정이나 독학, 참고용으로도 적합하다). 독자는 선형대수, 확률, 미분 방정식에 관한 배경지식이 어느 정도 있어야 한다.

[이 책의 구성]

각 장은 이론과 예제, 결과 요약, 문제 풀이, 맺음말, 참고 문헌, 연습문제로 이뤄진 6개의 절로 나뉘어 있다. '이론과 예제' 절은 각 장의 본문으로 기본 아이디어 개발 과정과 (여기 왼쪽의 아이콘으로 표시되는) 예제를 포함한다. '결과 요약' 절은 주요 방정식과 개념을 쉽게 참고할 수 있게 했다. 각 장의 1/3 정도는 '문제 풀이' 절에 할애돼 있으며 여기서는 주요 개념에 대한 자세한 예제를 제공한다.
1장부터 6장까지는 뒷부분에 필요한 기본 개념을 다룬다. 1장은 이 책에 대한 소개와 함께 간단한 역사적 배경과 기초 생물학에 관한 내용으로 구성돼 있다. 2장은 기본 신경망 구조를 설명하고, 이 책에서 사용하는 표기법을 정의한다. 3장은 세 종류의 신경망을 사용해 간단한 패턴 인식 문제의 해결 방법을 보여준다. 이들은 이 책에서 제시하는 모든 종류의 네트워크를 대표하는 네트워크다. 또한 이 책에서는 3장에서 제시한 패턴 인식 문제를 공통의 경험적 맥락으로 제공한다.
이 책은 대부분의 다양한 작업을 수행하기 위한 신경망 훈련 방법에 초점이 맞춰져 있다. 4장에서는 학습 알고리즘이 무엇인지 소개하며, 최초의 실용적 학습 알고리즘인인 퍼셉트론 학습을 제시한다. 퍼셉트론 네트워크는 근본적인 한계가 있지만 역사적으로 매우 중요하며, 이후에 제시되는 좀 더 강력한 네트워크에 적용되는 주요 개념을 소개할 때 매우 유용하게 사용된다.
주요 목표 중 하나는 신경망의 작동 방식을 설명하는 것이다. 따라서 신경망 주제와 관련된 주요 내용을 함께 엮어서 소개할 것이다. 예를 들어, 신경망 이해를 위한 핵심 수학이라고 할 수 있는 선형대수는 5장과 6장에서 복습한다. 여기서 논의되는 개념은 이 책에서 광범위하게 사용된다.
7장, 15장은 생물학과 심리학에서 많은 영감을 받은 네트워크에 대해 설명하며, 이에 대한 학습 규칙도 설명한다. 이 네트워크는 연상 네트워크(associative network)와 경쟁 네트워크(competitive network) 범주에 속한다. 연상 네트워크는 7장, 경쟁 네트워크는 15장에서 다룰 것이다.
8~14장, 16장은 성능을 최적화하기 위해 네트워크를 훈련시키는 성능 학습(performance learning)을 다룬다. 8장, 9장은 성능 학습의 기본 개념을 소개한다. 10~13장은 점점 강력해지고 복잡해지는 피드포워드 신경망(feedforward neural network)에 성능 학습의 개념을 적용하며, 14장은 동적 네트워크(dynamic network)에, 16장에서는 경쟁 학습 개념을 사용하는 사형 기저 네트워크(radial basis network)에 성능 학습의 개념을 적용한다.
네트워크 종류별 기초와 학습 규칙에 집중해 핵심 개념을 이해하는 데 중점을 둔 이전 장들과는 달리, 17~22장은 신경망을 실제 문제에 적용하면서 발생하는 실질적인 이슈에 대해 논의한다. 17장은 여러 가지 실용적인 훈련 팁을 설명하며, 18~22장은 사례 연구를 제시한다. 사례 연구에서는 신경망을 함수 근사, 확률 추정, 패턴 인식, 클러스터링, 예측에 관한 실제 문제에 적용한다.

마틴 헤이건(Martin T. Hagan)
캔자스 대학교, 전기 공학 박사
제어 시스템과 신호 처리 분야에서 35년간 연구와 강의를 해왔으며, 최근 25년간은 신경망을 사용한 제어와 필터링, 예측 분야의 연구에 집중해왔다. 오클라호마 주립대학교 전기 및 컴퓨터 공학과 학부의 교수이자 'Neural Network Toolbox for MATLAB'의 공동 저자이기도 하다.

하워드 데무스(Howard B. Demuth)
스탠퍼드 대학교, 전기 공학 박사
23년간 주로 로스 알라모스 국립 연구소에서 세계 최초의 전자 컴퓨터 '매니악(MANIAC)'의 설계와 개발에 관여하는 등의 업계 경험을 쌓아왔으며, 15년간의 강의 경력도 갖추고 있다. 'Neural Network Toolbox for MATLAB'의 공동 저자이면서, 현재는 볼더의 콜로라도대학교에서 신경망을 강의하고 있다.

마크 허드슨 빌(Mark Hudson Beale)
아이다호 대학교, 컴퓨터 과학 학사
인공지능 알고리즘과 소프트웨어 개발 기술에 집중하고 있는 소프트웨어 공학자다. 'Neural Network Toolbox for MATLAB'의 공동 저자이며, 아이다호 헤이든에 있는 자신의 회사(MHB)를 통해 관련 컨설팅을 하고 있다.

올랜도 헤수스(Orlando De Jesus)
오클라호마 주립대학교, 전기 공학 박사
24년간 업계 경험을 통해 베네수엘라 카라카스에 있는 AETI와 텍사스 캐롤턴에 있는 할리버턴사를 거쳐 현재는 텍사스 프리스코에서 공학 컨설팅을 하고 있다. 그의 논문은 'Neural Network Toolbox for MATLAB'에서 동적 신경망 훈련 알고리즘의 기초가 됐다.

옮긴이 윤성진
KAIST 전산학과에서 석사학위를 취득하고 약 22년 동안 LG전자, 보험넷, 엑센츄어, 티맥스소프트, LUXROBO에서 연구개발, 컨설팅, 제품기획, 전략기획 분야에서 일을 해왔다. 최근 5년 동안 티맥스소프트에서 연구기획 실장 및 수석 제품기획자로 다양한 데이터 및 미들웨어 관련 소프트웨어 제품기획을 했으며, LUXROBO에서 모듈형 로봇 플랫폼 제품기획과 CSO로서 사업전략을 수립했다.