최적화 문제를 푸는 데 유용한 알고리즘을 광범위하게 소개한다. 다차원 문제에서 다목적 문제뿐 아니라 불확실성하에서의 최적화 및 유전 알고리즘도 다루고 있다. 세세하고 친절한 그림, 예제와 연습 문제는 문제 뒤에 있는 수학 개념을 이해하기 쉽게 만들고, 최근 과학 분야에서 인기가 급상승하는 언어인 줄리아로 모든 문제를 구현한다.
이 책을 통해 다차원, 국지적 하강법, 1계 및 2계 방법, 확률적 방법, 선형 제약 최적화, 대리모델, 불확실성하에서의 최적화, 불확실성 전파, 표현식 최적화 및 다학제 설계 최적화까지 최적화의 다양한 기법을 숙지함으로써, 최근 유행하는 머신러닝과 딥러닝의 이론 및 실무에 유용하게 적용할 수 있을 것이다.
수학, 통계, 컴퓨터 공학, 모든 공학 분야(전기 공학, 항공우주 공학 포함), 운영 연구 분야의 고급 학부생과 대학원생이 볼 수 있으며, 전문가는 참고 자료로 사용할 수 있다. 특히 고급 단계로 넘어가고자 하는 공학도, 경영과학도, 경제학도에게는 필수 서적이라고 할 수 있다.

[목 차]

1장. 소개
__1.1 역사
__1.2 최적화 프로세스
__1.3 기본 최적화 문제
__1.4 제약식
__1.5 임계점
__1.6 국지적 극소점의 조건
__1.7 등고선 그래프
__1.8 개요
__1.9 요약
__1.10 연습문제

2장. 미분과 그래디언트
__2.1 미분
__2.2 다차원에서의 미분
__2.3 수치 미분
__2.4 자동미분
__2.5 요약
__2.6 연습문제

3장. 괄호법
__3.1 단봉성
__3.2 최초의 괄호를 발견하는 법
__3.3 피보나치 탐색
__3.4 황금분할 탐색
__3.5 2차 적합 탐색
__3.6 슈베르트-피야브스키법
__3.7 이진 탐색
__3.8 요약
__3.9 연습문제

4장. 국지적 경사
__4.1 경사 방향 반복 시행
__4.2 라인 탐색
__4.3 근사적 라인 탐색
__4.4 신뢰 영역법
__4.5 종료 조건
__4.6 요약
__4.7 연습문제

5장. 1계 도함수법
__5.1 그래디언트 하강
__5.2 켤레 그래디언트법
__5.3 모멘텀
__5.4 네스테로프 모멘텀
__5.5 아다그라드
__5.6 알엠에스프롭
__5.7 아다델타
__5.8 아담
__5.9 하이퍼그래디언트 하강
__5.10 요약
__5.11 연습문제

6장. 2계 도함수법
__6.1 뉴턴법
__6.2 시컨트법
__6.3 준뉴턴법
__6.4 요약
__6.5 연습문제

7장. 직접법
__7.1 순환적 좌표 탐색
__7.2 파월법
__7.3 후크-지브스법
__7.4 일반화 패턴 탐색
__7.5 넬더-미드 심플렉스법
__7.6 사각형 분할
__7.7 요약
__7.8 연습문제

8장. 확률적 방법
__8.1 잡음 하강
__8.2 메시 적응적 직접 탐색
__8.3 모의 담금질
__8.4 교차 엔트로피법
__8.5 자연 진화 전략
__8.6 공분산 행렬 적응법
__8.7 요약
__8.8 연습문제

9장. 모집단 방법
__9.1 초기화
__9.2 유전 알고리즘
__9.3 미분 진화
__9.4 입자 군집 최적화
__9.5 반딧불이 알고리즘
__9.6 뻐꾸기 탐색
__9.7 혼합 방법
__9.8 요약
__9.9 연습문제

10장. 제약식
__10.1 제약조건이 있는 최적화
__10.2 제약조건의 형태
__10.3 제약조건을 제거하는 변환
__10.4 라그랑주 승수
__10.5 부등식 제약조건
__10.6 쌍대성
__10.7 페널티법
__10.8 확대 라그랑주법
__10.9 내부점법
__10.10 요약
__10.11 연습문제

11장. 선형 제약 최적화
__11.1 문제 구성
__11.2 심플렉스 알고리즘
__11.3 쌍대 자격
__11.4 요약
__11.5 연습문제

12장. 다중 목적 최적화
__12.1 파레토 최적성
__12.2 제약식 방법
__12.3 가중치 방법
__12.4 다목적 모집단법
__12.5 선호 추출
__12.6 요약
__12.7 연습문제

13장. 샘플링 플랜
__13.1 완전 요인법
__13.2 랜덤 샘플링
__13.3 균등 투영 플랜
__13.4 층화 추출법
__13.5 공간 채움 척도
__13.6 공간 채움 부분 집합
__13.7 준랜덤 수열
__13.8 요약
__13.9 연습문제

14장. 대리 모델
__14.1 대리 모델의 적합화
__14.2 선형 모델
__14.3 기저 함수
__14.4 잡음을 포함한 목적 함수의 적합화
__14.5 모델 선택
__14.6 요약
__14.7 연습문제

15장. 확률적 대리 모델
__15.1 가우시안 분포
__15.2 가우시안 프로세스
__15.3 예측
__15.4 그래디언트 측정
__15.5 측정 잡음
__15.6 가우시안 프로세스 적합화
__15.7 요약
__15.8 연습문제

16장. 대리 최적화
__16.1 예측 기반 탐험
__16.2 오차 기반 탐험
__16.3 신뢰 구간 하계 탐험
__16.4 개선 확률 탐험
__16.5 기대 개선 탐험
__16.6 안전 최적화
__16.7 요약
__16.8 연습문제

17장. 불확실성하에서의 최적화
__17.1 불확실성
__17.2 집합 기반 불확실성
__17.3 확률적 불확실성
__17.4 요약
__17.5 연습문제

18장. 불확실성 전파
__18.1 샘플링법
__18.2 테일러 근사
__18.3 다항식 카오스
__18.4 베이지안 몬테카를로
__18.5 요약
__18.6 연습문제

19장. 이산 최적화
__19.1 정수 계획
__19.2 라운딩
__19.3 절단 평면
__19.4 분기 한정법
__19.5 동적 계획법
__19.6 개미집단 최적화
__19.7 요약
__19.8 연습문제

20장. 표현식 최적화
__20.1 문법
__20.2 유전 계획법
__20.3 문법적 진화 기법
__20.4 확률적 문법
__20.5 확률적 프로토타입 트리
__20.6 요약
__20.7 연습문제

21장. 다분야 통합 최적화
__21.1 분야 분석
__21.2 분야 간 일관성
__21.3 구조
__21.4 다분야 통합 설계 실현 가능
__21.5 순차적 최적화
__21.6 개별 분야 실현 가능
__21.7 협업 최적화
__21.8 연립 분석과 설계
__21.9 요약
__21.10 연습문제

부록 A. 줄리아
__A.1 타입
__A.2 함수
__A.3 제어 흐름
__A.4 패키지

부록 B. 테스트 함수
__B.1 액클리 함수
__B.2 부스 함수
__B.3 브라닌 함수
__B.4 플라워 함수
__B.5 미칼레비츠 함수
__B.6 로젠브록의 바나나 함수
__B.7 윌러의 릿지
__B.8 원형 함수

부록 C. 수학 개념
__C.1 점근 표기법
__C.2 테일러 전개
__C.3 볼록성
__C.4 놈
__C.5 행렬 미적분
__C.6 양정부호
__C.7 가우시안 분포
__C.8 가우시안 구적

부록 D. 해답

★ 지은이의 말★
엔지니어링 시스템 설계를 위한 실용적인 알고리즘에 중점을 둔 최적화를 광범위하게 소개한다. 기본적인 수학 문제 공식과 이를 해결하려는 알고리즘을 소개하는 다양한 최적화 주제를 다룬다. 다양한 접근법의 직관을 전달하고자 그림, 예제, 연습문제를 제공한다. 상급반 학부생, 대학원생, 전문가를 대상으로 한다. 수학 지식이 필요하며, 다변수 미적분학, 선형 대수, 확률 개념을 이미 알고 있다고 가정한다. 일부 리뷰 자료는 부록에 제공된다. 특히 수학, 통계, 컴퓨터 과학, 우주 항공, 전기 공학, 운영 연구 등의 분야에 유용하다.
알고리즘은 이 책의 기본이며, 알고리즘은 모두 줄리아(Julia) 프로그래밍 언어로 구현된다. 줄리아 언어는 사람이 읽을 수 있는 형태로 알고리즘을 구축하는 데 이상적이다. 코드의 출처를 인정하는 조건으로 이 책과 관련된 코드 스니펫(snippet)을 사용할 수 있는 권한이 무료로 부여된다. 다른 사람들이 이 알고리즘을 다른 프로그래밍 언어로 전환하는 데 기여하고자 하리라 예상한다. 다른 언어로 전환된 알고리즘이 공개되면 책의 웹페이지에 이를 링크할 것이다.

★ 옮긴이의 말 ★
이 책은 실용적 알고리즘에 초점을 맞춰 최적화를 포괄적으로 소개한다. 공학적인 관점에서 최적화에 접근하는데, 목적은 제약조건에 따라 일련의 목적을 최적화하는 시스템을 설계하는 것이므로 다른 분야에서도 충분히 활용할 수 있다. 더 나아가 이를 이용해 다학제적 관점에서 새로운 영역을 개척할 수 있으리라고 본다. 다차원 공간 탐색, 여러 개의 경쟁적 목적이 있는 문제, 척도의 측정 불확실성 등 현실적인 상황에서 직면하는 다양한 문제를 해결하는 여러 알고리즘을 배우는데, 각 알고리즘의 유래, 동기, 장단점을 완벽하게 설명한다. 수치, 예시, 연습문제는 수학 개념 뒤에 숨겨진 통찰력을 시각적으로 또는 예제를 통해서 직관적으로 전달한다. 또한 줄리아 언어로 구체적인 구현을 제공해 이해를 더욱 제고함으로써 이해를 돕고 예시를 보여주고자 어느 한 부분도 놓치지 않고 제공한다.
다루는 주제는 일반적으로 거론되는 거의 모든 최적화가 망라될 정도로 광범위한데, 일차원의 최적화로 시작해서 다차원으로의 일반화, 국지적 하강법과 1계와 2계 방법, 최적화에 무작위성을 도입하는 확률적 방법, 목적 함수와 제약 조건이 모두 선형인 선형 제약적 최적화 및 대리 모델, 확률론적 대리 모델 및 불확실성 전파, 유전 알고리즘, 표현식 최적화, 다학제적 설계 최적화들을 포함한다. 최적화의 다양한 기법을 숙지함으로써 최근 유행하는 머신러닝 및 딥러닝의 이론과 실무에 유용하게 적용할 수 있을 것이다.
부록은 본문에서 논의된 최적화 방법의 도출과 분석에 사용되는 줄리아 언어, 알고리즘 성능 평가를 위한 테스트 함수와 수학 개념을 소개한다. 이 책은 수학, 통계, 컴퓨터 공학, 모든 공학 분야(전기 공학, 항공우주 공학 포함), 운영 연구 분야의 고급 학부생과 대학원생들이 사용할 수 있으며, 전문가들을 위한 참고 자료로 사용할 수 있다. 특히 고급 단계로 넘어가고자 하는 공학도, 경영과학도, 경제학도에게는 필수 서적이라고 할 수 있다.



추천사

마이클 트릭(Michael Trick)(카네기멜론대학교의 경영과학부 Harry B and James H Higgins 교수)
“정말 훌륭한 책이다. 디자인이 아름다우며, 줄리아를 사용해 알고리즘을 명확하고 정밀하게 만들었다. 고전적 방법에서 가장 최근의 방법까지 최적화 세계에서 완벽한 보고서다. 수업용 교과서로 쓰기도 좋고, 현대 최적화의 일관성 있는 요약본으로도 유용하다.

알랜 에델만(MIT 응용수학과 교수)
“코첸더퍼와 윌러는 독자들이 최적화의 현대적 실무를 이해하기 위해 필요한 모든 것을 담았다. 예를 들면, 예전에는 고립된 시뮬레이션이라 하던 것이 지금은 최적화 문제의 내부 루프다. 공학, 컴퓨터 과학, 금융, 응용수학의 모든 학생 또는 전문가는 고전적 기초부터 대리모델, 불확실성 전파 및 다분야 통합 최적화에 대해 재미있고 많이 사용되는 더 현대적인 내용을 배우기 위해 이 책의 코드를 읽고 실행하면 좋을 것이다. 독서의 용이성, 인상 깊은 디자인, 실행 가능한 코드와 유쾌한 일화는 이 책을 고전으로 만들 것이다.”

마이클 손더스(Michael Saunders)(스탠퍼드대학교 연구교수)
“아름다운 그림과 예제를 통해 모든 독자는 풍부한 지식을 얻고 직관을 발견할 것이다. 코드 부분은 줄리아와 최적화로의 간결하고 의미 있는 입문을 제공할 것이다.”

마이켈 J. 코첸더퍼
스탠퍼드대학교의 우주항공과의 조교수이며, 『Decision Making Under Uncertainty』(MIT Press, 2015)의 저자다.

팀 A. 윌러
자율 주행 자동차에 대한 안전 검증으로 박사 논문을 썼으며, 지금은 업계에서 비행 택시를 연구하고 있다.

옮긴이 이기홍
카네기멜론대학교에서 석사학위를 받았고, 피츠버그대학교 Finance Ph.D, CFA, FRM이며 금융, 투자 및 경제분석 전문가다. 삼성생명, HSBC, 새마을금고 중앙회, 한국투자공사 등의 국내 유수 금융기관, 금융 공기업에서 자산운용 포트폴리오 매니저로 근무했으며, 현재 딥러닝과 강화학습을 금융에 접목시켜 이의 전파와 저변 확대를 보람으로 삼고 있다. 저서(공저)로는 『금융공학 프로그래밍』(한빛미디어, 2009)이 있으며, 번역서로는 『포트폴리오 성공 운용』(미래에셋투자교육연구소, 2010), 『딥러닝 부트캠프 with 케라스』(길벗, 2017), 『프로그래머를 위한 기초해석학』(길벗, 2018), 『핸즈온 머신러닝ㆍ딥러닝 알고리즘 트레이딩』(에이콘, 2019) 등이 있다. 누구나 자유롭게 머신러닝과 딥러닝을 자신의 연구나 업무에 적용해 활용하는 그날이 오기를 바라며 매진하고 있다.