Chapter 1 선형대수와 최적화: 서론 1.1 서론 1 1.2 스칼라, 벡터, 행렬 2 1.2.1 스칼라와 벡터에 대한 기본 연산 3 1.2.2 벡터와 행렬에 대한 기본 연산 9 1.2.3 특수 행렬 15 1.2.4 행렬 누승, 행렬 다항식, 역행렬 17 1.2.5 행렬 역변환 보조정리: 행렬 합에 대한 역변환 21 1.2.6 프로베니우스 노옴, 대각 합, 에너지 24 1.3 분해가능 연산자로서의 행렬 곱셈 26 1.3.1 분해가능 행 연산자 및 열 연산자로서의 행렬 곱셈 27 1.3.2 분해가능 기하 연산자로서의 행렬 곱셈 32 1.4 기계학습의 기본 문제들 34 1.4.1 행렬 인수분해 34 1.4.2 군집화 36 1.4.3 분류와 회귀 모델링 36 1.4.4 이상치 탐지 38 1.5 기계학습을 위한 최적화 39 1.5.1 함수 간소화를 위한 테일러 전개식 39 1.5.2 기계학습 최적화 사례 41 1.5.3 계산 그래프상의 최적화 43 1.6 요약 44 1.7 추가 자료 45 1.8 연습문제 45 Chapter 2 선형 변환과 선형 연립방정식 2.1 서론 53 2.1.1 선형 변환이란? 54 2.2 행렬 곱셈의 기하학 55 2.3 벡터 공간과 기하학적 의미 65 2.3.1 기저 시스템의 좌표 71 2.3.2 기저 집합 간의 좌표 변환 74 2.3.3 벡터 집합의 생성공간 75 2.3.4 기계학습 예제: 이산 웨이블릿 변환 77 2.3.5 벡터 공간의 부분공간들 사이의 관계 78 2.4 행렬 행과 열에 관한 선형대수 80 2.5 행렬의 행 사다리꼴 형식 83 2.5.1 LU 분해 85 2.5.2 응용: 기저 집합 찾기 86 2.5.3 응용: 행렬 역변환 86 2.5.4 응용: 선형 연립방정식 풀이 87 2.6 행렬 순위 개념 90 2.6.1 행렬 연산이 순위에 미치는 영향 91 2.7 직교 기저 집합의 생성 94 2.7.1 그람-슈미트 직교화와 QR 분해 94 2.7.2 QR 분해 96 2.7.3 이산 코사인 변환 99 2.8 최적화 관점의 선형 연립방정식 102 2.8.1 무어-펜로즈 의사 역행렬 104 2.8.2 투영 행렬 106 2.9 불량 조건 행렬과 불량 조건 연립방정식 109 2.10 내적: 기하학적 관점 111 2.11 복소수 벡터 공간 112 2.11.1 이산 푸리에 변환 115 2.12 요약 117 2.13 추가 자료 117 2.14 연습문제 117 Chapter 3 고유벡터와 대각화 가능 행렬 3.1 서론 125 3.2 행렬식 126 3.3 대각화 가능 변환과 고유벡터 132 3.3.1 복소수 고윳값 138 3.3.2 좌 고유벡터와 우 고유벡터 139 3.3.3 대각화의 존재 및 고유성 140 3.3.4 삼각화의 존재 및 고유성 143 3.3.5 고윳값을 공유하는 유사 행렬 집단 145 3.3.6 고유벡터를 공유하는 대각화 가능 행렬 집단 148 3.3.7 대칭행렬 148 3.3.8 양의 준정부호 행렬 151 3.3.9 촐레스키 인수분해: 대칭 LU 분해 153 3.4 기계학습과 최적화 응용 155 3.4.1 기계학습에서 빠른 행렬 연산 156 3.4.2 기계학습에서 대각화 가능 행렬의 예 156 3.4.3 2차 최적화의 대칭행렬 160 3.4.4 대각화 응용: 최적화를 위한 변수 분리 165 3.4.5 노옴 제약 2차계획법의 고유벡터 167 3.5 고유벡터를 찾기 위한 수치 알고리즘 169 3.5.1 슈어 분해를 통한 QR 방법 170 3.5.2 우세 고유벡터를 찾기 위한 누승법 170 3.6 요약 173 3.7 추가 자료 174 3.8 연습문제 174 Chapter 4 최적화 기초: 기계학습 관점 4.1 서론 181 4.2 최적화의 기초 182 4.2.1 단일 변량 최적화 182 4.2.2 이 변량 최적화 190 4.2.3 다변량 최적화 193 4.3 볼록 목적함수 197 4.4 경사하강법의 세부사항 202 4.4.1 유한 차분으로 경사도 정확성 확인 202 4.4.2 학습률 감소와 과감한 운전자 알고리즘 203 4.4.3 직선탐색법 204 4.4.4 초기화 207 4.5 기계학습의 최적화 속성 208 4.5.1 일반적인 목적함수와 덧셈 형식 분리 가능성 208 4.5.2 확률적 경사하강법 209 4.5.3 기계학습의 최적화는 어떻게 다른가 210 4.5.4 초 매개변수 조정 213 4.5.5 특징 전처리의 중요성 214 4.6 벡터에 대한 미분 계산 216 4.6.1 행렬 미적분 표기법 216 4.6.2 유용한 행렬 미적분 항등식 217 4.6.3 벡터화된 미분에 대한 연쇄법칙 221 4.7 선형 회귀: 수치 목표를 사용한 최적화 224 4.7.1 티호노프 정칙화 225 4.7.2 확률적 경사하강법 227 4.7.3 편향의 사용 227 4.8 이진 목표변수를 위한 최적화 모델 229 4.8.1 최소제곱 분류: 이진 목표에 대한 회귀 229 4.8.2 서포트 벡터 머신(SVM) 233 4.8.3 로지스틱 회귀 236 4.8.4 선형 회귀는 어떻게 기계학습에서 부모 문제로 작용하는가? 239 4.9 다중 클래스 설정을 위한 최적화 모델 241 4.9.1 웨스턴-왓킨스 서포트 벡터 머신 241 4.9.2 다항 로지스틱 회귀 243 4.10 좌표하강법 246 4.10.1 좌표하강법을 사용한 선형 회귀 248 4.10.2 블록 좌표하강법 250 4.10.3 블록 좌표하강법으로서의 K-평균 알고리즘 250 4.11 요약 251 4.12 추가 자료 252 4.13 연습문제 252 Chapter 5 고급 최적화 해법 5.1 서론 259 5.2 경사도 기반 최적화의 과제 261 5.2.1 국소 최적점과 평탄 영역 261 5.2.2 미분 곡률 263 5.2.3 어려운 토폴로지의 예: 절벽과 계곡 265 5.3 하강을 위한 1차 미분 조정 267 5.3.1 모멘텀 기반 학습 267 5.3.2 AdaGrad 270 5.3.3 RMSProp 271 5.3.4 Adam 271 5.4 뉴턴법 273 5.4.1 뉴턴법의 기본 형식 273 5.4.2 비 2차함수에 대한 직선탐색법의 중요성 276 5.4.3 예제: 사발 모양의 2차함수에서의 뉴턴법 277 5.4.4 예제: 비 2차함수에서의 뉴턴법 277 5.5 기계학습에서의 뉴턴법 278 5.5.1 선형 회귀를 위한 뉴턴법 278 5.5.2 서포트 벡터 머신을 위한 뉴턴법 280 5.5.3 로지스틱 회귀를 위한 뉴턴법 284 5.5.4 모델들 사이의 연관성과 통합 프레임워크 287 5.6 뉴턴법: 도전과 해결책 288 5.6.1 특이행렬이거나 부정부호인 헤시안 행렬 288 5.6.2 안장점 문제 289 5.6.3 비 2차함수에서의 수렴 문제 및 해법 291 5.7 뉴턴법의 계산 효율을 개선하는 변형 293 5.7.1 켤레 경사하강법 294 5.7.2 준 뉴턴법과 BFGS 298 5.8 미분 불가능 최적화 함수 300 5.8.1 서브그래디언트 방법 301 5.8.2 근위 경사하강법 307 5.8.3 조합 최적화를 위한 대리 손실함수 설계 309 5.8.4 순차적 결정을 최적화하기 위한 동적 프로그래밍 311 5.9 요약 314 5.10 추가 자료 314 5.11 연습문제 315 Chapter 6 제약조건이 있는 최적화 문제와 쌍대성 6.1 서론 319 6.2 원본 경사하강법 320 6.2.1 선형 등식 제약조건 321 6.2.2 선형 부등 제약조건 328 6.2.3 순차 2차계획법 333 6.3 원본 좌표하강법 334 6.3.1 볼록 집합에 대한 볼록 최적화를 위한 좌표하강법 335 6.3.2 기계학습 응용: 경계상자 회귀 336 6.4 라그랑주 완화와 쌍대 338 6.4.1 쿤-터커 최적성 조건 343 6.4.2 쌍대성 이용을 위한 일반 절차 344 6.4.3 응용: SVM 쌍대 문제를 위한 수식 구성 345 6.4.4 SVM 쌍대를 위한 최적화 알고리즘 348 6.4.5 무제약 문제를 위한 라그랑주 완화 352 6.5 페널티 기반 방법 및 원본-쌍대 방법 358 6.5.1 단일 제약조건이 있는 페널티 방법 358 6.5.2 페널티 방법: 일반 구성 359 6.5.3 장벽법과 내부점법 360 6.6 노옴 제약조건 최적화 363 6.7 원본 방법 대 쌍대 방법 365 6.8 요약 367 6.9 추가 자료 367 6.10 연습문제 367 Chapter 7 특이값 분해 7.1 서론 373 7.2 SVD: 선형대수 관점 374 7.2.1 정방행렬의 특이값 분해 374 7.2.2 패딩을 통한 정방형 SVD에서 비정방형 SVD로 확장 379 7.2.3 비정방형 특이값 분해의 여러 정의 381 7.2.4 절삭 특이값 분해 383 7.2.5 SVD에 대한 두 가지 해석 391 7.2.6 특이값 분해는 고유한가? 393 7.2.7 2원 분해와 3원 분해 394 7.3 SVD: 최적화 관점 396 7.3.1 기저 직교성 가정 하의 최대화 수식 구성 396 7.3.2 잔차를 사용한 최소화 수식 구성 398 7.3.3 행렬 인수분해 방법에 대한 일반화 399 7.3.4 주성분 분석 399 7.4 특이값 분해의 응용 403 7.4.1 차원 축소 403 7.4.2 노이즈 제거 404 7.4.3 네 가지 선형대수 기본 부분공간 찾기 404 7.4.4 무어-펜로즈 의사 역행렬 405 7.4.5 선형 방정식과 선형 회귀 풀기 407 7.4.6 기계학습에서 특징 전처리와 백색화 408 7.4.7 이상치 탐지 409 7.4.8 특징 공학 410 7.5 SVD를 위한 수치 알고리즘 411 7.6 요약 414 7.7 추가 자료 414 7.8 연습문제 414 Chapter 8 행렬 인수분해 8.1 서론 421 8.2 최적화 기반 행렬 인수분해 423 8.2.1 예제: 제약조건 있는 행렬 인수분해로서의 K-평균 424 8.3 무제약 행렬 인수분해 425 8.3.1 완성된 행렬을 사용한 경사하강법 426 8.3.2 추천 시스템 응용 430 8.4 비 음수 행렬 인수분해 434 8.4.1 프로베니우스 노옴의 최적화 문제 435 8.4.2 쌍대를 사용하는 해법 436 8.4.3 비 음수 행렬 인수분해의 해석력 438 8.4.4 비 음수 행렬 인수분해의 예 438 8.4.5 I-Divergence 목적함수 441 8.5 가중 행렬 인수분해 442 8.5.1 비 음수 행렬과 희소 행렬의 실제 용례 443 8.5.2 확률적 경사하강법 445 8.5.3 응용: 암시적 피드백 데이터가 있는 추천 시스템 446 8.5.4 응용: 인접 행렬에서 링크 예측 446 8.5.5 응용: GloVe를 이용한 단어-단어 문맥 임베딩 447 8.6 비선형 행렬 인수분해 448 8.6.1 로지스틱 행렬 인수분해 448 8.6.2 최대 여백 행렬 인수분해 451 8.7 일반화된 저 순위 모델 453 8.7.1 범주형 항의 처리 454 8.7.2 서수 항의 처리 455 8.8 공유 행렬 인수분해 457 8.8.1 공유 분해를 위한 경사하강법 단계 458 8.8.2 임의 시나리오에서 공유 모델을 설정하는 방법 459 8.9 인수분해 기계 460 8.10 요약 464 8.11 추가 자료 465 8.12 연습문제 465 Chapter 9 유사성 관련 선형대수 9.1 서론 471 9.2 데이터 행렬과 유사성 행렬의 동등성 471 9.2.1 데이터 행렬에서 유사성 행렬로의 변환과 역방향 변환 472 9.2.2 유사성 행렬에서 데이터 행렬을 복구하는 것은 어떤 경우에 유용할까? 473 9.2.3 어떤 유형의 유사성 행렬이 유효한가? 474 9.2.4 최적화 모델로서의 대칭행렬 인수분해 475 9.2.5 커널법: 기계학습 용어 476 9.3 유사성 행렬에서 효율적인 데이터 복구 478 9.3.1 나이스트롬 표본추출 479 9.3.2 확률적 경사하강법을 사용한 행렬 인수분해 480 9.3.3 비대칭 유사성 분해 482 9.4 유사성 행렬에 대한 선형대수 연산 484 9.4.1 유사성 행렬의 에너지와 단위구 정규화 484 9.4.2 평균과 분산의 노옴 485 9.4.3 유사성 행렬의 중심화 486 9.4.4 유사성 행렬에서 거리 행렬로의 변환과 역방향 변환 487 9.5 유사성 행렬을 사용하는 기계학습 490 9.5.1 유사성 행렬에서 특징 공학 491 9.5.2 유사성 행렬의 직접적 사용 494 9.6 표현 정리의 선형대수 497 9.7 유사성 행렬과 선형 분리 가능성 501 9.7.1 양의 준정부호성을 유지하는 변환 504 9.8 요약 507 9.9 추가 자료 507 9.10 연습문제 507 Chapter 10 그래프 선형대수 10.1 서론 513 10.2 그래프 기초와 인접 행렬 513 10.3 인접 행렬의 누승 519 10.4 페론-프로베니우스 정리 523 10.5 그래프 행렬의 우 고유벡터 527 10.5.1 커널 관점의 스펙트럼 군집화 528 10.5.2 라플라시안 관점의 스펙트럼 군집화 531 10.5.3 행렬 인수분해 관점의 스펙트럼 군집화 536 10.5.4 어떤 관점의 스펙트럼 군집화가 가장 도움이 될까? 538 10.6 그래프 행렬의 좌 고유벡터 539 10.6.1 전이 행렬의 좌 고유벡터로서의 PageRank 540 10.6.2 명성 및 중심성의 척도 541 10.6.3 좌 고유벡터의 링크 예측 응용 543 10.7 축약 가능한 행렬의 고유벡터 544 10.7.1 무방향 그래프 544 10.7.2 방향 그래프 545 10.8 기계학습 응용 549 10.8.1 정점 분류 응용 549 10.8.2 다차원 데이터에 대한 응용 552 10.9 요약 553 10.10 추가 자료 554 10.11 연습문제 554 Chapter 11 계산 그래프상의 최적화 11.1 서론 559 11.2 계산 그래프의 기초 560 11.2.1 방향성 계산 그래프로서의 신경망 563 11.3 방향성 비순환 그래프의 최적화 566 11.3.1 계산 그래프의 어려움 566 11.3.2 경사도 계산을 위한 프레임워크 568 11.3.3 무모한 방식의 노드 간 미분의 계산 569 11.3.4 노드 간 미분 계산을 위한 동적 프로그래밍 573 11.3.5 노드 간 미분을 손실-가중치 미분으로 변환 579 11.3.6 벡터 변수를 사용하는 계산 그래프 581 11.4 응용: 신경망에서의 역전파 584 11.4.1 널리 사용되는 활성화 함수의 미분 586 11.4.2 벡터 중심 역전파 587 11.4.3 벡터 중심 역전파의 예 590 11.5 일반적 관점의 계산 그래프 593 11.6 요약 596 11.7 추가 자료 596 11.8 연습문제 596 참고문헌 603 찾아보기 611