1장 2세대 알파고(AlphaGo)와 초고성능슈퍼컴퓨터 1. 2세대 알파고의 등장 1-1. 알파고(AlphaGo)와 인공지능(Artificial intelligence, AI) 1-1-1. 알파고와 딥러닝(Deep Learning) 1-1-2. 2세대 알파고 1-1-3. 알파고와 강인공지능 가. 약인공지능(ANI, Artificial Narrow Intelligence) 나. 강인공지능(AGI, Artificial General Intelligence) 다. 인공지능의 발전 방향 1-1-4. 알파고 2.0과 강화학습 가. 강화학습(Reinforcement Learning)의 개요 가-1. MDP(Markov Decision Process) 방식 가-2. DQN(Deep Q-Network) 나. 강화학습의 특징 1-2. 알파고 2.0의 작동원리 1-2-1. 딥러닝 분산처리 기술 가. 딥러닝 분산처리 기술 개요 나. 병렬컴퓨팅 나-1. 병렬처리(parallel processing) ① SISD(Single Instruction Single Data Stream) ② SIMD(Single Instruction Multiple Data Stream) ③ MISD(Multi Instruction stream Single Data stream) ④ MIMD(Multiple Instruction Multiple Data Stream) 나-2. 대칭적 다중프로세서(Symmetric Multiprocessor, SMP) 나-3. 대규모 병렬프로세서(Massively Parallel Processor, MPP) 나-4. NUMA(Non-Uniformed Memory Access, 불균일 기억 장치 접근) 나-5. 분산시스템(Distributed System) 나-6. 클러스터 컴퓨터(Cluster Computer) 다. 딥러닝 트레이닝 분산 병렬처리 라. 파라미터 공유 마. 동기식과 비동기식 처리 바. 클라우드 컴퓨팅 1-2-2. CPU(Central Processing Unit, 중앙처리장치) 1-2-3. GPU(Graphics Processing Unit, 그래픽 처리 장치) 가. GPGPU(General Purpose Graphics Processing Units) 가-1. MPI(Message Passing Interface, 메시지 전달 인터페이스) 가-2. CUDA(Compute Unified Device Architecture, 쿠다) 가-3. OpenCL(Open Computing Language) 1-2-4. TPU(Tensor Processing Unit, TPU) 2. 초고성능슈퍼컴퓨터 개요 및 정의 2-1. 초고성능슈퍼컴퓨터(High Performance Computing, HPC)의 등장 배경 및 개요 2-1-1. 초고성능슈퍼컴퓨터(High Performance Computing, HPC)의 등장 배경 2-1-2. 초고성능슈퍼컴퓨터(High Performance Computing, HPC)의 개요 2-1-3. 초고성능슈퍼컴퓨터의 활용 2장. 초고성능슈퍼컴퓨터 기술동향 1. 국내외 기술동향 1-1. 국내 연구 동향 및 개발 현황 1-1-1. 국내 동향 1-1-2. 국내 개발 현황 가. KISTI 나. ETRI 다. 대구경북과학기술원(DGIST) 라. 기상청 마. 서울대 1-2. 해외동향 1-2-1. 미국 1-2-2. 중국 1-2-3. 일본 1-2-4. EU 2. 국내외 업체별 동향 2-1. 엔비디아 2-2. 인텔 2-3. AMD 2-4. 델 EMC 2-5. IBM 2-6. 휴렛팩커드엔터프라이즈(HPE) 2-7. 슈퍼마이크로 2-8. ARM 2-9. 레노버(Lenovo) 2-10. 인스퍼 2-11. 후지쯔(Fujitsu) 2-12. 코코링크 3. 시장 전망 3-1. 인공지능 시장 전망 3-2. HPC 시장 전망 참고문헌 [표 1] 인공지능 서비스 대중화 로드맵 [표 2] 주요 IT 기업들의 AI 딥러닝 기술 실용화 현황 [표 3] 몬테카를로 트리 서치에 따른 알파고의 바둑 진행 예측 [표 4] 알파고의 구조와 성능 [표 5] 딥러닝 주요 알고리즘 [표 6] 글로벌 기업 딥러닝 기술 경쟁 [표 7] 주요 IT업체 인공지능 현황 [표 8] 알파고 컴퓨팅 파워 비교 및 성능 변화 추이 [표 9] 알파고의 두 가지 전략 [표 10] 알파고의 진화 [표 11] 알파고의 구조와 성능 [표 12] 인공지능의 역사 [표 13] 인공지능의 3단계 [표 14] 인공지능의 세 가지 핵심 능력 [표 15] 인공지능 분류 [표 16] 머신러닝의 학습 방법 [표 17] 병렬컴퓨터 분류 및 구조 [표 18] 플린의 분류 [표 19] 운영체제의 유형별 특징 [표 20] SMP의 장·단점 [표 21] MPP의 장·단점 [표 22] 메모리 공유에 따른 분류 [표 22] NUMA의 장·단점 [표 23] 분산처리 시스템의 계층 구조 [표 25] 딥러닝 전용 분산처리 기술동향 [표 26] 대용량 데이터 처리측면의 클라우드 컴퓨팅 데이터 병렬처리 기법 [표 27] 2016년 11월 슈퍼컴퓨터 CPU 점유율 [표 28] CPU와 GPU의 비교 [표 29] CUDA 처리 흐름 및 장단점 [표 30] 텐서 프로세싱 유닛의 데이터센터 성능 분석 [표 31] 슈퍼컴퓨터 발전단계 [표 32] 슈퍼컴퓨터 활용 분야 [표 33] 제47회('16. 6) Top500 실제성능별 국가 순위 [표 34] 2017년 Top500 슈퍼컴 베스트 10 [표 35] 슈퍼컴퓨터 개발 주요 내용 및 슈퍼컴 개발 로드맵 [표 36] 국내 HPC 장비 도입 현황 [표 37] 국가별 초고성능컴퓨터 보유 대수 추이 [표 38] KISTI 자원현황 [표 39] KISTI의 슈퍼컴퓨터 변천사 [표 40] 국내 슈퍼컴퓨터 개발 역사 [표 41] 대구경북과학기술원 IREMB [표 42] 기상청의 슈퍼컴퓨터 누리, 미리 [표 43] 전세계 슈퍼컴퓨터 성능 변화 [표 44] 주요국들의 초고성능컴퓨팅 육성 정책 현황 [표 45] 미국 슈퍼컴퓨터 Titan [표 46] 미국 슈퍼컴퓨터 Sequoia [표 47] 미국 슈퍼컴퓨터 Cori [표 48] 미국 슈퍼컴퓨터 Mira [표 49] 미국 슈퍼컴퓨터 Trinty [표 50] 중국 슈퍼컴퓨터 Sunway TaihuLight [표 51] 중국 슈퍼컴퓨터 Tianhe-2(MilkyWay-2) [표 52] 일본 슈퍼컴퓨터 Oakforest-PACS-PRIMERGY CX1640M1, Intel Xeon Phi 7250 68C 1.4GHz, Intel Omni-Path [표 53] 일본 슈퍼컴퓨터 K computer [표 54] 스위스 슈퍼컴퓨터 Piz Daint [표 55] 볼타 기반 아키텍처 [표 56] 2016~2018 Supercomputers Comparison [표 57] Intel Core-X Series(Kabylake-X, Skylake-X) [표 58] AMD 라이젠 라인업 [표 59] 2016년 4분기 전세계 서버 업체 매출 추정치(단위: 대) [표 60] 국내외 주요 AI개인비서 서비스 현황 [표 61] HPC의 트렌드 [표 62] 제품 분류별 전체 HPC 시장 매출 [표 63] Accelerator/Co-Processor 탑재 시스템 현황 [표 64] 슈퍼컴퓨터 개발 주요 내용 [그림 1] 딥러닝 [그림 2] 기계학습 절차 [그림 3] 딥러닝의 전체 흐름도 [그림 4] TensorFlow를 이용한 딥러닝 [그림 5] 데이터 병렬화 [그림 6] 기술 스택으로 본 딥러닝 프레임워크 [그림 7] 알파고의 Deep Neural Networks 학습 pipeline [그림 8] 구글 I/O 2017에 소개된 클라우드 TPU [그림 9] 알파고 개념 [그림 10] 4차 산업혁명 작동원리 [그림 11] 초인공지능 [그림 12] 레이 커즈와일의 특이점 [그림 13] 인공신경망 기계번역 [그림 14] 인간과 교감하는 AI [그림 15] 영화 her [그림 16] 환경과 상호작용을 통한 강화학습 구조 [그림 17] 인공지능에 의한 대재앙에 이르는 위험 모델 [그림 18] 강화학습 프레임워크(Reinforcement Learning Framework) [그림 19] 로봇에 적용된 DQN [그림 20] q-learning [그림 21] 마르코프 결정과정 문제(Markov Decision Process, MD [그림 22] 딥마인드 DQN 구조 [그림 23] 미분 가능 신경컴퓨터의 아키텍처 구조 [그림 24] 강화와 처벌 [그림 25] 강화학습 시스템 구조 [그림 26] 인공신경망을 여러 대의 컴퓨터에 분산시키는 예 [그림 27] 병렬 및 분산처리 능력 [그림 28] 병렬화 과정 [그림 29] 병렬처리 시스템으로서의 뇌모델 [그림 30] AMD/인텔의 최신 멀티 코어 프로세서 구조 [그림 31] 병렬컴퓨터 구조들의 분류 [그림 32] SISD 구조 [그림 33] SIMD [그림 34] SISD vs SIMD [그림 35] MISD [그림 36] MIMD 병렬 처리 방식 [그림 37] SMP Operating System [그림 38] 대규모 병렬 처리 아키텍처 [그림 39] NUMA 시스템 [그림 40] Intel 네할램 NUMA 구조 [그림 41] 분산시스템 형태 [그림 42] SMP와 MPP 비교 [그림 43] 클러스터 컴퓨터 구조 [그림 44] 클러스터 시스템 전체 구성도 [그림 45] 클러스터 구성 [그림 46] 단일 서버와 분산시스템의 구조 [그림 47] 데이터 병렬처리와 모델 병렬처리 비교 [그림 48] 파라미터 공유 기법 [그림 49] 동기 방식과 비동기 방식으로 데이터를 병렬화하여 훈련 [그림 50] 클라우드 컴퓨터-병렬처리 컴퓨터 [그림 51] 대규모 분산처리 [그림 52] CPU 처리 과정 [그림 53] GPU가 애플리케이션을 가속하는 방법 [그림 54] GPU 컴퓨팅 파워 [그림 55] 그래픽 처리 장치 [그림 56] CUDA 지원 GPU의 아키텍처 [그림 57] GPU와 CPU의 소비 전력당 성능 비교 [그림 58] 데이터 병렬화 [그림 59] General MPI Program Structure [그림 60] CUDA Application [그림 61] CUDA 프로그램 [그림 62] OpenCL execution model [그림 63] Relative Performance/Watt [그림 64] 구글 TPU의 구조 [그림 65] TPU의 매트릭스 승수 단위(MXU) [그림 66] TensorFlow에서 TPU [그림 67] 이종 가속기 기반 딥러닝 HPC 시스템 [그림 68] 미래 컴퓨팅의 확장성 [그림 69] 고성능 컴퓨팅 워크 플로우 일반적인 구조 [그림 70] 우리나라의 연도별 슈퍼컴퓨터 보유대수 변화 [그림 71] MAHA 슈퍼컴 시스템 개념도 [그림 72] 슈퍼컴퓨터 천둥 사양 [그림 73] 국가별 슈퍼컴퓨터 보유 대수(2016년 하반기 기준) [그림 74] ECP 계획 [그림 75] Sunway TaaihuLight Software Stack [그림 76] 플래그십(Flagship) 2020 [그림 77] AIST가 발표한 ABCI 플랫폼 구성도 [그림 78] 프레이스(PRACE) 프로젝트 [그림 79] DGX-1 [그림 80] 인텔 제온 파이(Xeon Phi) 코프로세서 [그림 81] 인텔 인텔 옴니패스 아키텍처(OPA) [그림 82] Kinghts Landing Architectural Diagram [그림 83] 인텔 메쉬(Mesh) 아키텍처 다이어그램 [그림 84] AMD Zen 마이크로 아키텍처 [그림 85] AMD ‘네이플스’2소켓 구조 [그림 86] 델EMC HPC 서버 라인업 [그림 87] 델EMC HPC 시스템 포트폴리오 [그림 88] IBM HPC 포트폴리오 요약 [그림 89] 엔비디아 NV링크 GPU 확장성 [그림 90] 민스키(Minsky) 시스템 세부 구조 [그림 91] POWER9-Premier Acceleration Platform [그림 92] HPE 아폴로(Apollo) 시스템 [그림 93] 메모리 기반 컴퓨팅(Memory Driven Computing) [그림 94] 슈퍼마이크로 슈퍼서버 ‘SYS-4028GR-TR2’ [그림 95] ARM 빅리틀 헤테로지니어스 코어 구조 [그림 96] DynamIQ Shared Unit(DSU) [그림 97] CoreLlink IP [그림 98] MareNostrum 4 3D Sketch [그림 99] Fujitsu Processor Development [그림 100] Post-K: Fujitsu HPC CPU to Support ARM v8 [그림 101] 코코링크 HPC ‘Klimax-210’ [그림 102] Artificail Intelligence Revenue, World Markets(2016~2025) [그림 103] Top Region Based on 5Year CAGR(2015~2020) [그림 104] 2016년도 ICT 기술수준조사 보고서 [그림 105] Automotive Artificial Intelligence Total Revenue by Segment, World Markets(2016~2025) [그림 106] 인공지능 분야별 중국의 특허신청 비중 [그림 107] 인공지능 국내 시장 규모 [그림 108] 2020년까지 HPC 시장 [그림 109] 국가별 슈퍼컴퓨터 보유 대수 [그림 110] 국가별 슈퍼컴퓨터 보유 성능 [그림 111] 제조사별 슈퍼컴퓨터 대수 비율 [그림 112] 제조사별 슈퍼컴퓨터 성능 비율