알파제로를 실제로 만들어 보면서 배우는 인공지능!

이 책은 프로 바둑 기사들에게 승리를 거둔 인공지능 알파고의 최신 버전인 알파제로를 실제로 만들어 보면서 학습하는 인공지능 프로그래밍 입문서입니다. 작은 프로그램을 단계별로 작성하면서 프로그래밍 언어인 파이썬과 인공지능 기초 기술인 딥 러닝, 강화 학습, 탐색을 학습하고, 최종으로 알파제로 기반의 인공지능을 완성해 틱택토, 커넥트4, 오셀로, 간이 장기 게임 등을 실습해 봅니다.

[목 차]

CHAPTER 1 알파제로와 머신러닝 개요 1
1-1 알파고와 알파고 제로, 그리고 알파제로 3
1-2 딥 러닝 개요 7
1-3 강화 학습 개요 18
1-4 탐색 개요 23

CHAPTER 2 파이썬 개발 환경 준비 27
2-1 파이썬과 Google Colab 개요 29
2-2 Google Colab 사용 방법 34
2-3 파이썬 문법 47

CHAPTER 3 딥 러닝 63
3-1 뉴럴 네트워크를 활용한 분류 65
3-2 뉴럴 네트워크를 활용한 회귀 83
3-3 컨볼루셔널 뉴럴 네트워크를 활용한 이미지 분류 93
3-4 ResNet을 활용한 이미지 분류 107

CHAPTER 4 강화 학습 125
4-1 다중 슬롯머신 문제 127
4-2 정책 경사법을 활용한 미로 게임 138
4-3 Sarsa와 Q 학습을 활용한 미로 게임 151
4-4 DQN을 활용한 카트-폴 165

CHAPTER 5 탐색 187
5-1 미니맥스법을 활용한 틱택토 189
5-2 알파베타법을 활용한 틱택토 199
5-3 원시 몬테카를로 탐색을 활용한 틱택토 205
5-4 몬테카를로 트리 탐색을 활용한 틱택토 210

CHAPTER 6 알파제로의 구조 223
6-1 알파제로를 활용한 틱택토 225
6-2 듀얼 네트워크 생성 232
6-3 몬테카를로 트리 탐색 구현 241
6-4 셀프 플레이 파트 구현 252
6-5 파라미터 갱신 파트 구현 257
6-6 신규 파라미터 평가 파트 구현 263
6-7 베스트 플레이어 평가 268
6-8 학습 사이클 실행 273

CHAPTER 7 사람과 AI의 대전 279
7-1 로컬 파이썬 개발 환경 준비 281
7-2 Tkinter를 활용한 GUI 구현 292
7-3 사람과 AI의 대전 302

CHAPTER 8 샘플 게임 구현 309
8-1 커넥트4 311
8-2 오셀로 326
8-3 간이 장기 344

찾아보기 371


[본 문]

알파고 제로를 발표한지 48일이 지난 2017년 12월, 딥마인드는 알파고 제로를 한층 개량한 알파제로를 선보였다. 알파제로는 바둑뿐만 아니라, 체스나 장기까지 학습할 수 있었으며, 당시 바둑, 체스, 장기 부문에서 게임 AI 세계 챔피언이었던 알파고 제로, 스톡피쉬, 엘모에 승리를 거두었다.
_5페이지

활성화 함수는 주로 전결합 레이어 다음에 적용하는 함수다. 레이어의 출력을 특정한 함수에 통과시킨 뒤, 최종 출력값을 결정한다. 활성화 함수를 사용하면 선형적으로 분류할 수 없는 데이터도 분류할 수 있기 때문에 보다 복잡한 특징을 잡아낼 수 있다. 선형적으로 분류할 수 없는 데이터란 일직선으로 분리할 수 없는 데이터를 의미한다.
_71페이지

정책에 따라 행동하면서 성공 시의 행동은 중요한 것으로 판단하고, 그 행동을 많이 할 수 있도록 정책을 갱신하는 방법을 ‘정책 경사법’이라고 부른다. 이번에는 정책 경사법을 활용해 미로 게임을 공략한다. 에이전트가 상하좌우로 이동해 골인 지점(우측 하단)까지 도착하는 것이 목적이다.
_138페이지

ResNet과 같은 컨볼루셔널 뉴럴 네트워크는 이미지 인식 분야에서 보다 높은 성능을 발휘하는 뉴럴 네트워크다. 알파제로에서는 이 뉴럴 네트워크의 입력으로 이미지가 아닌 게임의 보드면을 사용한다. 이미지와 게임의 보드면은 모두 가로세로 방향의 정보 나열에 의미가 있으므로 컨볼루셔널 뉴럴 네트워크를 활용해 특징을 추출하기에 적합하다.
_232페이지

두 사람이 대전하는 보드 게임인 ‘오셀로’를 구현한다. 교대로 6×6의 보드면에 돌을 놓고, 상대의 돌을 포위하면 자신의 돌의 색깔로 바꾼다. 마지막에 돌이 많은 쪽이 승리한다. 둘수 있는 수가 없는 경우에는 자동적으로 패스가 되며(순서가 상대방에게 넘어감), 연속으로 패스하면 게임이 종료된다. ‘오셀로 UI’에서는 클릭으로 돌을 배치한다. 또한, 간소화한 버전이기 때문에 사람이 항상 선 수를 둔다.
_326페이지

알파제로를 실제로 만들어 보면서 배우는 인공지능!
Google Colaboratory 기반의 손쉬운 테스트 환경!

이 책은 프로 바둑 기사들에게 승리를 거둔 인공지능 알파고의 최신 버전인 알파제로를 실제로 만들어 보면서 학습하는 인공지능 프로그래밍 입문서다. 작은 프로그램을 단계별로 작성하면서 프로그래밍 언어인 파이썬과 인공지능 기초 기술인 딥 러닝, 강화 학습, 탐색을 학습하고, 최종으로 알파제로 기반의 인공지능을 완성해 틱택토, 커넥트4, 오셀로, 간이 장기 게임 등을 실습해 본다.

인공지능 프로그래밍이라고 하면 고성능 컴퓨터나 서버가 필요할 것 같지만, 이 책에서는 구글이 제공하는 무료 온라인 서비스인 ‘Google Colaboratory’를 사용하기 때문에 고급 장비는 필요하지 않다. 웹 브라우저를 사용할 수 있는 개인용 컴퓨터(윈도우/맥/리눅스)와 네트워크 환경만 있으면 누구나 손쉽고 간단하게 인공지능 프로그래밍을 시작할 수 있다. 부디 이 책이 인공지능 프로그래밍을 시작하고 싶은 분에게 도움이 되고, 더 많은 독자가 알파제로 알고리즘의 우아함을 느낄 수 있길 바란다.

이 책에서 다루는 알파제로 관련 이론
■ 딥러닝: 컨볼루셔널 뉴럴 네트워크, ResNet
■ 강화 학습: 다중 슬롯 머신 문제, 경사 하강법, Sarsa, Q 학습, DQN
■ 탐색: 미니맥스법, 알파베타법, 원시 몬테카를로 탐색, 몬테카를로 트리 탐색

후루카와 히데카즈(布留川 英一)
1975년 군마현 출신으로 아이즈 대학 컴퓨터소프트웨어학과를 졸업했다. 2000년에 드완고(Dwango)에서 휴대전화 애플리케이션 연구 개발을 시작했다. 2005년에는 UEI에서 스마트폰 및 2족 보행 로봇용 애플리케이션을, 2013년에는 하이퍼텍스트 태블릿 디바이스 ‘enchantMOON’ 개발에 참여했다. 2017년부터는 GHELIA에서 인공지능, VR, AR을 연구 및 개발하고 있다. 또한, 프로그래밍 관련 서적을 다수 집필했다.

옮긴이 김연수
대학 졸업 후 일본의 모 자동차 기업 산하의 한국 내 연구소에 근무하면서 소프트웨어 개발을 시작했다. 여러 기업에서 다양한 직무를 경험했고, 지금은 글로벌 기업에서 업무 생산성 향상을 지원하기 위한 학습과 실험을 꾸준히 하고 있다. 최근의 관심사는 좋은 지식의 전달, 회사에 속하지 않고도 지속할 수 있는 삶, 그리고 ‘Why Not Change the World’라는 가치관을 실현하는 것이다.