그래프 신경망은 최근 딥러닝의 어떤 분야보다도 빠르게 성장하고 있으며 많은 기업에서 이미 서비스에 적용했다. 이 책은 국내에서 그래프 신경망을 전문적으로 소개하는 첫 책이다. 20개 이상의 관련 모델들을 소개하고, 어떤 분야에 응용되고 있는지 알려준다. 그래프 신경망이 좋다는 걸 어디선가 듣고 자신의 연구나 업무 등에 적용해보고 싶었던 사람들에게 적합한 책이다. 이 책이 각자의 분야와 그래프 신경망이 시너지를 내는 데 도움이 되길 바란다.

[목 차]

1장. 서론

1.1 동기

1.1.1 합성곱 신경망

1.1..2 네트워크 임베딩

1.2 관련 연구





2장. 수학 및 그래프 기초

2.1 선형대수학

2.1.1 기본 개념

2.1.2 고유분해

2.1.3 특잇값 분해

2.2 확률

2.2.1 기본 개념과 공식

2.2.2 확률분포

2.3 그래프 이론

2.3.1 기본 개념

2.3.2 그래프의 대수적 표현





3장. 신경망 기초

3.1 뉴런

3.2 역전파

3.3 신경망





4장. 기본 그래프 신경망

4.1 서론

4.2 모델

4.3 한계





5장. 그래프 합성곱 네트워크

5.1 스펙트럼 방법

5.1.1 스펙트럼 네트워크

5.1.2 ChebNet

5.1.3 GCN

5.1.4 AGCN

5.2 공간 방법

5.2.1 뉴럴 FPS

5.2.2 PATCHY-SAN

5.2.3 DCNN

5.2.4 DGCN

5.2.5 LGCN

5.2.6 MoNet

5.2.7 GraphSAGE





6장. 그래프 순환 네트워크

6.1 게이트 그래프 신경망

6.2 Tree-LSTM

6.3 그래프 LSTM

6.4 S-LSTM





7장. 그래프 어텐션 네트워크

7.1 GAT

7.2 GaAN





8장. 그래프 잔차 네트워크

8.1 하이웨이 GCN

8.2 지식 점프 네트워크

8.3 DeepGCNs





9장. 다양한 그래프 종류

9.1 유향 그래프

9.2 이종 그래프

9.3 에지 정보가 있는 그래프

9.4 동적 그래프

9.5 다차원 그래프





10장. 고급 학습 방법

10.1 샘플링

10.2 계층적 풀링

10.3 데이터 증강

10.4 비지도 학습





11장. 일반적인 프레임워크

11.1 메시지 전달 신경망

11.2 비지역 신경망

11.3 그래프 네트워크





12장. 응용: 구조 시나리오

12.1 물리

12.2 화학과 생물

12.2.1 분자 핑거프린트

12.2.2 화학 반응 예측

12.2.3 약물 추천

12.2.4 단백질과 분자 상호작용 예측

12.3 지식 그래프

12.3.1 지식 그래프 채우기

12.3.2 귀납 지식 그래프 임베딩

12.3.3 지식 그래프 정렬

12.4 추천 시스템

12.4.1 행렬 채우기

12.4.2 소셜 추천





13장. 응용: 비구조 시나리오

13.1 이미지

13.1.1 이미지 분류

13.1.2 시각적 추론

13.1.3 의미 구분

13.2 문자

13.2.1 문자 분류

13.2.2 시퀀스 레이블링

13.2.3 신경 기계 번역

13.2.4 관계 추출

13.2.5 사건 추출

13.2.6 사실 확인

13.2.7 그 밖의 응용





14장. 응용: 기타 시나리오

14.1 생성 모델

14.2 조합적 최적화





15장. 오픈소스

15.1 데이터셋

15.2 구현





16장. 결론

그래프는 물리적 시스템 모델링, 분자 구조 핑거프린트 학습, 트래픽 네트워크 제어, 소셜 네트워크의 친구 추천처럼 복잡하게 얽혀 있는 실생활 문제들을 표현하기에 적합한 데이터 구조다. 이런 문제들을 해결하기 위해서는 엄청난 수의 관계 정보를 갖고 있는 비유클리드 그래프 데이터를 다뤄야 하는데, 전통적인 딥러닝 모델인 합성곱 신경망이나 순환 신경망으로 해결하기에는 한계가 있다. 일반적으로 그래프의 노드는 네트워크 임베딩 방법 같은 비지도 표현 학습에서는 잘 다룰 수 없는 유용한 특성 정보를 담고 있다. 그래프 신경망은 특성 전파와 결합으로 노드의 특성 정보와 그래프의 구조를 결합해 그래프를 잘 표현하게끔 만들어졌다. 확실한 성능과 높은 해석 가능성 덕분에 그래프 신경망이 최근 다양한 그래프 분석에 적용되고 있다.

이 책은 그래프 신경망의 기본 개념, 모델, 응용을 포괄적으로 다룬다. 가장 기본이 되는 그래프 신경망과 그 변형인 그래프 합성곱 네트워크(graph convolutional network), 그래프 순환 네트워크(graph recurrent network), 그래프 어텐션 네트워크(graph attention network), 그래프 잔차 네트워크(graph residual network)를 설명한다. 다양한 그래프 타입에 맞는 변형 모델과 심화된 학습 모델도 제공된다. 그래프 신경망이 적용되는 분야를 구조적, 비구조적, 기타 시나리오로 분류한 다음 각각을 해결하는 방법을 알려준다. 마지막 장에서는 관련된 오픈소스와 앞으로의 전망을 다룬다.

◈ 이 책의 구성 ◈



1장에서 개요를 살펴본 후 2장에서는 수학과 그래프 이론에 대한 기초 지식을 소개한다. 3장에서 신경망의 기초를 살펴보고, 4장에서 GNN의 기본 형태를 알아본다. 5장, 6장, 7장, 8장에서 네 종류의 모델을 소개한다. 9장과 10장에서 다른 그래프 종류의 변형과 고급 학습 방법을 설명한다. 그리고 11장에서 일반적인 GNN 프레임워크를 설명한다. 12장, 13장, 14장에서 구조적 시나리오, 비구조적 시나리오, 그 외 시나리오에 대한 GNN의 응용을 알아본다. 15장에서는 몇 가지 오픈소스를 제공한다.





◈ 지은이의 말 ◈



딥러닝은 컴퓨터 비전, 자연어 처리 등 많은 분야에서 유망한 발전을 이뤘다. 이런 작업에서 사용되는 데이터는 일반적으로 유클리드 영역에서 표현된다. 하지만 물리적 시스템 모델링, 분자 핑거프린트 학습, 단백질 인터페이스 예측 등 원소 간의 풍부한 관계 정보를 포함하는 비유클리드 그래프 데이터를 다루는 작업들도 많다. 그래프 신경망(GNN, Graph Neural Network)은 그래프에서 작동하는 딥러닝 기반 방법이다. 믿을 만한 성능과 높은 해석 가능성 때문에 그래프 신경망은 최근 널리 적용되는 그래프 분석 방법이다.

이 책은 그래프 신경망의 기본 개념과 모델, 응용 분야를 포괄적으로 다룬다. 수학과 신경망의 기초부터 시작한다. 1장에서는 독자에게 일반적인 개요를 제공하기 위해 GNN의 기본 개념을 소개한다. 그 후 그래프 합성곱 네트워크, 그래프 순환 네트워크, 그래프 어텐션 네트워크, 그래프 잔차 네트워크, 몇 가지 일반적인 프레임워크 등 GNN의 여러 가지 변형을 소개한다. 이 변형들은 합성곱 신경망, 순환 신경망, 어텐션 메커니즘, 스킵 커넥션 등 딥러닝 기술을 그래프로 일반화한다. 더 나아가 구조적 시나리오(물리학, 화학, 지식 그래프), 비구조적 시나리오(이미지, 텍스트), 그 외 시나리오(생성 모델, 조합적 최적화) 등 다양한 분야에 적용할 수 있는 GNN을 소개한다. 마지막으로 관련된 데이터셋, 오픈소스 플랫폼, GNN의 구현을 알려준다.

◈ 옮긴이의 말 ◈



그래프 신경망은 2017년, 2018년부터 활발하게 연구됐으며 지금도 많은 사람이 한계를 극복하고자 많은 시도와 노력을 하고 있습니다. 다양한 분야에서 놀라운 성능을 보여주고 있으며, 특히 그래프 신경망으로 향기, 교통량 등을 예측할 수 있다는 논문들은 신선한 충격으로 다가왔습니다. 그래프 신경망은 논문에서만 이뤄지는 연구가 아니라 핀터레스트, 우버, 네이버 등 실제로 많은 회사에서 서비스에 적용할 만큼 검증된 모델입니다.

이 책은 딥러닝을 알고 있는 사람들을 대상으로 쓰여서 딥러닝을 처음 접하는 분들은 책이 친절하지 않다고 느끼실 수 있습니다. 하지만 그래프 신경망의 변형과 응용 분야를 다양하게 소개하고 있어서 목차를 보고 본인의 기존 관심사와 겹치는 부분만 읽는 방법도 좋을 것으로 생각됩니다. 책을 읽다가 특정 모델을 더 깊게 알고 싶어지면 논문을 직접 읽는 것을 추천합니다. 딥러닝을 아는 사람들이 그래프 신경망을 시작하기 위한 지침서 정도로 생각해주시면 좋을 것 같습니다. 이 책으로 많은 사람이 그래프 신경망에 흥미를 느끼길 바랍니다.

옮긴이 정지수

카이스트 수리과학과에서 학사, 석사, 박사학위를 받으며, 세부 전공은 그래프 이론이다. 졸업 후 삼성SDS에서 AI 기반 빅데이터 분석 플랫폼 브라이틱스(Brightics)를 만들었다. 그 후 왓챠에서 개인화 추천 모델을 연구하고 개발했다. 현재는 네이버 클로바에서 서비스에 적용할 머신러닝 모델도 만들고 논문도 쓰며 재미있는 시간을 보내고 있다. 관심 있는 분야는 추천 시스템이고 관심 있는 방법론은 그래프 신경망을 사용하는 모델들이다. 네이버 뉴스(http://naver.me/x7vVgcAZ)와 유튜브(https://youtu.be/jFDxoOq1EBI)에서 찾아볼 수 있다.