編輯推薦

前沿：圖神經網路是機器學習、數據科學、資料挖掘領域新興的發展方向，被稱作圖上的深度學習，有望推動第三代人工智慧的順利發展。

豐富：綜述圖神經網路的基礎理論、類比算灋、研究前沿以及廣泛和新興的應用場景

深入：摒弃簡單介紹概念與框架的思維，深入分析圖神經網路的現狀以及未來的調整與機遇，幫助專業人士和初學者知其然知其所以然

力薦：囊括國內AI界半壁江山的大咖連袂推薦

內容簡介

本書致力於介紹圖神經網路的基本概念和算灋、研究前沿以及廣泛和新興的應用，涵蓋圖神經網路的廣泛主題，從基礎到前沿，從方法到應用，涉及從方法論到應用場景方方面面的內容。 全書分為四部分：部分介紹圖神經網路的基本概念； 第二部分討論圖神經網路成熟的方法； 第三部分介紹圖神經網路典型的前沿領域； 第四部分描述可能對圖神經網路未來研究比較重要和有前途的方法與應用的進展情况。

本書適合高年級大學生和研究生、博士後研究人員、講師以及行業從業者閱讀與參攷。

作者簡介

吳淩飛博士畢業於美國公立常春藤盟校之一的威廉與瑪麗學院電腦系。 現時他是Pinterest公司首長知識圖譜和內容理解的研發工程經理。 曾任矽谷研究中心的首席科學家和IBM Thomas J. Vatson Research Centerl的高級研究員。 主要研究方向是機器學習、表徵學習和自然語言處理的有機結合，在圖神經網路及其應用方面有深入研究。 他在機器學習、深度學習等領域的著名會議或期刊上發表100多篇論文。 崔鵬博士清華大學電腦系終身副教授。 於2010年在清華大學獲得博士學位。 研究興趣包括資料挖掘、機器學習和多媒體分析，擅長網絡表示學習、因果推理和穩定學習、社會動力學建模和用戶行為建模等。 他在機器學習和資料挖掘領域的著名會議或期刊上發表100多篇論文。 裴健博士杜克大學電子與電腦工程系教授。 他是數據科學、大數據、資料挖掘和資料庫系統等領域的研究人員。 他擅長為新型數據密集型應用開發有效的資料分析科技，並將其研究成果轉化為產品和商業實踐。 自2000年以來，他已經出版一本教科書、兩本專著，並在眾多具有影響力的會議或期刊上發表300多篇論文。 趙亮博士埃默里大學計算科學系助理教授。 曾在喬治梅森大學資訊科學與科技系和計算機科學系擔任助理教授。 於2016年在維吉尼亞理工大學計算機科學系獲得博士學位。 研究興趣包括資料挖掘、人工智慧和機器學習，在時空和網絡資料挖掘、圖深度學習、非凸優化、事件預測和可解釋機器學習等方面有深入研究。

目錄

第一部分引言

第1章表徵學習2

1.1導讀2

1.2不同領域的表徵學習3

1.2.1用於圖像處理的表徵學習3

1.2.2用於語音辨識的表徵學習5

1.2.3用於自然語言處理的表徵學習7

1.2.4用於網絡分析的表徵學習8

1.3小結9

第2章圖表徵學習11

2.1導讀11

2.2傳統圖嵌入方法12

2.3現代圖嵌入方法13

2.3.1保留圖結構和内容的圖表征學習13

2.3.2帶有側面資訊的圖表征學習15

2.3.3保留高級資訊的圖表征學習15

2.4圖神經網路16

2.5小結17

第3章圖神經網路18

3.1導讀18

3.2圖神經網路概述19

3.2.1圖神經網路基礎19

3.2.2圖神經網路前沿20

3.2.3圖神經網路應用22

3.2.4本書組織結構23

3.3小結24

第二部分基礎

第4章用於節點分類的圖神經網路28

4.1背景和問題定義28

4.2有監督的圖神經網路29

4.2.1圖神經網路的一般框架29

4.2.2圖卷積網絡30

4.2.3圖注意力網絡32

4.2.4消息傳遞神經網路33

4.2.5連續圖神經網路33

4.2.6多尺度譜圖卷積網絡35

4.3無監督的圖神經網路37

4.3.1變分圖自編碼器37

4.3.2深度圖信息化39

4.4過平滑問題41

4.5小結42

第5章圖神經網路的表達能力44

5.1導讀44

5.2圖表徵學習和問題的提出47

5.3强大的消息傳遞圖神經網路49

5.3.1用於集合的神經網路49

5.3.2消息傳遞圖神經網路50

5.3.3 MP-GNN的表達能力51

5.3.4具有1-WL測試能力的MP-GNN 53

5.4比1-WL測試更强大的圖神經網路架構54

5.4.1 MP-GNN的局限性54

5.4.2注入隨機内容56

5.4.3注入確定性距離内容61

5.4.4建立高階圖神經網路65

5.5小結69

第6章圖神經網路的可擴展性71

6.1導讀71

6.2引言72

6.3抽樣範式72

6.3.1節點級抽樣74

6.3.2層級抽樣76

6.3.3圖級抽樣79

6.4大規模圖神經網路在推薦系統中的應用82

6.4.1物品-物品推薦82

6.4.2用戶-物品推薦83

6.5未來的方向84

第7章圖神經網路的可解釋性86

7.1背景：深度模型的可解釋性86

7.1.1可解釋性和解釋的定義86

7.1.2解釋的價值87

7.1.3傳統的解釋方法88

7.1.4機遇與挑戰90

7.2圖神經網路的解釋方法90

7.2.1背景91

7.2.2基於近似的解釋92

7.2.3基於相關性傳播的解釋95

7.2.4基於擾動的解釋96

7.2.5生成式解釋97

7.3圖神經網路的可解釋模型97

7.3.1基於GNN的注意力模型98

7.3.2圖上的解耦化表徵學習100

7.4圖神經網路解釋的評估101

7.4.1基準數据集101

7.4.2評估名額103

7.5未來的方向103

第8章圖神經網路的對抗魯棒性105

8.1動機105

8.2圖神經網路的局限性：對抗性樣本107

8.2.1對抗性攻擊的分類107

8.2.2擾動的影響和一些啟示110

8.2.3討論和未來的方向112

8.3可證明的魯棒性：圖神經網路的認證113

8.3.1特定模型的認證113

8.3.2模型無關的認證115

8.3.3高級認證和討論116

8.4提高圖神經網路的魯棒性117

8.4.1改進圖117

8.4.2改進訓練過程118

8.4.3改進圖神經網路的架構120

8.4.4討論和未來的方向121

8.5從魯棒性的角度進行適當評估122

8.6小結124

第三部分前沿

第9章圖分類128

9.1導讀128

9.2用於圖分類的圖神經網路：典型工作和現代架構129

9.2.1空間方法129

9.2.2頻譜方法132

9.3池化層：從節點級輸出學習圖級輸出133

9.3.1基於注意力的池化層134

9.3.2基於聚類的池化層134

9.3.3其他池化層134

9.4圖神經網路和高階層在圖分類中的局限性135

9.5圖神經網路在圖分類中的應用137

9.6基準數据集137

9.7小結138

第10章連結預測139

10.1導讀139

10.2傳統的連結預測方法140

10.2.1啟發式方法140

10.2.2潜在特徵方法143

10.2.3基於內容的方法145

10.3基於GNN的連結預測方法145

10.3.1基於節點的方法145

10.3.2基於子圖的方法147

10.3.3比較基於節點的方法和基於子圖的方法150

10.4連結預測的理論151

10.4.1γ？C衰减啟發式理論151

10.4.2貼標籤技巧155

10.5未來的方向158

10.5.1加速基於子圖的方法158

10.5.2設計更强大的貼標籤技巧159

10.5.3瞭解何時使用獨熱特徵159

第11章圖生成160

11.1導讀160

11.2經典的圖生成模型160

11.2.1 Erd s-Rényi模型161

11.2.2隨機塊模型162

11.3深度圖生成模型163

11.3.1表徵圖163

11.3.2變分自編碼器方法164

11.3.3深度自回歸方法168

11.3.4生成對抗網絡方法174

11.4小結178

第12章圖轉換179

12.1圖轉換問題的形式化179

12.2節點級轉換180

12.2.1節點級轉換的定義180

12.2.2互動網絡180

12.2.3時空卷積迴圈神經網路181

12.3邊級轉換182

12.3.1邊級轉換的定義182

12.3.2圖轉換生成對抗網絡183

12.3.3多尺度圖轉換網絡184

12.3.4圖轉換策略網絡185

12.4節點-邊共轉換186

12.4.1節點-邊共轉換的定義186

12.4.2基於編輯的節點-邊共轉換190

12.5其他基於圖的轉換193

12.5.1序列到圖的轉換193

12.5.2圖到序列的轉換194

12.5.3上下文到圖的轉換195

12.6小結196

第13章圖匹配197

13.1導讀197

13.2圖匹配學習198

13.2.1問題的定義199

13.2.2基於深度學習的圖匹配模型200

13.2.3基於GNN的圖匹配模型201

13.3圖相似性學習205

13.3.1問題的定義205

13.3.2圖-圖回歸任務206

13.3.3圖-圖分類任務209

13.4小結210

第14章圖結構學習211

14.1導讀211

14.2傳統的圖結構學習212

14.2.1無監督圖結構學習212

14.2.2有監督圖結構學習214

14.3圖神經網路的圖結構學習215

14.3.1圖結構和表徵的聯合學習216

14.3.2與其他問題的聯系225

14.4未來的方向226

14.4.1魯棒的圖結構學習226

14.4.2可擴展的圖結構學習226

14.4.3異質圖的圖結構學習227

14.5小結227

第15章動態圖神經網路228

15.1導讀228

15.2背景和標記法229

15.2.1圖神經網路229

15.2.2序列模型230

15.2.3編碼器-解碼器框架和模型訓練233

15.3動態圖的類型233

15.3.1離散型與連續型234

15.3.2演變類型235

15.3.3預測問題、內插法和外推法235

15.4用圖神經網路對動態圖進行建模236

15.4.1將動態圖轉換為靜態圖236

15.4.2用於DTDG的圖神經網路238

15.4.3用於CTDG的圖神經網路240

15.5應用242

15.5.1基於骨架的人類活動識別243

15.5.2交通預測244

15.5.3時序知識圖譜補全245

15.6小結247

第16章異質圖神經網路248

16.1 HGNN簡介248

16.1.1 HG的基本概念249

16.1.2異質性給HG嵌入帶來的獨特挑戰250

16.1.3對HG嵌入發展的簡要概述251

16.2淺層模型251

16.2.1基於分解的方法252

16.2.2基於隨機遊走的方法253

16.3深度模型254

16.3.1基於消息傳遞的方法254

16.3.2基於編碼器-解碼器的方法257

16.3.3基於對抗的方法257

16.4回顧259

16.5未來的方向259

16.5.1結構和内容保存259

16.5.2更深入的探索260

16.5.3可靠性260

16.5.4應用261

第17章自動機器學習262

17.1背景262

17.1.1 AutoGNN的標記法264

17.1.2 AutoGNN的問題定義264

17.1.3 AutoGNN的挑戰265

17.2蒐索空間265

17.2.1架構蒐索空間266

17.2.2訓練超參數蒐索空間268

17.2.3高效的蒐索空間269

17.3蒐索算灋269

17.3.1隨機蒐索269

17.3.2進化蒐索270

17.3.3基於强化學習的蒐索270

17.3.4可微蒐索271

17.3.5高效的表現評估272

17.4未來的方向273

第18章自監督學習275

18.1導讀275

18.2自監督學習概述276

18.3將SSL應用於圖神經網路：對訓練策略、損失函數和代理任務進行分類277

18.3.1訓練策略278

18.3.2損失函數281

18.3.3代理任務283

18.4節點級代理任務283

18.4.1基於結構的節點級代理任務284

18.4.2基於特徵的節點級代理任務285

18.4.3混合代理任務285

18.5圖級代理任務287

18.5.1基於結構的圖級代理任務287

18.5.2基於特徵的圖級代理任務291

18.5.3混合代理任務291

18.6節點-圖級代理任務293

18.7討論294

18.8小結295

第四部分廣泛和新興的應用

第19章現代推薦系統中的圖神經網路298

19.1圖神經網路在推薦系統中的實踐298

19.1.1簡介298

19.1.2預測用戶-物品偏好的經典方法302

19.1.3用戶-物品推薦系統中的物品推薦：二分圖的視角302

19.2案例研究1：動態的GNN學習304

19.2.1動態序貫圖304

19.2.2 DSGL 304

19.2.3模型預測307

19.2.4實驗和討論308

19.3案例研究2：設備-雲合作的GNN學習309

19.3.1提議的框架309

19.3.2實驗和討論312

19.4未來的方向313

第20章電腦視覺中的圖神經網路315

20.1導讀315

20.2將視覺表徵為圖316

20.2.1視覺節點表徵316

20.2.2視覺邊表徵317

20.3案例研究1：影像318

20.3.1物體檢測318

20.3.2影像分類319

20.4案例研究2：視頻320

20.4.1視頻動作識別320

20.4.2時序動作定位322

20.5其他相關工作：跨媒體322

20.5.1視覺描述322

20.5.2視覺問答323

20.5.3跨媒體檢索324

20.6圖神經網路在電腦視覺中的前沿問題324

20.6.1用於電腦視覺的高級圖神經網路325

20.6.2圖神經網路在電腦視覺中的更廣泛應用325

20.7小結326

第21章自然語言處理中的圖神經網路327

21.1導讀327

21.2將文字建模為圖329

21.2.1自然語言處理中的圖表徵329

21.2.2從圖的角度完成自然語言處理任務330

21.3案例研究1：基於圖的文字聚類和匹配332

21.3.1基於圖聚類的熱點事件發現和組織332

21.3.2使用圖分解和卷積進行長檔案匹配333

21.4案例研究2：基於圖的多跳閱讀理解335

21.5未來的方向338

21.6小結339

第22章程式分析中的圖神經網路341

22.1導讀341

22.2程式分析中的機器學習342

22.3程式的圖表徵343

22.4用於程式圖的圖神經網路345

22.5案例研究1：檢測變數誤用缺陷346

22.6案例研究2：預測動態類型化語言中的類型348

22.7未來的方向350

第23章軟件挖掘中的圖神經網路352

23.1導讀352

23.2將軟件建模為圖353

23.2.1宏觀與微觀層面的表徵353

23.2.2將宏觀和微觀層面的表徵結合起來354

23.3相關的軟件挖掘任務355

23.4軟件挖掘任務實例：原始程式碼總結357

23.4.1基於GNN的原始程式碼總結快速入門357

23.4.2改進的方向363

23.5小結364

第24章藥物開發中基於圖神經網路的生物醫學知識圖譜挖掘366

24.1導讀366

24.2現有的生物醫學知識圖譜367

24.3知識圖譜的推理369

24.3.1傳統的KG推理科技370

24.3.2基於GNN的KG推理科技371

24.4藥物開發中基於KG的假設生成374

24.4.1基於KG的藥物再利用的機器學習框架374

24.4.2基於KG的藥物再利用在COVID-19中的應用375

24.5未來的方向376

24.5.1 KG品質控制376

24.5.2可擴展的推理377

24.5.3 KG與其他生物醫學數據的結合378

第25章預測蛋白質功能和相互作用的圖神經網路383

25.1從蛋白質的相互作用到功能簡介383

25.1.1登上舞臺：蛋白質-蛋白質相互作用網絡384

25.1.2問題形式化、假設和雜訊：從歷史的視角384

25.1.3淺層機器學習模型385

25.1.4好戲上演：圖神經網路386

25.2三個典型的案例研究387

25.2.1案例研究1：蛋白質-蛋白質和蛋白質-藥物相互作用的預測387

25.2.2案例研究2：蛋白質功能和功能重要的殘差的預測389

25.2.3案例研究3：使用圖自編碼器從生物網絡的表徵中學習多關係連結預測391

25.3未來的方向393

第26章异常檢測中的圖神經網路395

26.1導讀395

26.2基於GNN的异常檢測的問題397

26.2.1特定於數據的問題397

26.2.2特定於任務的問題399

26.2.3特定於模型的問題399

26.3流水線400

26.3.1圖的構建和轉換400

26.3.2圖表徵學習401

26.3.3預測402

26.4分類法403

26.5案例研究404

26.5.1案例研究1：用於惡意帳戶檢測的圖嵌入404

26.5.2案例研究2：基於層次注意力機制的套現用戶檢測404

26.5.3案例研究3：用於惡意程式檢測的注意力異質圖神經網路405

26.5.4案例研究4：通過圖神經網路學習程式表徵和相似性度量的圖匹配框架，用於檢測未知的惡意程式406

26.5.5案例研究5：使用基於注意力的時間GCN進行動態圖的异常檢測408

26.5.6案例研究6：使用GAS進行垃圾評論檢測408

26.6未來的方向409

第27章智慧都市中的圖神經網路410

27.1用於智慧都市的圖神經網路410

27.1.1導讀410

27.1.2圖神經網路在智慧都市中的應用場景411

27.1.3將都市系統表徵為圖413

27.1.4案例研究1：圖神經網路在交通和城市規劃中的應用415

27.1.5案例研究2：圖神經網路在都市事件和异常情况預測中的應用417

27.1.6案例研究3：圖神經網路在都市人類行為分析中的應用417

27.2未來的方向419

參考文獻420