編輯推薦

適讀人群：不管是機器學習的新手，還是有經驗的實踐者，都能從本書中獲益。 因為各章所講解的主題既相對獨立，又是按照線性展開的，所以本書還適合作為大學生及研究生相關課程的教材或自學圖書。

如果看不懂“花書”，那就先來看看這本：

1.作者自身的知名度，經典著作《模式識別與機器學習》之後的又一力作；

2.三比特圖靈獎得主的共同推薦，2024年諾貝爾物理學獎得主傑弗裏·辛頓作序推薦；

3.為初學者打造，這本書不只能幫讀者正確理解深度學習的關鍵知識，還能幫助讀者構建整個深度學習的知識體系、理解其思想內核；

4.本書的重點是引導讀者清晰地理解概念與思想，強調的是具有實際應用價值的科技而不是抽象的理論；

5.四色印刷，提升“悅讀性”。

內容簡介

本書全面且深入地呈現了深度學習領域的知識體系，系統梳理了該領域的覈心知識，闡述了深度學習的關鍵概念、基礎理論及覈心思想，剖析了當代深度學習架構與科技。 全書共20章。 本書首先介紹深度學習的發展歷程、基本概念及其在諸多領域（如醫療診斷、影像合成等）產生的深遠影響； 繼而深入探討支撐深度學習的數學原理，包括概率、標準分佈等； 在網絡模型方面，從單層網絡逐步深入到多層網絡、深度神經網路，詳細講解其結構、功能、優化方法及其在分類、回歸等任務中的應用，同時涵蓋卷積網絡、Transformer等前沿架構及其在電腦視覺、自然語言處理等領域的獨特作用。 本書還對正則化、採樣、潜變數、生成對抗網絡、自編碼器、擴散模型等關鍵技術展開深入分析，闡釋其原理、算灋流程及實際應用場景。 對於機器學習領域的新手，本書是全面且系統的入門教材，可引領其踏入深度學

習的知識殿堂； 對於機器學習領域從業者，本書是深化專業知識、緊跟技術前沿的有力工具； 對於相關專業學生，本書是學習深度學習課程、開展學術研究的優質參考資料。 無論是理論學習、實踐應用還是學術研究，本書都是讀者在深度學習領域探索與前行的重要指引。

作者簡介

克里斯多夫·M.畢曉普（Christopher M. Bishop）

微軟公司科技研究員、微軟研究院科學智慧中心（Microsoft Research AI4Science）負責人。 劍橋達爾文學院院士、英國皇家工程院院士、愛丁堡皇家學會院士和倫敦皇家學會院士。 曾出版經典著作《模式識別與機器學習》（Pattern Recognition and Machine Learning）。

休·畢曉普（Hugh Bishop）

Wayve公司（倫敦一家基於端到端深度學習的自動駕駛公司）應用科學家，負責設計和訓練深度神經網路。 擁有劍橋大學工程系機器學習和機器智慧專業碩士

學位、杜倫大學計算機科學工程學碩士學位。

目錄

第1章深度學習革命1

1 1深度學習的影響2

1 1 1醫療診斷2

1 1 2蛋白質結構預測3

1 1 3影像合成4

1 1 4大語言模型5

1 2一個教學示例6

1 2 1合成數據7

1 2 2線性模型7

1 2 3誤差函數8

1 2 4模型複雜度8

1 2 5正則化11

1 2 6模型選擇12

1 3機器學習簡史14

1 3 1單層網絡15

1 3 2反向傳播16

1 3 3深度網絡17

第2章概率21

2 1概率法則23

2 1 1醫學篩查示例23

2 1 2加和法則和乘積法則24

2 1 3貝葉斯定理26

2 1 4再看醫學篩查示例27

2 1 5先驗概率和後驗概率28

2 1 6獨立變數28

2 2概率密度28

2 2 1分佈的示例30

2 2 2期望和協方差31

2 3高斯分佈32

2 3 1平均值和方差32

2 3 2似然函數33

2 3 3最大似然的偏差35

2 3 4線性回歸36

2 4密度變換37

多元分佈39

2 5資訊理論40

2 5 1熵40

2 5 2物理學視角42

2 5 3微分熵43

2 5 4最大熵44

2 5 5 Kullback-Leibler散度45

2 5 6條件熵47

2 5 7互資訊47

2 6貝葉斯概率47

2 6 1模型參數48

2 6 2正則化49

2 6 3貝葉斯機器學習50

習題50

第3章標準分佈55

3 1離散變數56

3 1 1伯努利分佈56

3 1 2二項分佈57

3 1 3多項分佈58

3 2多元高斯分佈59

3 2 1高斯幾何60

3 2 2矩62

3 2 3局限性64

3 2 4條件分佈64

3 2 5邊緣分佈67

3 2 6貝葉斯定理70

3 2 7最大似然72

3 2 8序貫估計73

3 2 9高斯混合74

3 3週期變數76

馮·米塞斯分佈76

3 4指數族分佈80

充分統計量84

3 5非參數化方法85

3 5 1長條圖85

3 5 2核密度86

3 5 3最近鄰88

習題90

第4章單層網絡：回歸97

4 1線性回歸97

4 1 1基函數98

4 1 2似然函數100

4 1 3最大似然101

4 1 4最小二乘的幾何表示102

4 1 5序貫學習102

4 1 6正則化最小二乘法103

4 1 7多重輸出104

4 2決策理論105

4 3偏差-方差權衡108

習題112

第5章單層網絡：分類115

5 1判別函數116

5 1 1二分類116

5 1 2多分類117

5 1 3 1-of-K編碼方案119

5 1 4最小二乘分類119

5 2決策理論121

5 2 1誤分類率122

5 2 2預期損失124

5 2 3拒絕選項125

5 2 4推理和決策125

5 2 5分類器精度128

5 2 6 ROC曲線129

5 3生成分類器131

5 3 1連續輸入132

5 3 2最大似然解134

5 3 3離散特徵136

5 3 4指數族分佈136

5 4判別分類器137

5 4 1啟動函數137

5 4 2固定基函數138

5 4 3邏輯斯諦回歸139

5 4 4多類邏輯斯諦回歸140

5 4 5 probit回歸141

5 4 6規範連接函數143

習題144

第6章深度神經網路149

6 1固定基函數的局限性150

6 1 1維度詛咒150

6 1 2高維空間152

6 1 3數據流形153

6 1 4數據依賴的基函數155

6 2多層網絡156

6 2 1參數矩陣157

6 2 2通用近似158

6 2 3隱藏單元啟動函數159

6 2 4權重空間的對稱性161

6 3深度網絡162

6 3 1層次化表示162

6 3 2分佈式表示163

6 3 3表示學習163

6 3 4遷移學習164

6 3 5對比學習165

6 3 6通用網絡結構168

6 3 7張量168

6 4誤差函數169

6 4 1回歸169

6 4 2二分類170

6 4 3多分類171

6 5混合密度網絡172

6 5 1機器人運動學示例172

6 5 2條件混合分佈173

6 5 3梯度優化175

6 5 4預測分佈176

習題177

第7章梯度下降181

7 1錯誤平面182

局部二次近似183

7 2梯度下降優化184

7 2 1梯度資訊的使用185

7 2 2批量梯度下降185

7 2 3隨機梯度下降186

7 2 4小批量方法187

7 2 5參數初始化188

7 3收斂189

7 3 1動量190

7 3 2學習率調度192

7 3 3 AdaGrad、RMSProp與Adam算灋193

7 4正則化195

7 4 1數據歸一化195

7 4 2批量歸一化196

7 4 3層歸一化197

習題198

第8章反向傳播201

8 1梯度計算202

8 1 1單層網絡202

8 1 2一般前饋網絡202

8 1 3簡單示例205

8 1 4數值微分法206

8 1 5雅可比矩陣207

8 1 6黑塞矩陣209

8 2自動微分法211

8 2 1前向模式自動微分213

8 2 2逆模式自動微分215

習題217

第9章正則化219

9 1歸納偏置220

9 1 1逆問題220

9 1 2無免費午餐定理221

9 1 3對稱性和不變性222

9 1 4等變性224

9 2權重衰减225

9 2 1一致性正則化項226

9 2 2廣義權重衰减228

9 3學習曲線230

9 3 1早停法230

9 3 2雙重下降231

9 4參數共亯234

軟權重共亯234

9 5殘差連接236

9 6模型平均239

dropout 241

習題243

第10章卷積網絡247

10 1電腦視覺248

影像數據248

10 2卷積濾波器249

10 2 1特徵檢測器250

10 2 2平移等變性251

10 2 3填充252

10 2 4跨步卷積253

10 2 5多元卷積253

10 2 6池化255

10 2 7多層卷積256

10 2 8網絡架構示例257

10 3視覺化訓練好的CNN 259

10 3 1視覺皮層259

10 3 2視覺化訓練好的濾波器260

10 3 3顯著性圖262

10 3 4對抗攻擊263

10 3 5合成影像264

10 4目標檢測265

10 4 1邊界框265

10 4 2交並比266

10 4 3滑動窗口267

10 4 4跨尺度檢測268

10 4 5非最大抑制269

10 4 6快速區域卷積神經網路270

10 5影像分割270

10 5 1卷積分割270

10 5 2上採樣271

10 5 3全卷積網絡272

10 5 4 U-Net架構273

10 6風格遷移274

習題275

第11章結構化分佈279

11 1概率圖模型280

11 1 1有向圖280

11 1 2分解280

11 1 3離散變數282

11 1 4高斯變數284

11 1 5二元分類器286

11 1 6參數和觀測值287

11 1 7貝葉斯定理288

11 2條件獨立性289

11 2 1 3個示例圖289

11 2 2相消解釋292

11 2 3 d分離293

11 2 4樸素貝葉斯294

11 2 5生成式模型296

11 2 6瑪律可夫毯297

11 2 7作為篩檢程式的圖298

11 3序列模型299

潜變數301

習題302

第12章Transformer 305

12 1注意力306

12 1 1 Transformer處理308

12 1 2注意力係數308

12 1 3自注意力309

12 1 4網絡參數310

12 1 5縮放自注意力312

12 1 6多頭注意力313

12 1 7 Transformer層315

12 1 8計算複雜性316

12 1 9位置編碼317

12 2自然語言319

12 2 1詞嵌入320

12 2 2分詞321

12 2 3詞袋模型322

12 2 4自回歸模型323

12 2 5遞迴神經網路324

12 2 6通過時間的反向傳播325

12 3 Transformer語言模型326

12 3 1解碼器型Transformer 326

12 3 2抽樣策略329

12 3 3編碼器型Transformer 330

12 3 4序列到序列Transformer 332

12 3 5大語言模型333

12 4多模態Transformer 336

12 4 1視覺Transformer 336

12 4 2影像生成Transformer 337

12 4 3音訊數據339

12 4 4文字語音轉換340

12 4 5視覺和語言Transformer 342

習題343

第13章圖神經網路347

13 1基於圖的機器學習348

13 1 1圖的内容349

13 1 2鄰接矩陣349

13 1 3排列等變性350

13 2神經資訊傳遞351

13 2 1卷積濾波器352

13 2 2圖卷積網絡353

13 2 3聚合運算元354

13 2 4更新運算元356

13 2 5節點分類357

13 2 6邊分類358

13 2 7圖分類358

13 3通用圖網絡359

13 3 1圖注意力網絡359

13 3 2邊嵌入360

13 3 3圖嵌入360

13 3 4過度平滑361

13 3 5正則化362

13 3 6幾何深度學習362

習題363

第14章採樣365

14 1基本採樣366

14 1 1期望366

14 1 2標準分佈367

14 1 3拒絕採樣369

14 1 4適應性拒絕採樣370

14 1 5重要性採樣371

14 1 6採樣-重要性-重採樣373

14 2馬爾可夫鏈蒙特卡洛採樣374

14 2 1 Metropolis算灋375

14 2 2瑪律可夫鏈376

14 2 3 Metropolis-Hastings算灋378

14 2 4吉布斯採樣380

14 2 5祖先採樣382

14 3郎之萬採樣383

14 3 1基於能量的模型384

14 3 2最大化似然385

14 3 3朗之萬動力學386

習題388

第15章離散潜變數391

15 1 K平均值聚類392

影像分割395

15 2高斯混合分佈397

15 2 1似然函數399

15 2 2最大似然400

15 3 EM算灋404

15 3 1高斯混合模型406

15 3 2 EM算灋與K平均值算灋的關係408

15 3 3混合伯努利分佈409

15 4證據下界412

15 4 1 EM算灋回顧413

15 4 2獨立同分佈數據415

15 4 3參數先驗415

15 4 4廣義EM算灋416

15 4 5順序EM算灋416

習題417

第16章連續潜變數421

16 1主成分分析422

16 1 1最大方差表述423

16 1 2最小誤差表述424

16 1 3資料壓縮427

16 1 4數據白化428

16 1 5高維數據429

16 2概率潜變數430

16 2 1生成式模型431

16 2 2似然函數432

16 2 3最大似然法433

16 2 4因數分析436

16 2 5獨立成分分析437

16 2 6卡爾曼濾波器439

16 3證據下界439

16 3 1 EM算灋441

16 3 2 PCA的EM算灋442

16 3 3因數分析的EM算灋444

16 4非線性潜變數模型444

16 4 1非線性流形445

16 4 2似然函數447

16 4 3離散數據448

16 4 4構建生成式模型的4種方法448

習題449

第17章生成對抗網絡453

17 1對抗訓練454

17 1 1損失函數455

17 1 2實戰中的GAN訓練456

17 2影像的生成對抗網絡458

CycleGAN 459

習題462

第18章標準化流465

18 1耦合流467

18 2自回歸流470

18 3連續流472

18 3 1神經ODE 472

18 3 2神經ODE的反向傳播473

18 3 3神經ODE流474

習題476

第19章自編碼器479

19 1確定性的自編碼器480

19 1 1線性自編碼器480

19 1 2深度自編碼器481

19 1 3稀疏自編碼器482

19 1 4去噪自編碼器482

19 1 5掩蔽自編碼器483

19 2變分自編碼器484

19 2 1攤銷推理487

19 2 2重參數化技巧488

習題491

第20章擴散模型493

20 1前向編碼器494

20 1 1擴散核495

20 1 2條件分佈496

20 2反向解碼器497

20 2 1訓練解碼器499

20 2 2證據下界499

20 2 3重寫ELBO 501

20 2 4預測雜訊502

20 2 5生成新的樣本504

20 3得分匹配505

20 3 1得分損失函數506

20 3 2修改得分損失506

20 3 3雜訊方差508

20 3 4隨機微分方程508

20 4有引導的擴散509

20 4 1有分類器的引導510

20 4 2無分類器的引導510

習題513

附錄517

附錄A線性代數517

A 1矩陣恒等式517

A 2迹和行列式518

A 3矩陣導數519

A 4特徵向量521

附錄B變分法524

附錄C拉格朗日乘子526

參考資料529

索引549