【概率論沉思錄】

內容介紹

本書將概率論和統計推斷融合在一起，用新的觀點生動地描述了概率論在物理學、數學經濟學、化學和生物學等領域中的廣泛應用，特別闡述了貝葉斯理論的豐富應用，彌補了其他概率論和統計學教材的不足，全書分為兩部分：*部分包括10章，講解抽樣理論、假設檢驗、參數估計等概率論的原理及其初級應用；* 部分包括12章，講解概率論的*應用，如在物理量測、通信理論中的應用。 本書還附有大量習題，內容*，體例完整，本書內容不局限於某一特定領域，適合涉及資料分析的各領域工作者閱讀，也可作為大學生和研究生相關課程的教材。

作者介紹

埃德溫·湯普森·傑恩斯（1922—1998），*數學物理學家，曾任聖路易斯華盛頓大學和斯坦福大學教授，在統計力學和概率統計推斷方面有傑出貢獻。 1957年發表了熱力學的*熵解釋，1963年與弗雷德·卡明斯一起以完全量子化的管道類比了電磁場中二能級原子的演化，該模型稱為傑恩斯-卡明斯模型。 傑恩斯大力提倡將概率論解釋為邏輯的延伸。 廖海仁，本科畢業於清華大學物理系，北京大學空間物理學碩士。 中國第22次南極科學考察隊員，曾在南極中山站越冬14個月。 現時從事機器學習算灋研發工作，2013年全球RTB廣告DSP算灋大賽主要組織者之一。

目錄

第一部分原則和初級應用1

第1章合情推理2

1.1演繹推理與合情推理2

1.2與物理理論的類比5

1.3思維電腦6

1.4推理機器人7

1.5布林代數8

1.6完備運算集合11

1.7基本的合情條件16

1.8評注18

1.8.1普通語言與形式邏輯19

1.8.2吹毛求疵21

第2章定量規則23

2.1乘法規則23

2.2加法規則29

2.3定性内容33

2.4數值35

2.5記號與有限集合策略41

2.6評注42

2.6.1主觀與客觀43

2.6.2哥德爾定理43

2.6.3威恩圖46

2.6.4柯爾莫哥洛夫公理47

第3章初等抽樣論49

3.1無放回抽樣49

3.2邏輯與傾向57

3.3根據不*資訊推理61

3.4期望63

3.5其他形式和推廣64

3.6作為數學工具的概率65

3.7二項分佈66

3.8有放回抽樣69

3.9相關性校正72

3.10簡化情形77

3.11評注78

第4章初等假設檢驗82

4.1先驗概率82

4.2使用二元數據檢驗二元假設85

4.3 *出二元情形的不可擴展性92

4.4多重假設檢驗94

4.5連續概率分佈函數102

4.6檢驗無數假設104

4.7簡單假設與複合假設109

4.8評注110

4.8.1詞源110

4.8.2已有成*111

第5章概率論的怪異應用113

5.1特异功能113

5.2斯圖爾特夫人的心靈感應能力114

5.2.1關於正態近似115

5.2.2回到主題116

5.3意見分歧與趨同120

5.4視覺感知——進化出“貝葉斯性”？ 125

5.5海王星的發現126

5.5.1關於備擇假設128

5.5.2回到牛頓理論130

5.6賽馬和天氣預報132

5.7關於直覺的悖論136

5.8貝葉斯法理學137

5.9 *注139

第6章初等參數估計141

6.1罎子問題的逆141

6.2 N和R均未知142

6.3均勻先驗144

6.4預測分佈146

6.5截斷均勻先驗148

6.6凹先驗149

6.7二項式猴子先驗151

6.8變化為連續參數估計154

6.9使用二項分佈進行估計154

6.10複合估計問題158

6.11簡單貝葉斯估計：定量先驗資訊159

6.12定性先驗資訊的影響167

6.13先驗的選擇168

6.14關於計算169

6.15傑弗裏斯先驗171

6.16全部要點173

6.17區間估計175

6.18方差的計算176

6.19泛化與漸近形式177

6.20矩形抽樣分佈180

6.21小樣本182

6.22數學技巧182

6.23評注184

第7章中心分佈、高斯分佈或常态分配187

7.1吸引現象187

7.2赫歇爾–麥克斯韋推導189

7.3高斯推導190

7.4高斯推導的歷史重要性191

7.5蘭登推導193

7.6為什麼普遍使用高斯分佈？ 195

7.7為什麼普遍成功？ 198

7.8應該使用什麼估計量？ 199

7.9誤差抵消201

7.10抽樣頻率分佈之近無關性203

7.11出色的資訊傳輸效率204

7.12其他抽樣分佈205

7.13作為保險工具的冗餘參數206

7.14更多一般性質207

7.15高斯函數的卷積208

7.16中心極限定理209

7.17計算*度211

7.18高爾頓的發現213

7.19種群動力學與達爾文進化216

7.20蜂鳥和花的進化217

7.21在經濟學中的應用219

7.22木星和土星的巨大時差220

7.23分解為高斯分佈221

7.24埃爾米特多項式解222

7.25傅裡葉變換關係223

7.26終有希望224

7.27評注226

第8章充分性與輔助性229

8.1充分性229

8.2費希爾充分性231

8.2.1示例232

8.2.2布萊克韋爾–拉奧定理… 233

8.3廣義充分性234

8.4帶冗餘參數的充分性235

8.5似然原理236

8.6輔助性238

8.7廣義輔助資訊239

8.8漸近似然：費希爾資訊242

8.9結合不同來源的證據243

8.10合併數據245

8.11薩姆的壞溫度計247

8.12評注249

8.12.1樣本重複使用的錯誤.. 249

8.12.2民間定理251

8.12.3先驗資訊的作用252

8.12.4技巧和花招252

第9章重複實驗：概率與頻率255

9.1物理實驗255

9.2孤陋寡聞的機器人258

9.3歸納推理260

9.4是否有一般性歸納法則？ 261

9.5重數因數264

9.6分拆函數算灋265

9.7熵算灋268

9.8另一種視角272

9.9熵*化273

9.10概率和頻率275

9.11顯著性檢驗276

9.12ψ和χ^2的比較282

9.13卡方檢驗284

9.14推廣286

9.15哈雷的死亡率錶287

9.16 *注291

9.16.1非理性主義者291

9.16.2迷信293

第10章隨機試驗物理學295

10.1有趣的關聯295

10.2歷史背景296

10.3如何在拋硬幣與擲骰子中作弊298

10.4一手牌302

10.5一般隨機試驗304

10.6再論歸納306

10.7但是量子理論呢？ 307

10.8雲層下的力學309

10.9關於硬幣與對稱性的更多討論310

10.10拋擲的獨立性315

10.11無知者的傲慢318

*部分*應用319

第11章離散先驗概率：熵原理320

11.1一種新的先驗資訊320

11.2 *小化∑p^ {2}_ {i}322

11.3熵：香農定理323

11.4沃利斯推導327

11.5一個示例329

11.6推廣：更嚴格的證明331

11.7 *熵分佈的形式性質333

11.8概念問題–頻率對應340

11.9 *注345

第12章無知先驗和變換群346

12.1我們要做什麼？ 346

12.2無知先驗347

12.3連續分佈348

12.4變換群351

12.4.1位置和比例參數351

12.4.2泊松率355

12.4.3未知成功概率355

12.4.4貝特朗問題358

12.5評注365

第13章決策論：歷史背景368

13.1推斷與決策368

13.2丹尼爾·伯努利的建議369

13.3保險的理論依據371

13.4熵與效用372

13.5誠實的天氣預報員373

13.6對丹尼爾·伯努利和拉普拉斯的反應374

13.7沃爾德的決策論376

13.8 *小損失參數估計380

13.9問題的重新表述382

13.10不同損失函數的影響385

13.11通用決策論387

13.12評注388

13.12.1決策論的“客觀性”388

13.12.2人類社會中的損失函數391

13.12.3傑弗裏斯先驗的新視角393

13.12.4決策論並不基礎393

13.12.5另一維度？ 394

第14章決策論的簡單應用396

14.1定義和基礎396

14.2充分性和資訊398

14.3損失函數和*效能準則400

14.4離散例子402

14.5我們的機器人將如何做？ 407

14.6歷史評述407

14.7小部件問題409

14.7.1階段2的解412

14.7.2階段3的解414

14.7.3階段4的解418

14.8評注419

第15章概率論中的悖論420

15.1悖論如何生存和發展？ 420

15.2序列求和的簡單管道421

15.3非聚集性422

15.4翻滾的四面體424

15.5有限次拋擲的解427

15.6有限與可列可加性432

15.7鮑萊耳–柯爾莫哥洛夫悖論… 435

15.8邊緣化悖論438

15.9討論446

15.9.1 DSZ示例5 448

15.9.2小結451

15.10結果*終有用嗎？ 452

15.11如何批量生產悖論453

15.12評注454

第16章正統方法：歷史背景458

16.1早期問題458

16.2正統統計社會學459

16.3費希爾、傑弗裏斯和奈曼461

16.4數據前和數據後考量467

16.5估計量的抽樣分佈468

16.6 *因果與反因果偏差470

16.7什麼是真實的，概率還是現象？ 473

16.8評注474

第17章正統統計學原理與病理476

17.1資訊損失476

17.2無偏估計量477

17.3無偏估計的病理482

17.4抽樣方差的基本不等式484

17.5週期性：中央公園的天氣487

17.6貝葉斯分析492

17.7隨機化的愚蠢496

17.8費希爾：洛桑農業研究所的常識498

17.9缺失數據499

17.10時間序列中的趨勢和季節性500

17.10.1正統方法500

17.10.2貝葉斯方法501

17.10.3貝葉斯和正統估計的比較504

17.10.4改進的正統估計506

17.10.5效果的正統準則508

17.11一般情况509

17.12評注514

第18章A_p分佈與連續法則518

18.1舊機器人的記憶存儲518

18.2相關性520

18.3令人驚訝的結果521

18.4外層和內層機器人524

18.5應用526

18.6拉普拉斯連續法則528

18.7傑弗裏斯的抗告530

18.8鱸魚還是鯉魚？ 531

18.9連續法則什麼時候有用？ 532

18.10推廣533

18.11證實和證據的權重535

18.12卡爾納普的歸納法537

18.13可交換序列中的概率與頻率539

18.14頻率預測540

18.15一維中子倍增542

18.15.1頻率解543

18.15.2拉普拉斯解544

18.16德菲內蒂定理548

18.17評注550

第19章物理量測552

19.1條件方程的簡化552

19.2重表述為決策問題554

19.3欠定情形：K奇异557

19.4 *定情形：K非奇异557

19.5結果的數值計算558

19.6估計的精度559

19.7 *注561

第20章模型比較563

20.1問題表述564

20.2公正的法官與殘酷的現實主義者565

20.2.1參數預先已知565

20.2.2參數未知566

20.3簡單性概念何在？ 567

20.4示例：線性響應模型569

20.5評注573

第21章離群值與穩健性576

21.1實驗者的困境576

21.2穩健性578

21.3雙模模型580

21.4可交換選擇581

21.5一般貝葉斯解582

21.6確定异常值584

21.7一個遠離值585

第22章通信理論導論587

22.1理論起源587

22.2無雜訊通道588

22.3資訊來源593

22.4英語有統計性質嗎？ 595

22.5已知字頻的*編碼597

22.6依據二元字母頻率知識的更好編碼599

22.7與隨機模型的關係602

22.8雜訊通道605

附錄A概率論的其他流派609

A.1柯爾莫哥洛夫概率系統609

A.2德菲內蒂概率系統614

A.3比較概率615

A.4對普遍可比性的反對617

A.5關於網格理論的推測618

附錄B數學形式與風格620

B.1記號和邏輯層次結構620

B.2我們的“謹慎”策略621

B.3威廉·費勒對於測度論的態度622

B.4克羅內克與魏爾斯特拉斯的比較624

B.5什麼是合法數學函數？ 626

B.5.1德爾塔函數628

B.5.2不可微函數629

B.5.3臆造的不可微函數629

B.6無限集合計數？ 632

B.7豪斯多夫球體悖論與數學病理學633

B.8我應該發表什麼？ 635

B.9數學禮儀636

附錄C卷積和累積量639

C.1累積量和矩的關係641

C.2示例643

引用文獻645

參考文獻677

譯後記701

人名索引721

術語索引733

--------------------------------------

【概率導論】（第2版）

編輯推薦

√從直觀、自然的角度闡述概率

√適合理工科學生入門，便於自學

√配套網站提供習題參考答案

本書內容豐富，除了介紹概率論的基本知識點外，還介紹了矩母函數、小二乘估計、泊松過程、瑪律可夫過程和貝葉斯統計等內容。 書中示例豐富、圖文並茂，針對每節主題設計了相應的習題，還提供了部分難題的解答，便於讀者自學。

本書多年來在美國麻省理工學院、斯坦福大學、加州大學等名校被用作概率課程教材，經過課堂檢驗和眾多師生的迴響得以不斷完善，是一本在表述簡潔和推理嚴密之間取得優美平衡的經典作品。

內容簡介

本書基於麻省理工學院開設的概率論入門課程編寫，內容全面，例題和習題豐富，結構層

次性强，能够滿足不同讀者的需求。 書中介紹了概率模型、離散隨機變數和連續隨機變數、多元隨機變數以及極限理論等概率論基礎知識，還介紹了矩母函數、條件概率的現代定義、獨立隨機變數的和、小二乘估計等高級內容。

作者簡介

迪米特裡？ 伯特瑟卡斯（Dimitri P. Bertsekas）

美國工程院院士，IEEE會士。 1971年獲美國麻省理工學院電子工程博士學位。 長期在麻省理工學院執教，曾獲得2001年度美國控制協會J. Ragazzini教育獎。 他的研究領域涉及優化、控制、大規模計算、資料通信網絡等，許多研究具有開創性貢獻。 著有《非線性規劃》等十餘部教材和專著，其中許多被麻省理工學院等名校用作研究生或大學生教材。

約翰？ 齊齊克利斯（John N. Tsitsiklis）

美國工程院院士，IEEE會士，麻省理工學院教授。 分別於1980年、1981年、1984年在麻省理工學院獲得學士、碩士、博士學位。 他的研究成果頗豐，已發表學術論文上百篇。

譯者簡介

鄭忠國

1965年研究生畢業於北京大學。 曾任北京大學數學科學學院教授、博士生導師。 長期從事數理統計的教學和科研工作，主要研究方向有非參數統計、可靠性統計和統計計算，發表論文近百篇。 主持完成國家科研專案“不完全數據統計理論及其應用”，博士點基金項目“應用統計方法研究”和“工業與醫學中的應用統計研究”等。

童行偉

北京師範大學統計學院教授、博士生導師，主要從事生物統計、金融統計、穩健統計等領域的教學和研究工作。 2000年就讀於北京大學概率統計系，獲得統計學博士學位。 2005~2006年在美國密蘇裡大學哥倫比亞分校從事博士後研究工作。

目錄

第1章樣本空間與概率1

1.1集合2

1.1.1集合運算3

1.1.2集合的代數4

1.2概率模型4

1.2.1樣本空間和事件5

1.2.2選擇適當的樣本空間6

1.2.3序貫模型6

1.2.4概率律6

1.2.5離散模型8

1.2.6連續模型10

1.2.7概率律的性質11

1.2.8模型和現實13

1.3條件概率16

1.3.1條件概率是一個概率律17

1.3.2利用條件概率定義概率模型20

1.4全概率定理和貝葉斯準則25

1.5獨立性30

1.5.1條件獨立32

1.5.2一組事件的獨立性34

1.5.3可靠性35

1.5.4獨立試驗和二項概率36

1.6計數法38

1.6.1計數準則39

1.6.2 n選k排列40

1.6.3組合41

1.6.4分割43

1.7小結和討論45

1.8習題46

第2章離散隨機變數62

2.1基本概念62

2.2概率質量函數64

2.2.1伯努利隨機變數66

2.2.2二項隨機變數66

2.2.3幾何隨機變數67

2.2.4泊松隨機變數68

2.3隨機變數的函數69

2.4期望、平均值和方差70

2.4.1方差、矩和隨機變數的函數的期望值規則72

2.4.2平均值和方差的性質75

2.4.3常用隨機變數的平均值和方差77

2.4.4利用期望值進行決策79

2.5多個隨機變數的聯合概率質量函數80

2.5.1多個隨機變數的函數81

2.5.2多於兩個隨機變數的情况83

2.6條件85

2.6.1某個事件發生的條件下的隨機變數85

2.6.2給定另一個隨機變數的值的條件下的隨機變數87

2.6.3條件期望90

2.7獨立性95

2.7.1隨機變數和事件的獨立性95

2.7.2隨機變數之間的獨立性95

2.7.3多個隨機變數的獨立性99

2.7.4若干個獨立隨機變數之和的方差99

2.8小結和討論101

2.9習題103

第3章一般隨機變數121

3.1連續隨機變數和概率密度函數121

3.1.1期望125

3.1.2指數隨機變數126

3.2累積分佈函數128

3.3正態隨機變數132

3.4多個隨機變數的聯合概率密度函數138

3.4.1聯合累積分佈函數141

3.4.2期望141

3.4.3多於兩個隨機變數的情况142

3.5條件143

3.5.1以事件為條件的隨機變數143

3.5.2以另一個隨機變數為條件的隨機變數146

3.5.3條件期望150

3.5.4獨立性152

3.6連續貝葉斯準則155

3.6.1關於離散隨機變數的推斷156

3.6.2基於離散觀測值的推斷157

3.7小結和討論158

3.8習題159

第4章隨機變數的高級主題173

4.1匯出分佈173

4.1.1線性函數175

4.1.2單調函數177

4.1.3兩個隨機變數的函數179

4.1.4獨立隨機變數和——卷積183

4.1.5卷積的影像計算法186

4.2協方差和相關187

4.3再論條件期望和條件方差191

4.3.1條件期望作為估計量193

4.3.2條件方差194

4.4矩母函數197

4.4.1從矩母函數到矩199

4.4.2矩母函數的可逆性201

4.4.3獨立隨機變數和203

4.4.4聯合分佈的矩母函數206

4.5亂數個獨立隨機變數和206

4.6小結和討論209

4.7習題210

第5章極限理論224

5.1瑪律可夫和切比雪夫不等式225

5.2弱大數定律228

5.3依概率收斂230

5.4中心極限定理232

5.4.1基於中心極限定理的近似233

5.4.2二項分佈的棣莫弗－拉普拉斯近似235

5.5强大數定律237

5.6小結和討論239

5.7習題240

第6章伯努利過程和泊松過程249

6.1伯努利過程250

6.1.1獨立性和無記憶性251

6.1.2相鄰到達間隔時間254

6.1.3第k次到達的時間255

6.1.4伯努利過程的分裂與合併256

6.1.5二項分佈的泊松近似257

6.2泊松過程260

6.2.1區間內到達的次數262

6.2.2獨立性和無記憶性264

6.2.3相鄰到達時間265

6.2.4第k次到達的時間266

6.2.5泊松過程的分裂與合併268

6.2.6伯努利過程和泊松過程、隨機變數和270

6.2.7隨機插入的悖論271

6.3小結和討論273

6.4習題274

第7章瑪律可夫鏈284

7.1離散時間瑪律可夫鏈284

7.1.1路徑的概率287

7.1.2 n步轉移概率288

7.2狀態的分類291

7.3穩態性質294

7.3.1長期頻率解釋299

7.3.2生滅過程300

7.4吸收概率和吸收的期望時間303

7.4.1吸收的期望時間307

7.4.2平均首訪時間及回訪時間308

7.5連續時間的瑪律可夫鏈309

7.5.1利用離散時間瑪律可夫鏈的近似312

7.5.2穩態性質314

7.5.3生滅過程316

7.6小結和討論316

7.7習題318

第8章貝葉斯統計推斷340

8.1貝葉斯推斷與後驗分佈344

8.2點估計、假設檢驗、後驗概率準則350

8.2.1點估計352

8.2.2假設檢驗355

8.3貝葉斯小均方估計358

8.3.1估計誤差的一些性質363

8.3.2多次觀測和多參數情况364

8.4貝葉斯線性小均方估計365

8.4.1一次觀測的線性小均方估計365

8.4.2多次觀測和多參數情形369

8.4.3線性估計和正態模型369

8.4.4線性估計的變數選擇370

8.5小結和討論370

8.6習題371

第9章經典統計推斷381

9.1經典參數估計383

9.1.1估計量的性質383

9.1.2似然估計384

9.1.3隨機變數平均值和方差的估計388

9.1.4置信區間390

9.1.5基於方差近似估計量的置信區間391

9.2線性回歸395

9.2.1小二乘公式的合理性397

9.2.2貝葉斯線性回歸399

9.2.3多元線性回歸401

9.2.4非線性回歸402

9.2.5實際中的考慮403

9.3簡單假設檢驗404

9.4顯著性檢驗413

9.4.1一般方法413

9.4.2廣義似然比和擬合優度檢驗418

9.5小結和討論421

9.6習題422

索引433

附表438

標準常态分配錶440