本书从数据科学视角，详细讲解概率分布、期望值、估计等概率统计知识，广泛使用真实的数据集，同时所有数据分析均由R编码支持。此外，本书包含许多数据科学应用，如主成分分析、混合分布、随机图模型、隐马尔科夫模型、线性回归、逻辑回归和神经网络等。
无
致教师
对于物理、化学或生物学这样的学科而言，我们学习一门学科是为了解决这门学科的问题，而统计学与这些学科不同，研究统计学的主要目的是解决其他学科的问题.
——C.R.Rao，现代统计学的先驱之一
教育的作用是教人认真思考和批判性思考.智慧与品格——这才是教育的真正目标.
——马丁·路德·金博士，美国民权领袖
其万折也必东，似志.
——孔子，中国古代哲学家
本书主要是为数据科学（包括计算机科学）专业学生设计的概率与统计教材，涵盖初级/高级/研究生水平的概率论和统计学知识.除微积分外，本书还要求学生掌握一些矩阵代数知识并具备基本的计算机编程能力.
但是，这本书为什么不同于其他概率论和数理统计教材呢？
事实上，这本书确实与其他概率论与数理统计方面的书完全不同.简要概括如下：
●本书英文版的副书名是Math+R+Data，这里直接体现了本书与其他数理统计类书籍的不同.
●强调数据科学应用，例如，随机图模型、幂律分布、隐马尔可夫模型、主成分分析、谷歌PageRank、遥感、混合分布、神经网络、维数灾难等.
●广泛使用R语言.
与其他数理统计类书籍相比，本书特别强调应用，使用了大量的真实数据.
本书从应用的角度出发组织内容，注重培养学生批判性思考使用统计学的方式和原因，并使学生具有“全局观”.
●使用真实数据，并及早地引入统计问题.
前面的Rao语录引起了我的强烈共鸣.虽然这是一本“数理统计”教材，涵盖了随机变量、密度函数、期望值、分布、统计估计和推断等，但是正如本书书名所体现的，本书特别强调这些知识在数据科学中的应用.作为一本关于数据科学的书，即使只是一本数理统计书，也应该充分利用数据！
这对本书章节的顺序有影响.我们很早地引入了统计学，并在正文中穿插着统计问题.甚至是在介绍数学期望的第3章，也包括一些简单的预测模型，为学习第15章的内容作铺垫.第5章介绍著名的离散参数模型，并包含用幂律分布拟合真实数据的例子.这是第7章的前奏，之后在第7章将讨论抽样分布、均值和方差估计、偏差等知识.第8章介绍点估计，并利用极大似然估计和矩方法对真实数据进行模型拟合.从该章起，后面每一章都广泛使用了真实数据.
因为这些数据集都是公开的，所以授课教师可以深入研究这些数据示例.
●数学上正确——还要有很好的直觉.
前面给出的孔子的这句话虽然早在统计方法正式发展之前就有了，但是这表明他已经具有敏锐的直觉，预见了当今数据科学领域的一个基本概念——数据平滑.培养学生的这种强烈的直觉是本书的重中之重.
这当然是一本数学书.所有模型、概念等都是用随机变量和分布来精确描述的.除了微积分之外，矩阵代数也扮演着重要的角色.在许多章节的最后都增加了选学的数学补充内容，以便为好奇的读者提供更多材料，探索更复杂的内容.每章后的练习都包括一些常规练习题和一些更具挑战性的问题.
另外，这本书不是为了数学而“数学”的书，尽管用数学语言对相关内容描述得很精确，但它绝不是一本理论书.
例如，本书并没有从样本空间和集合论的角度来定义概率.以我的经验，用经典的方式定义概率是学习这些概念背后的直觉的一个主要障碍，也阻碍了后面做好应用工作.相反，我使用直觉的、非形式化的方法，从长期频率的角度来定义概率，本质上是把强大数定律作为一个公理.
我相信这种方法在解释条件概率和期望值时特别有用，这些概念是学生们常遇到的难题.在经典的方法下，如果题目叙述没有给定明确的短语（如给定条件下），学生们很难识别出这个练习（甚至是实际应用）需要条件概率或期望.相反，我是让学生从反复试验的角度来思考，在B发生的时间里，A发生了多少次？这更容易与实际相联系.
●提高学生的实际应用能力.
“应用”这个词对于不同的人意味着不同的事.例如，Mitzenmacher和Upfal\[33\]为计算机科学专业的学生编写了一本有趣而优雅的书，他所关注的概率实际上是离散型概率，他的预期应用实际上是针对计算机科学的理论.
相反，我关注的是在现实世界中使用这些知识，这往往涉及更多的是连续型而不是离散型概率，并且更多的是在统计学而不是概率论领域.这尤其有价值，因为现在大数据和机器学习在计算机和数据科学中发挥着重要的作用.
你马上可以在书中看到这种哲学.这本书的第一个例子不是关于骰子或硬币的，而是涉及公交系统模型和计算机网络模型.当然，书中也有使用骰子、硬币和游戏的例子，但是，就像已故的Leo Breiman的书\[5\]的副书名一样，“着眼于应用”（With a View toward Applications）永远不会遥远.
如果我可以冒昧地引述马丁·路德·金的话，我要指出的是，今天的统计学是一个核心的知识领域，它几乎影响着每个人的日常生活.具有使用统计数据或者至少可以理解统计数据的能力，对于我们来说至关重要.作为本书的作者，我将此视为一项使命.
●R编程语言的使用.
出于模拟和数据分析的目的，本书利用了R语言中一些轻量级的程序.学生应该具有一些基本的编程背景，比如说Python、C、Java或R中的一个，但是无须先前有R的编程经验.在本书的附录中，我给出了一些简要介绍，并且一些高级的R语言编程知识会作为补充内容穿插在正文当中.
因为R具有出色的图形和可视化能力，并且有10000多个宝贵的代码包，所以R被广泛应用于统计和数据科学领域.
计算机科学领域的读者会发现，从计算机科学的角度来看，R是独立的.首先，R遵循函数语言和面向对象的范式：每个动作都是作为函数实现的（甚至是“+”）；几乎总是可以避免副作用；函数是第一类对象；提供几种不同的类结构.R中还提供了各种有趣的元编程功能.在编程支持方面，有非常流行的RStudio IDE，而对于“硬核”编码，有Emacs Speak Statistics框架.本书的大部分章节都有“计算补充”，以及练习中的“计算和数据问题”.
主要内容
第一部分（第1~6章）：这部分介绍了概率论、蒙特卡罗模拟、离散型随机变量、期望值和方差，以及离散参数分布族.
第二部分（第7~10章）：这部分主要介绍统计学，如抽样分布、极大似然估计、偏差、Kolmogorov-Smirnov等，并通过γ和β密度模型拟合实际数据来说明.直方图被视为密度估计量，这部分还简要介绍了核密度估计，接下来介绍了置信区间和显著性检验的相关内容.
第三部分（第11~17章）：这部分涵盖了多元分析的各个方面，例如多元分布、混合分布、PCA/对数线性模型、降维、过拟合和预测分析.同样，真实数据起着重要作用.
内容安排
这本书可以在一个学期内轻松学完.如果需要更轻松的节奏，或者想要半学期内讲授完，这本书也适用，因为即使跳过某些部分也不会影响内容的连续性.特别地，如果是一门更注重统计学的课程，可能会忽略马尔可夫链的相关内容，而如果是一门更注重机器学习的课程，可能希望保留这些内容（例如，隐马尔可夫模型部分）.关于某些专业主题，还单独编写一节来介绍，以防后面跳过这些章节时产生阅读障碍.
第11章有关多元分布的内容对于数据科学来说非常有用，例如，多元分布与聚类的关系.然而，如果时间紧迫或者教师的矩阵代数背景不强，也可以安全地跳过这部分内容.
致读者
我曾经上过一门速读课，20分钟就读完了《战争与和平》.它和俄罗斯有关.
——伍迪·艾伦，喜剧演员
我很早就体会到了“知道某事物的名称”和“了解某事物”之间的区别.
——理查德·费曼，诺贝尔物理学奖获得者
磨刀不误砍柴工.
——亚伯拉罕·林肯
这不是你所熟悉的普通数学书或者编程书.
为了在实际应用中恰当地使用本书，准确地理解数学含义和代码的实际功能是非常重要的.
在本书中，你会经常发现连续几段甚至一整页都没有数学内容、代码或图表.千万别跳过这部分！它们可能是为了培养你在现实世界中运用这些知识的能力，因此它们可能是本书中最重要的部分.
在这一点上，数学直觉是关键.当你阅读时，停下来想想这些方程式背后的逻辑和意义.
一个密切相关的观点是数学和代码是相辅相成的.了解每一个都会让你对另一个有更深的理解.本书穿插了数学和代码，乍一看似乎有些奇怪，但是很快你就会发现它们的相互作用对于你理解这些知识是非常有帮助的.
“情节”
把这本书想象成一部电影.为了使“情节”更吸引人，我们需要事先铺垫.这本书的目的是讲解概率和统计知识在数据科学中的应用，所以“情节”的最终目的是统计和预测分析.
这些领域的基础是概率论，所以我们首先在第1~6章奠定基础.后续需要更多的概率内容会在第9章和第11章介绍，但是为了尽早把一些生动的“素材”带入“电影”中，我们在第7章和第8章介绍了统计学内容，特别是对真实数据的分析.
最后一章的马尔可夫链就像电影的续集.该理论建立了一些令人兴奋的数据科学应用，例如，隐马尔可夫模型和谷歌的PageRank搜索引擎.
致谢
以下是我要非常感谢的人，他们给我提供了非常有价值的反馈意见：Ibrahim Ahmed、Ahmed Ahmedin、Stuart Ambler、Earl Barr、Benjamin Beasley、Matthew Butner、Vishal Chakraborti、Michael Clifford、Dipak Ghosal、Noah Gift、Laura Matloff、Nelson Max、Deep Mukhopadhyay、 Connie Nguyen、Jack Norman、Richard Oehrle、Michael Rea、Sana Vaziri、Yingkang Xie和Ivana Zetko.我的编辑John Kimmel总是非常乐于助人.还要感谢我的妻子Gamis和我的女儿Laura一如既往的鼓励.
数学\统计学
这本书为数据科学专业的学生提供了一个极好的统计学导论……其示例通常来自数据科学应用领域，例如隐马尔可夫模型和遥感等……所有的模型和概念都用精确的数学语言进行了很好的解释（而不是像形式证明一样给出），有助于学生获得更直观的理解。
—— CHOICE
本书是一本面向数据科学、计算机科学专业学生的概率统计教材。全书共分为四部分：第一部分（第1~6章）主要介绍概率论、蒙特卡罗模拟、离散型随机变量、期望值和方差、离散参数分布族、连续型概率模型；第二部分（第7~10章）主要介绍统计学基础知识，包括抽样分布、极大似然估计、中心极限定理、置信区间和显著性检验等；第三部分（第11~17章）主要介绍多元分析相关内容，包括多元分布、混合分布、主成分分析、对数线性模型、降维、过拟合和预测分析等；第四部分（附录）介绍R语言编程基础知识。
本书特色
广泛使用真实数据集。
所有的数据分析都可由R代码实现。
包含许多数据科学的应用，如主成分分析、混合分布、随机图模型、隐马尔可夫模型、线性回归和Logistic回归，以及神经网络。
引导学生批判性地思考使用统计学的方式和原因，从而使学生具有全局观。
不是以“定理/证明”为导向，而是通过精确的数学语言来陈述概念和模型。
作者简介
诺曼·马特罗夫(Norman Matloff) 是加州大学戴维斯分校计算机科学专业教授，并曾担任该校统计学专业教授。他是Journal of Statistical Software和The R Journal的编委会成员。他的著作Statistical Regression and Classification: From Linear Models to Machine Learning曾入选2017年国际Ziegel奖。他还是该校杰出教学奖的获得者。
[美]诺曼·马特罗夫(Norman Matloff) 著：诺曼·马特罗夫(Norman Matloff)是加州大学戴维斯分校计算机科学专业教授，并曾担任该校统计学专业教授。他是 Journal of Statistical Software和The R Journal的编委会成员。他的著作Statistical Regression and Classification: From Linear Models to Machine Learning曾入选2017年国际Ziegel奖。他还是该校杰出教学奖的获得者。
前言
作者简介
第一部分 概率论基础
第1章 基本的概率模型2
1.1 示例：公共汽车客流量2
1.2 “笔记本”视图：重复实验的概念3
1.2.1 理论方法3
1.2.2 更直观的方法3
1.3 我们的定义4
1.4 “邮寄筒”7
1.5 示例：公共汽车客流量(续)7
1.6 示例：ALOHA网络9
1.6.1 ALOHA网络模型总结10
1.6.2 ALOHA网络计算10
1.7 笔记本环境中的ALOHA12
1.8 示例：一个简单的棋盘游戏13
1.9 贝叶斯法则14
1.9.1 总则14
1.9.2 示例：文档分类15
1.10 随机图模型15
1.10.1 示例：择优连接模型16
1.11 基于组合数学的计算16
1.11.1 5张牌中哪一种情况更有可能：一张国王还是两张红心16
1.11.2 示例：学生的随机分组17
1.11.3 示例：彩票17
1.11.4 示例：数字之差18
1.11.5 多项式系数19
1.11.6 示例：打桥牌时得到4张A的概率19
1.12 练习20
第2章 蒙特卡罗模拟22
2.1 示例：掷骰子22
2.1.1 第一次改进22
2.1.2 第二次改进23
2.1.3 第三次改进24
2.2 示例：骰子问题24
2.3 使用runif()模拟事件25
2.4 示例：公共汽车客流量(续)25
2.5 示例：棋盘游戏(续)25
2.6 示例：断杆26
2.7 我们应该运行模拟多长时间26
2.8 计算补充26
2.8.1 replicate()函数的更多信息26
2.9 练习27
第3章 离散型随机变量：期望值28
3.1 随机变量28
3.2 离散型随机变量28
3.3 独立的随机变量29
3.4 示例：蒙提霍尔问题29
3.5 期望值31
3.5.1 一般性——不只是离散型随机变量31
3.5.2 用词不当31
3.5.3 定义和笔记本视图31
3.6 期望值的性质32
3.6.1 计算公式32
3.6.2 期望值的一些性质33
3.7 示例：公共汽车客流量35
3.8 示例：预测产品需求36
3.9 通过模拟求期望值36
3.10 赌场、保险公司和“总和使用者”与其他情况相比37
3.11 数学补充38
3.11.1 性质E的证明38
3.12 练习38
第4章 离散型随机变量：方差39
4.1 方差39
4.1.1 定义39
4.1.2 方差概念的核心重要性41
4.1.3 关于Var(X)大小的直觉41
4.2 有用的事实42
4.3 协方差43
4.4 指示随机变量及其均值和方差44
4.4.1 示例：图书馆图书归还时间（第一版）44
4.4.2 示例：图书馆图书归还时间（第二版）45
4.4.3 示例：委员会问题中的指示变量45
4.5 偏度47
4.6 数学补充47
4.6.1 切比雪夫不等式的证明47
4.7 练习48
第5章 离散参数分布族49
5.1 分布49
5.1.1 示例：掷硬币直到第一次出现正面为止49
5.1.2 示例：两个骰子的和49
5.1.3 示例：Watts-Strogatz随机图模型50
5.2 参数分布族51
5.3 对我们很重要的案例：pmf的参数族51
5.4 基于伯努利实验的分布51
5.4.1 几何分布族52
5.4.2 二项分布族55
5.4.3 负二项分布族56
5.5 两种主要的非伯努利模型58
5.5.1 泊松分布族58
5.5.2 幂律分布族59
5.5.3 根据数据拟合泊松和幂律模型60
5.6 其他示例62
5.6.1 示例：公共汽车客流量问题…62
5.6.2 示例：社交网络分析63
5.7 计算补充63
5.7.1 R中的图形和可视化63
5.8 练习64
第6章 连续型概率模型66
6.1 随机掷镖游戏66
6.2 单值点的概率为零66
6.3 现在我们有个问题67
6.4 解决该问题的方法：累积分布函数67
6.4.1 累积分布函数67
6.4.2 既非离散也非连续的分布68
6.5 密度函数69
6.5.1 密度函数的性质69
6.5.2 密度的直观含义70
6.5.3 期望值71
6.6 第一个示例71
6.7 著名的连续分布参数族72
6.7.1 均匀分布72
6.7.2 正态(高斯)分布族73
6.7.3 指数分布族74
6.7.4 伽马分布族76
6.7.5 贝塔分布族77
6.8 数学补充79
6.8.1 危险函数79
6.8.2 指数分布族与泊松分布族的对偶性79
6.9 计算补充80
6.9.1 R的integrate()函数80
6.9.2 从密度函数中抽样的逆方法…80
6.9.3 从泊松分布中抽样81
6.10 练习81
第二部分 统计基础
第7章 统计学：序言84
7.1 本章的重要性84
7.2 抽样分布84
7.2.1 随机抽样84
7.3 样本均值85
7.3.1 示例：玩具总体85
7.3.2 X的期望值和方差86
7.3.3 同样的示例：玩具总体87
7.3.4 解释87
7.3.5 笔记本视图88
7.4 简单随机抽样情况88
7.5 样本方差89
7.5.1 σ2的直观估计89
7.5.2 更易于计算的方法89
7.5.3 特殊情况：X为指示变量90
7.6 除以n还是n-190
7.6.1 统计偏差90
7.7 “标准误差”的概念91
7.8 示例：Pima糖尿病研究91
7.9 别忘了：样本≠总体93
7.10 模拟问题93
7.10.1 样本估计93
7.10.2 无限总体93
7.11 观测研究94
7.12 计算补充94
7.12.1 *apply()函数94
7.12.2 数据中的异常值/错误值95
7.13 练习97
第8章 拟合连续模型98
8.1 为什么要拟合参数模型98
8.2 基于样本数据的概率密度函数无模型估计98
8.2.1 仔细观察99
8.2.2 示例：BMI数据99
8.2.3 方块的数量100
8.3 无模型密度估计的高级方法102
8.4 参数估计103
8.4.1 矩量法103
8.4.2 示例：BMI数据103
8.4.3 极大似然估计104
8.4.4 示例：湿度数据105
8.5 MM与MLE106
8.6 拟合优度评估106
8.7 贝叶斯原理107
8.7.1 工作原理108
8.7.2 赞成和反对的理由108
8.8 数学补充108
8.8.1 核密度估计的详细信息108
8.9 计算补充109
8.9.1 常用函数109
8.9.2 gmm包109
8.10 练习110
第9章 正态分布族112
9.1 概率密度及其性质112
9.1.1 在仿射变换下封闭112
9.1.2 在独立求和下封闭113
9.1.3 奥秘113
9.2 R函数114
9.3 标准正态分布114
9.4 评估正态累积分布函数114
9.5 示例：网络入侵115
9.6 示例：班级注册人数116
9.7 中心极限定理116
9.7.1 示例：累积截断误差116
9.7.2 示例：抛硬币117
9.7.3 示例：博物馆演示117
9.7.4 对奥秘的一点洞察118
9.8 X近似服从正态分布118
9.8.1 X的近似分布118
9.8.2 X的精度改进评估119
9.9 建模的重要性119
9.10 卡方分布族119
9.10.1 概率密度及其性质119
9.10.2 示例：插针位置错误120
9.10.3 建模的重要性120
9.10.4 与伽马分布族的关系120
9.11 数学补充121
9.11.1 分布的收敛性和CLT的精确陈述121
9.12 计算补充121
9.12.1 示例：生成正态分布随机数121
9.13 练习122
第10章 统计推断导论123
10.1 正态分布的作用123
10.2 均值的置信区间123
10.2.1 基本方法123
10.3 示例：Pima糖尿病研究124
10.4 示例：湿度数据125
10.5 置信区间的含义125
10.5.1 戴维斯市的一项体重调查…125
10.6 比例的置信区间126
10.6.1 示例：森林覆盖的机器分类127
10.7 学生t分布128
10.8 显著性检验简介129
10.9 公认的均匀硬币129
10.10 基本原理130
10.11 广义的正态检验131
10.12 “p值”的概念131
10.13 什么是随机与非随机132
10.14 示例：森林覆盖率数据132
10.15 显著性检验问题133
10.15.1 显著性检验的历史133
10.15.2 基本问题133
10.15.3 替代方法134
10.16 “p-hacking”问题135
10.16.1 思维实验135
10.16.2 多重推断方法136
10.17 统计学原理136
10.17.1 关于置信区间的更多信息136
10.18 练习137
第三部分 多元分析
第11章 多元分布140
11.1 离散型多元分布140
11.1.1 示例：袋子里的弹珠140
11.2 连续型多元分布140
11.2.1 动机和定义140
11.2.2 利用多元概率密度函数求概率和期望值141
11.2.3 示例：列车交会141
11.3 协方差的度量142
11.3.1 协方差142
11.3.2 示例：委员会示例143
11.4 相关性143
11.4.1 样本估计144
11.5 独立随机变量集144
11.5.1 邮寄筒144
11.6 矩阵形式145
11.6.1 邮寄筒：均值向量145
11.6.2 协方差矩阵145
11.6.3 邮寄筒：协方差矩阵146
11.7 协方差矩阵的样本估计146
11.7.1 示例：Pima数据147
11.8 数学补充147
11.8.1 卷积147
11.8.2 变换方法148
11.9 练习149
第12章 多元正态分布152
12.1 概率密度152
12.2 几何解释152
12.3 R函数154
12.4 特殊情况：新变量是一个随机向量的单一线性组合154
12.5 多元正态分布的性质155
12.6 多元中心极限定理155
12.7 练习156
第13章 混合分布157
13.1 迭代期望157
13.1.1 条件分布157
13.1.2 定理158
13.1.3 示例：有奖掷硬币159
13.1.4 条件期望为随机变量159
13.1.5 方差会怎么样160
13.2 混合分布的进一步研究160
13.2.1 均值和方差的推导160
13.2.2 参数估计161
13.3 聚类162
13.4 练习163
第14章 多维描述与降维164
14.1 什么是过拟合165
14.1.1 “急需数据”165
14.1.2 已知分布165
14.1.3 估计的均值165
14.1.4 偏差/方差权衡：具体说明166
14.1.5 影响167
14.2 主成分分析167
14.2.1 直觉167
14.2.2 主成分分析的性质168
14.2.3 示例：土耳其语教学评估…169
14.3 对数线性模型170
14.3.1 示例：头发颜色、眼睛颜色和性别170
14.3.2 数据的维数171
14.3.3 参数估计171
14.4 数学补充171
14.4.1 PCA的统计推导171
14.5 计算补充172
14.5.1 R表172
14.5.2 对数线性模型的一些细节…173
14.6 练习175
第15章 预测建模176
15.1 示例：Heritage Health奖176
15.2 目标：预测和描述176
15.2.1 术语177
15.3 “关系”是什么意思177
15.3.1 精确定义177
15.3.2 回归函数m()的参数模型…178
15.4 线性参数回归模型中的估计179
15.5 示例：棒球数据180
15.6 多元回归182
15.7 示例：棒球数据(续)182
15.8 交叉项183
15.9 参数估计184
15.9.1 “线性”的含义184
15.9.2 随机X和固定X回归184
15.9.3 点估计和矩阵形式184
15.9.4 近似的置信区间186
15.10 示例：棒球数据(续)187
15.11 虚拟变量188
15.12 分类188
15.12.1 分类=回归189
15.12.2 Logistic回归189
15.12.3 示例：森林覆盖率数据…191
15.12.4 R代码191
15.12.5 分析结果192
15.13 机器学习：神经网络192
15.13.1 示例：预测脊椎畸形193
15.13.2 但是到底发生了什么194
15.13.3 R包194
15.14 计算补充195
15.14.1 15.5.1节中的计算细节…195
15.14.2 关于glm()的更多信息…195
15.15 练习196
第16章 模型简化和过拟合197
16.1 什么是过拟合197
16.1.1 示例：直方图197
16.1.2 示例：多项式回归197
16.2 有什么办法吗198
16.2.1 交叉验证198
16.3 预测子集选择199
16.4 练习199
第17章 离散时序马尔可夫链简介200
17.1 矩阵形式200
17.2 示例：骰子游戏201
17.3 长期状态概率202
17.3.1 平稳分布202
17.3.2 π的计算203
17.3.3 π的模拟计算204
17.4 示例：连续三个正面的游戏205
17.5 示例：公共汽车客流量问题205
17.6 隐马尔可夫模型206
17.6.1 示例：公共汽车客流量207
17.6.2 计算过程207
17.7 谷歌的PageRank207
17.8 计算补充207
17.8.1 矩阵初始化为零矩阵207
17.9 练习208
第四部分 附录
附录A R快速入门210
附录B 矩阵代数220
参考文献223
索引226
