本书是数理统计方面的经典教材，从数理统计学的初级基本概念及原理开始，详细讲解概率与分布、多元分布、特殊分布、统计推断基础、极大似然法等内容，并且涵盖一些高级主题，如一致性与极限分布、充分性、最优假设检验、正态模型的推断、非参数与稳健统计、贝叶斯统计等.此外，为了帮助读者更好地理解数理统计和巩固所学知识，书中还提供了一些重要的背景材料、大量实例和习题.
本书可以作为高等院校数理统计相关课程的教材，也可供相关专业人员参考使用.
WU
在这个新版本中，我们进行了大量的修订. 其中一些修订可以帮助学生理解统计理论和统计实践之间的联系，而另一些修订则关注书中所介绍的统计理论的发展，并加强了对它们的讨论.
这些修订多数都是对读者评论的反馈. 其中一条评论反映以前版本中的真实数据集过少，因此这一版包含了更多的真实数据集，用来说明统计方法或比较这些方法. 我们将这些数据集放在R包hmcpkg中，学生可以自由访问它们. 这些数据集也可以通过后面给出的网址在R会话中单独下载. 通常，书中给出了这些数据集的R代码分析.
我们还扩展了统计软件R的使用. 之所以选择R，是因为它是一个功能强大且免费的统计语言，在三大主流平台（Windows、Mac和Linux）上均可运行. 当然，教师也可以选择另外的统计包. 我们还将R函数用于计算分析和模拟研究，包括一些游戏. 使用这些简洁直观的代码，目的是向学生展示：只需几行简单的代码，他们就可以执行重要的计算. 附录B包含简短的R入门知识，以帮助理解书中使用的R. 与数据集一样，这些R函数可以在给出的网址中单独找到，它们也包含在hmcpkg包中.
我们在附录A中补充了数学复习材料，将其放在文件“Mathematical Primer for Introduction to Mathematical Statistics”中. 学生可以通过给出的网址免费下载. 除了序列，这个补充材料还回顾了无穷级数、微分和积分（一元和二元）. 我们也扩展了对迭代积分的讨论，并且为了使讨论更清晰，还增加了一些图.
我们没有改变基本统计推断（第4章）和渐近理论（第5章）的顺序. 在第5章和第6章中，我们对第4章的内容做了简要的回顾，使得第4章和第5章本质上相互独立，因此顺序可以互换. 我们在第3章多元正态分布一节中用一小节介绍二元正态分布. 增加了几个重要的主题，包括第9章中的Tukey多重比较程序，以及第9章和第10章中相关系数的置信区间. 第7章包含对样本自助法估计的标准误差的讨论. 在练习中讨论过的几个主题现在也在正文中讨论，例如分位数（1.7.1节）和危险函数（3.3节）. 一般来说，我们以小节形式逐步展开讨论. 另外，带*的章节表示其是可选的.
内容与课程规划
第1章和第2章介绍单变量和多变量的概率模型，第3章讨论最广泛运用的概率模型. 第4章讨论许多在标准统计方法课程中涉及的推断统计理论. 第5章阐述渐近理论，并以中心极限定理结束. 第6章提供基于极大似然理论的完整推断（包括估计与检验），还包括对EM算法的讨论. 第7章和第8章包括最优估计法和统计假设检验. 最后3章则提供统计学中三个重要专题的理论. 其中，第9章介绍基本方差分析、单变量回归以及相关模型的正态分布方法的推断. 第10章阐述关于位置和单变量回归模型的非参数方法（估计与检验），并讨论了效率、影响以及崩溃点的稳健概念. 第11章阐明贝叶斯方法，包括传统的贝叶斯方法和马尔可夫链蒙特卡罗方法.
我们的教材可用于不同层次的各类数理统计学课程. 两个学期的数理统计课程可涵盖第1～8章的大部分内容，并可从其余章节中选取一些主题. 对于这样的课程，教师可以适当将第4章和第5章的顺序互换，从而在第二学期开始时介绍统计理论（第4章）. 一个学期的课程可包括第1～4章，并可从第5章中选择一些主题. 在这个选择下，学生可以看到许多非理论性课程中讨论的方法的统计理论. 另一方面，就像两个学期的讲授顺序一样，教师可以在第1～3章之后讲授第5章，并从第4章中选择一些主题来结束课程.
本书中使用的数据集、R函数以及R包hmcpkg可以从网站https://media.pearsoncmg.com/cmg/pmmg_mml_shared/mathstatsresources/home/index.html下载.
致谢
罗伯特·霍格在2014年去世了，所以他没有参与这一版的修订工作. 在我犹豫是否修改书稿的时候，我经常会思考罗伯特会怎么做. 为了纪念他，我保留了这个版本的作者顺序.
和前几版一样，欢迎读者提出宝贵意见. 在此感谢上一版的审稿人：弗吉尼亚学院的James Baldone、伊利诺伊大学香槟分校的Steven Culpepper、加利福尼亚州立大学的Yuichiro Kakihara、博伊西州立大学的Jaechoul Lee、普渡大学的Michael Levine、马里兰大学帕克学院的Tingni Sun和波士顿大学的Daniel Weiner. 我们采纳了他们对这次修订的意见并表示感谢. 感谢宾夕法尼亚州立大学的Thomas Hettmansperger、奥本大学的Ash Abebe和鲁汶大学的Ioannis Kalogridis教授的宝贵意见. 特别感谢Pearson公司的Patrick Barbera（统计学方面的投资组合经理）、Lauren Morse（数学/统计方面的内容制作人）、Yvonne Vannatta（产品营销经理）和其他员工，他们为本书的出版做出了努力. 也感谢北岸社区学院的Richard Ponticelli，他认真审核了本书的校样. 同时，特别感谢我的妻子Marge，感谢她坚定地支持和鼓励我撰写这一版本.
约瑟夫·麦基恩
数学
该书写作风格极其清晰，就更高等内容的应用而言，我没有任何质疑。书中内容表述专业而现代，假如我有机会再次讲授数理统计学，我会毫不犹豫使用它，同时推荐给我的同事们。
—— Walter Freiberger，布朗大学
本书是数理统计方面的经典教材，自1959年第1版出版以来，广受读者好评，并被众多院校选为教材，如布朗大学、乔治·华盛顿大学等。
第8版延续了前几版的一贯风格，清晰而全面地阐述了数理统计的基本理论，并且为了让读者更好地理解数理统计，还提供了丰富的例子和一些重要的背景材料。与前几版相比，本版包含了更多的真实数据集，扩展了统计软件R的使用。
本书特色
全面覆盖估计和检验中的经典统计推断过程。
深入讨论充分性和检验理论，包括一致最大功效检验和似然比检验。
提供丰富的实例和练习，便于读者理解和巩固相关知识。
附录B中给出更多的R函数实例，帮助读者了解如何使用R进行统计计算与模拟。
作者简介
罗伯特·V. 霍格（Robert V. Hogg） 艾奥瓦大学统计与精算科学系教授，自1948年开始任教于艾奥瓦大学，在此从事教学和管理工作50多年，并帮助筹建了统计与精算科学系。他曾担任美国统计学会（ASA）主席，获得过包括美国数学学会杰出教育奖在内的多项教学奖。
约瑟夫·W. 麦基恩（Joseph W. McKean） 西密歇根大学统计系教授，美国统计学会会士。他在线性、非线性、混合模型的稳健非参数处理方面已发表多篇论文，主要讲授统计学、概率论、统计方法、非参数理论等课程。
艾伦·T. 克雷格（Allen T. Craig） 艾奥瓦大学教授，已于1970年退休。他曾担任国际数理统计学会（IMS）第一任秘书长，发起并参与了本书的撰写工作。
[美] 罗伯特 V. 霍格（Robert V. Hogg），约瑟夫 W. 麦基恩（Joseph W. McKean），艾伦 T. 克雷格（Allen T. Craig） 著：罗伯特·V. 霍格（Robert V. Hogg） 艾奥瓦大学统计与精算科学系教授，自1948年开始任教于艾奥瓦大学，在此从事教学和管理工作50多年，并帮助筹建了统计与精算科学系。他曾担任美国统计学会（ASA）主席，获得过包括美国数学学会杰出教育奖在内的多项教学奖。
约瑟夫·W. 麦基恩（Joseph W. McKean） 西密歇根大学统计系教授，美国统计学会会士。他在线性、非线性、混合模型的稳健非参数处理方面已发表多篇论文，主要讲授统计学、概率论、统计方法、非参数理论等课程。
艾伦·T. 克雷格（Allen T. Craig） 艾奥瓦大学教授，已于1970年退休。他曾担任国际数理统计学会（IMS）第一任秘书长，发起并参与了本书的撰写工作。
第1章 概率与分布 1
1.1 引论 1
1.2 集合 3
1.2.1 回顾集合论 4
1.2.2 集合函数 7
1.3 概率集函数 12
1.3.1 计数规则 16
1.3.2 概率的附加性质 18
1.4 条件概率与独立性 23
1.4.1 独立性 28
1.4.2 模拟 31
1.5 随机变量 37
1.6 离散随机变量 45
1.6.1 变量变换 47
1.7 连续随机变量 49
1.7.1 分位数 51
1.7.2 变量变换 53
1.7.3 混合离散型和连续型分布 56
1.8 随机变量的期望 60
1.8.1 用R计算期望增益估计 65
1.9 某些特殊期望 68
1.10 重要不等式 78
第2章 多元分布 85
2.1 二元随机变量的分布 85
2.1.1 边际分布 89
2.1.2 期望 93
2.2 二元随机变量变换 100
2.3 条件分布与期望 109
2.4 独立随机变量 117
2.5 相关系数 125
2.6 推广到多个随机变量 134
*2.6.1 多元方差–协方差矩阵 140
2.7 多个随机向量的变换 143
2.8 随机变量的线性组合 151
第3章 某些特殊分布 155
3.1 二项分布及有关分布 155
3.1.1 负二项分布和几何分布 159
3.1.2 多正态分布 160
3.1.3 超几何分布 162
3.2 泊松分布 167
3.3 、2以及分布 173
3.3.1 2分布 178
3.3.2 分布 180
3.4 正态分布 186
*3.4.1 污染正态分布 193
3.5 多元正态分布 198
3.5.1 二元正态分布 198
*3.5.2 多元正态分布的一般情况 199
*3.5.3 应用 206
3.6 t分布与F分布 210
3.6.1 t分布 210
3.6.2 F分布 212
3.6.3 学生定理 214
*3.7 混合分布 218
第4章 基本统计推断 225
4.1 抽样与统计量 225
4.1.1 点估计 226
4.1.2 pmf与pdf的直方图估计 230
4.2 置信区间 238
4.2.1 均值之差的置信区间 241
4.2.2 比例之差的置信区间 243
*4.3 离散分布参数的置信区间 248
4.4 次序统计量 253
4.4.1 分位数 257
4.4.2 分位数置信区间 261
4.5 假设检验介绍 267
4.6 统计检验的深入研究 275
4.6.1 观测的显著性水平：p值 279
4.7 卡方检验 283
4.8 蒙特卡罗方法 292
4.8.1 筛选生成算法 298
4.9 自助法 303
4.9.1 百分位数自助置信区间 303
4.9.2 自助检验法 308
*4.10 分布容许限 315
第5章 一致性与极限分布 321
5.1 依概率收敛 321
5.1.1 抽样和统计量 324
5.2 依分布收敛 327
5.2.1 概率有界 333
5.2.2 Δ方法 334
5.2.3 矩母函数方法 336
5.3 中心极限定理 341
*5.4 推广到多元分布 348
第6章 极大似然法 355
6.1 极大似然估计 355
6.2 拉奥–克拉默下界与有效性 362
6.3 极大似然检验 376
6.4 多参数估计 386
6.5 多参数检验 395
6.6 EM算法 404
第7章 充分性 413
7.1 估计量品质的测量 413
7.2 参数的充分统计量 419
7.3 充分统计量的性质 426
7.4 完备性与唯一性 430
7.5 指数分布类 435
7.6 参数的函数 440
7.6.1 自助标准误差 444
7.7 多参数的情况 447
7.8 最小充分性与从属统计量 454
7.9 充分性、完备性以及独立性 461
第8章 最优假设检验 469
8.1 最大功效检验 469
8.2 一致最大功效检验 479
8.3 似然比检验 487
8.3.1 正态分布均值的似然比检验 488
8.3.2 正态分布方差的似然比检验 495
*8.4 序贯概率比检验 500
*8.5 极小化极大与分类方法 507
8.5.1 极小化极大方法 507
8.5.2 分类 510
第9章 正态线性模型的推断 515
9.1 介绍 515
9.2 单向方差分析 516
9.3 非中心2分布与F分布 522
9.4 多重比较法 525
9.5 双向方差分析 531
9.5.1 因子间的相互作用 534
9.6 回归问题 539
9.6.1 极大似然估计 540
*9.6.2 最小二乘拟合的几何解释 546
9.7 独立性检验 551
9.8 某些二次型的分布 555
9.9 某些二次型的独立性 562
第10章 非参数与稳健统计学 569
10.1 位置模型 569
10.2 样本中位数与符号检验 572
10.2.1 渐近相对有效性 577
10.2.2 基于符号检验的估计方程 582
10.2.3 中位数置信区间 584
10.3 威尔科克森符号秩 586
10.3.1 渐近相对有效性 591
10.3.2 基于威尔科克森符号秩的估计方程 593
10.3.3 中位数置信区间 594
10.3.4 蒙特卡罗调查 595
10.4 曼–惠特尼–威尔科克森方法 598
10.4.1 渐近相对有效性 602
10.4.2 基于MWW的估计方程 604
10.4.3 移位参数Δ的置信区间 604
10.4.4 功效函数的蒙特卡罗调查 605
*10.5 一般秩得分 607
10.5.1 效力 610
10.5.2 基于一般得分的估计方程 612
10.5.3 最优化：最佳估计 612
*10.6 适应方法 619
10.7 简单线性模型 625
10.8 测量关联性 631
10.8.1 肯德尔 631
10.8.2 斯皮尔曼 634
10.9 稳健概念 638
10.9.1 位置模型 638
10.9.2 线性模型 645
第11章 贝叶斯统计 655
11.1 贝叶斯方法 655
11.1.1 先验分布与后验分布 656
11.1.2 贝叶斯点估计 658
11.1.3 贝叶斯区间估计 662
11.1.4 贝叶斯检验方法 663
11.1.5 贝叶斯序贯方法 664
11.2 其他贝叶斯术语及思想 666
11.3 吉布斯抽样器 672
11.4 现代贝叶斯方法 679
11.4.1 经验贝叶斯 682
附录A 数学 687
附录B R入门 693
附录C 常用分布列表 703
附录D 分布表 707
附录E 参考文献 715
附录F 部分习题答案 721
索引 733
Contents
1 Probability and Distributions ....................................1
1.2 Sets....................................3
1.2.1 Review of SetTheory......................4
1.2.2 Set Functions...........................7
1.3 The Probability SetFunction......................12
1.3.1 Counting Rules..........................16
1.3.2 Additional Properties of Probability..............18
1.4 Conditional Probability and Indepen dence...............23
1.4.1 Independence...........................28
1.4.2 Simulations............................31
1.5 Random Variables............................37
1.6 Discrete Random Variables.......................45
1.6.1 Transformations.........................47
1.7 Continuous Random Variables.....................49
1.7.1 Quantiles.............................51
1.7.2 Transformations.........................53
1.7.3 Mixtures of Discrete and Continuous Type Distributions...56
1.8 Expectation of a Random Variable...................60
1.8.1 R Computation for an Estimation of the Expected Gain...65
1.9 Some Special Expectations.......................68
1.10 Important Inequalities..........................78
2 Multivariate Distributions 85
2.1 Distributions of Two Random Variables................85
2.1.1 Marginal Distributions......................89
2.1.2 Expectation............................93
2.2 Transformations: Bivariate Random Variables.............100
2.3 Conditional Distributions and Expectations..............109
2.4 Independent Random Variables.....................117
2.5 The Correlation Coefficient.......................125
2.6 Extension to Several Random Variables................134
2.6.1 *Multivariate Variance-Covariance Matrix...........140
2.7 Transformations for Several Random Variables............143
2.8 Linear Combinations of Random Variables...............151
3 Some Special Distributions 155
3.1 The Binomial and Related Distributions................155
3.1.1 Negative Binomial and Geometric Distributions........159
3.1.2 Multinomial Distribution....................160
3.1.3 Hypergeometric Distribution..................162
3.2 The Poisson Distribution........................167
3.3 TheΓ,χ2,andβDistributions.....................173
3.3.1 Theχ2-Distribution.......................178
3.3.2 The β-Distribution........................180
3.4 The Normal Distribution.........................186
3.4.1 *Contaminated Normals.....................193
3.5 The Multivariate Normal Distribution.................198
3.5.1 Bivariate Normal Distribution..................198
3.5.2 *Multivariate Normal Distribution, General Case.......199
3.5.3 *Applications...........................206
3.6 t- and F- Distributions..........................210
3.6.1 The t- distribution........................210
3.6.2 The F- distribution........................212
3.6.3 Student’s Theorem........................214
3.7 *Mixture Distributions..........................218
4 Some Elementary Statistical Inferences 225
4.1 Sampling and Statistics.........................225
4.1.1 Point Estimators.........................226
4.1.2 Histogram Estimates of pmfs and pdfs.............230
4.2 ConfidenceIntervals...........................238
4.2.1 Confidence Intervals for Differencein Means..........241
4.2.2 Confidence Interval for Differencein Proportions.......243
4.3 *Confidence Intervals for Parameters of Discrete Distributions....248
4.4 Order Statistics..............................253
4.4.1 Quantiles.............................257
4.4.2 Confidence Intervals for Quantiles...............261
4.5 Introduction to Hypothesis Testing...................267
4.6 Additional Comments About Statistical Tests.............275
4.6.1 Observed Significance Level, p-value..............279
4.7 Chi-Square Tests.............................283
4.8 The Method of Monte Carlo.......................292
4.8.1 Accept–Reject Generation Algorithm..............298
4.9 Bootstrap Procedures..........................303
4.9.1 Percentile Bootstrap Confidence Intervals...........303
4.9.2 Bootstrap Testing Procedures..................308
4.10 *Tolerance Limits for Distributions...................315
5 Consistency and Limiting Distributions 321
5.1 Convergence in Probability.......................321
5.1.1S ampling and Statistics.....................324
5.2 Convergence in Distribution.......................327
5.2.1 Bounded in Probability.....................333
5.2.2 Δ-Method.............................334
5.2.3 Moment Generating Function Technique............336
5.3 Central Limit Theorem.........................341
5.4 *Extensions to Multivariate Distributions...............348
6 Maximum Likelihood Methods 355
6.1 Maximum Likelihood Estimation....................355
6.2 Rao–Cramer Lower Bound and Effciency...............362
6.3 Maximum Likelihood Tests.......................376
6.4 Multiparameter Case: Estimation....................386
6.5 Multiparameter Case: Testing......................395
6.6 The EM Algorithm............................404
7 Sufficiency 413
7.1 Measures of Quality of Estimators...................413
7.2 A Sufficient Statistic for a Parameter..................419
7.3 Properties of a Sufficient Statistic....................426
7.4 Completeness and Uniqueness......................430
7.5 The Exponential Class of Distributions.................435
7.6 Functions of a Parameter........................440
7.6.1 Bootstrap Standard Errors...................444
7.7 The Case of Several Parameters.....................447
7.8 Minimal Sufficiency and Ancillary Statistics..............454
7.9 Sufficiency, Completeness, and Independence.............461
8 Optimal Tests of Hypotheses 469
8.1 Most Powerful Tests...........................469
8.2 Uniformly Most Powerful Tests.....................479
8.3 Likelihood Ratio Tests..........................487
8.3.1 Likelihood Ratio Tests for Testing Means of Normal Distributions..............................488
8.3.2 Likelihood Ratio Tests for Testing Variances of Normal Distributions.............................495
8.4 *The Sequential Probability Ratio Test.................500
8.5 *Minimax and Classification Procedures................507
8.5.1 Minimax Procedures.......................507
8.5.2 Classification...........................510
9 Inferences About Normal Linear Models 515
9.1 Introduction................................515
9.2 One-Way ANOVA............................516
9.3 Noncentralχ2 and F-Distributions...................522
9.4 Multiple Comparisons..........................525
9.5 Two-Way ANOVA............................531
9.5.1 Interaction between Factors...................534
9.6 A Regression Problem..........................539
9.6.1 Maximum Likelihood Estimates.................540
9.6.2 *Geometry of the Least Squares Fit..............546
9.7 A Test of Independence.........................551
9.8 The Distributions of Certain Quadratic Forms.............555
9.9 The Independence of Certain Quadratic Forms............562
10 Nonparametric and Robust Statistics 569
10.1 Location Models.............................569
10.2 Sample Median and the Sign Test....................572
10.2.1 Asymptotic Relative Efficiency.................577
10.2.2 Estimating Equations Basedonthe Sign Test.........582
10.2.3 Confidence Interval for the Median...............584
10.3 Signed-Rank Wilcoxon..........................586
10.3.1 Asymptotic Relative Efficiency.................591
10.3.2 Estimating Equations Basedon Signed-Rank Wilcoxon...593
10.3.3 Confidence Interval for the Median...............594
10.3.4 Monte Carlo Investigation....................595
10.4 Mann–Whitney–Wilcoxon Procedure..................598
10.4.1 Asymptotic Relative Efficiency.................602
10.4.2 Estimating Equations Basedon the Mann–Whitney–Wilcoxon 604
10.4.3 Confidence Interval for the Shift ParameterΔ.........604
10.4.4 Monte Carlo Investigation of Power..............605
10.5 *General RankScores..........................607
10.5.1 Efficacy..............................610
10.5.2 Estimating Equations Based on General Scores........612
10.5.3 Optimizati on: Best Estimates..................612
10.6 *Adaptive Procedures..........................619
10.7 Simple Linear Model...........................625
10.8 Measures of Association.........................631
10.8.1 Kendall’sτ............................631
10.8.2 Spearman’s Rho.........................634
10.9 Robust Concepts.............................638
10.9.1 Location Model..........................638
10.9.2 Linear Model...........................645
11 Bayesian Statistics 655
11.1 Bayesian Procedures...........................655
11.1.1 Prior and Posterior Distributions................656
11.1.2 Bayesian Point Estimation...................658
11.1.3 Bayesian Interval Estimation..................662
11.1.4 Bayesian Testing Procedures..................663
11.1.5 Bayesian Sequential Procedures.................664
11.2 More Bayesian Terminology and Ideas.................666
11.3 Gibbs Sampler..............................672
11.4 Modern Bayesian Methods........................679
11.4.1 Empirical Bayes.........................682
A Mathematical Comments 687
A.1 Regularity Conditions..........................687
A.2 Sequences.................................688
B R Primer 693
B.1 Basics...................................693
B.2 Probability Distributions.........................696
B.3 R Functions................................698
B.4 Loops...................................699
B.5 Inputand Output............................700
B.6 Packages..................................700
C Lists of Common Distributions 703
D Tables of Distributions 707
E References 715
F Answers to Selected Exercises 721
Index 733
