本书为数据科学领域的技术人员提供了一套详尽的模式，可用于任何基于机器学习的数据分析任务。通过学习这些方法，你至少能找到一种更为有效的模式，并且获得优于传统分析方法的整体系统行为。“元”分析可谓关于“分析”的“分析”，为了理解这种混合方法或元方法，书中必不可少地详述了常规分析方法的技术细节，在此基础上帮助读者理解并应用元分析模式。本书适合从事数据分析、预测和挖掘的技术人员阅读，涵盖机器翻译、机器人技术、生物和社会科学、医疗卫生信息学、经济学、商业和金融、警务以及体育赛事分析等领域。

无

计算机/数据分析

大数据时代，快速分析数据并从中提取有效信息是所有数据科学家必须完成的任务。本书由分析领域的专家撰写，面向所有对数据科学感兴趣的读者，既是初学者的必备入门指南，也可帮助不同行业的技术人员扩充工具库，实现数据分析技能的快速提升。
元分析既是混合分析，也是关于分析的分析。本书既讨论元方法，也讲解常规的分析方法和分析系统，特别是提供了一系列详尽的模式和方法，它们可用于任何基于机器学习的数据分析任务。通过学习这些方法，你至少能找到一种更为有效的模式，并且获得优于传统分析方法的整体系统行为。

通过阅读本书，你将学习以下知识：
背景知识，涉及统计学、算法、机器学习和人工智能等方面，涵盖回归、聚类、马尔可夫模型、熵、支持向量机、降维和神经网络等概念，并演示了如何构建分别适用于二分类和一般情况的分类器。
真值获取与真值估算，提出了打破传统“训练、验证和测试”模式的新模式。
实验设计与设计模式，前者包括数据归一化、剪枝老化数据和系统之系统，后者包括累积响应模式、分析的优化和模型一致性模式。
分析系统的各个方面，包括灵敏度分析、大型系统工程、建模与拟合、同义词-反义词模式、强化-无效化模式以及系统设计的优化等，引入了射幸技术和专家系统技术等概念。
应用与挑战，介绍元分析在机器翻译、机器人技术、医学和金融等领域的广泛应用，并畅想了元分析的未来。

社会的进步离不开对数据的分析和使用。近年来，我们身边的数据呈爆炸式增长，在数据过载的时代背景下，更好地分析数据并从中提取有效信息就显得愈发重要。本书围绕分析展开，由浅入深，既介绍了统计学、机器学习和人工智能的背景知识以及分析学的基础，也演示了如何在此基础上创建一套元分析方法，还阐述了分析系统、分析设计模式以及它们的优化过程。对于初学者，本书可以加快他们的入门速度；对于分析方面的专业人员，本书可以扩充他们的知识库。本书旨在帮助读者叩开数据科学的大门并引领他们走得更远。
很荣幸有机会翻译这本包含庞大知识网络的著作并将它呈现到读者面前。本书涵盖范围广泛，原理探讨深入，是作者数年心血之结晶。我们深知书中内容对目标受众的重要性，期望译文能够准确表达作者的原意，为此我们投入了大量时间和精力去理解内容，并逐个推敲其中较为晦涩的专业表达，以扫清读者在理解上的障碍。然而，限于我们的专业水平及表述能力，译文中难免存在疏漏之处，望读者多多包涵，我们诚待批评指正。
感谢参与部分章节检查与校对的学生，他们是：蔡威（1.1～1.8节）、黎琳（1.9～1.11节）、戴薇（第2～4章）、钟柳兰（第5～9章）、陈宪聪（第10～11章）和林晶（第12～14章）等。另外，感谢国家自然科学基金项目（No. 61872249，No. 61836005）的支持。

倪泳鑫　潘微科　明仲
大数据系统计算技术国家工程实验室
深圳大学
2021年3月

译者序
致谢
第1章　概述和应用1
1.1　引言1
1.2　本书为什么重要2
1.3　本书的组织结构3
1.4　信息学3
1.5　分析统计学4
1.5.1　值和方差4
1.5.2　样本和总体检验5
1.5.3　回归和估计7
1.6　分析算法12
1.6.1　k均值和k近邻聚类12
1.6.2　反聚类14
1.6.3　马尔可夫模型14
1.7　机器学习16
1.7.1　熵16
1.7.2　支持向量机和核函数18
1.7.3　概率18
1.7.4　降维和信息增益20
1.7.5　优化和搜索21
1.7.6　数据挖掘和知识发现22
1.7.7　识别23
1.7.8　集成学习24
1.8　人工智能25
1.8.1　遗传算法26
1.8.2　神经网络30
1.8.3　免疫算法35
1.9　一个从头开始构建分类器的平台（二分类）37
1.10　一个从头开始构建分类器的平台（一般情况）43
1.10.1　训练和验证43
1.10.2　测试和部署49
1.10.3　比较训练和测试数据集上的结果62
1.11　本章小结63
参考文献64
扩展阅读64
第2章　获取真值65
2.1　引言65
2.2　预验证66
2.3　根据训练数据优化设置72
2.4　学习如何学习76
2.5　从深度学习到深度反学习82
2.6　本章小结82
参考文献83
第3章　实验设计85
3.1　引言85
3.2　数据归一化86
3.2.1　简单的归一化86
3.2.2　偏差归一化87
3.2.3　归一化和实验设计表90
3.3　剪枝老化数据的设计91
3.4　系统之系统93
3.4.1　系统93
3.4.2　混合系统94
3.4.3　动态更新的系统95
3.4.4　接口95
3.4.5　增益95
3.4.6　领域归一化97
3.4.7　灵敏度分析98
3.5　本章小结99
参考文献99
第4章　元分析设计模式100
4.1　引言100
4.2　累积响应模式101
4.2.1　识别感兴趣的区域102
4.2.2　面向序列相关的预测性选择的感兴趣的区域104
4.2.3　传统的累积增益曲线105
4.3　分析的优化111
4.3.1　决策树111
4.3.2　假定身份触发模式112
4.3.3　期望最大化和最大-最小模式113
4.4　模型一致性模式116
4.4.1　混合回归117
4.4.2　建模和模型拟合117
4.5　共现和相似性模式118
4.6　灵敏度分析模式119
4.7　混淆矩阵模式120
4.8　熵模式121
4.9　独立模式124
4.10　功能式NLP模式（宏观反馈）127
4.11　本章小结127
参考文献129
第5章　灵敏度分析和大型系统工程130
5.1　引言130
5.2　数据集本身的灵敏度分析132
5.3　解决方案模型的灵敏度分析135
5.4　单个算法的灵敏度分析136
5.5　混合算法的灵敏度分析137
5.6　到当前状态的路径的灵敏度分析138
5.7　本章小结140
参考文献141
第6章　多面预测性选择142
6.1　引言142
6.2　预测性选择142
6.3　预测方法143
6.4　选择方法144
6.5　多路径方法149
6.6　应用151
6.7　灵敏度分析151
6.8　本章小结151
参考文献152
第7章　建模和模型拟合153
7.1　引言153
7.2　用于分析的化学类比154
7.3　用于分析的有机化学类比156
7.4　用于分析的免疫学和生物学类比157
7.5　用于模型设计和拟合的匿名化类比159
7.6　最小平方误差、误差方差和熵：拟合优度159
7.7　创建属于自己的多个模型160
7.8　本章小结161
参考文献161
第8章　同义词-反义词模式和强化-无效化模式162
8.1　引言162
8.2　同义词-反义词模式163
8.3　强化-无效化模式164
8.4　各种模式的广泛适用性167
8.5　本章小结167
参考文献168
扩展阅读168
第9章　关于分析的分析169
9.1　引言169
9.2　关于分析的分析170
9.2.1　熵与出现向量170
9.2.2　功能指标173
9.2.3　期望最大化方法174
9.2.4　系统设计的注意事项175
9.3　根据训练数据优化设置175
9.4　混合方法176
9.5　关于分析的其他探索领域177
9.6　本章小结178
参考文献178
扩展阅读179
第10章　系统设计优化180
10.1　引言180
10.1.1　系统考量—重新审视系统增益181
10.1.2　系统增益—重新审视和扩大系统偏差182
10.1.3　投资与回报185
10.2　模块优化185
10.3　聚类与正则化186
10.3.1　平方和正则化189
10.3.2　方差正则化189
10.3.3　簇大小正则化190
10.3.4　小型簇正则化191
10.3.5　簇数量正则化191
10.3.6　对正则化方法的讨论192
10.4　分析系统的优化192
10.5　本章小结193
参考文献193
第11章　射幸技术和专家系统技术194
11.1　引言194
11.2　两种射幸模式回顾195
11.2.1　特征射幸模式的依次移除195
11.2.2　特征输出射幸模式的时序变化198
11.3　为测试添加随机元素199
11.4　高光谱射幸方法201
11.5　机器学习和统计学习中的其他射幸应用202
11.6　专家系统技术202
11.7　本章小结202
参考文献203
扩展阅读203
第12章　应用一：机器翻译、机器人技术和生物科学中的主题及挑战204
12.1　引言204
12.2　机器翻译205
12.3　机器人技术207
12.4　生物科学210
12.5　本章小结212
参考文献212
第13章　应用二：医学及医疗信息学、经济学、商业和金融214
13.1　引言214
13.2　医疗215
13.3　经济学216
13.4　商业和金融218
13.5　本章小结220
13.6　附言：心理学221
参考文献222
第14章　探讨、总结和数据的未来223
14.1　关于第1章的探讨和总结223
14.2　关于第2章的探讨和总结224
14.3　关于第3章的探讨和总结224
14.4　关于第4章的探讨和总结225
14.5　关于第5章的探讨和总结226
14.6　关于第6章的探讨和总结226
14.7　关于第7章的探讨和总结226
14.8　关于第8章的探讨和总结227
14.9　关于第9章的探讨和总结227
14.10　关于第10章的探讨和总结227
14.11　关于第11章的探讨和总结228
14.12　关于第12章的探讨和总结228
14.13　关于第13章的探讨和总结229
14.14　元分析的未来229
中英文术语对照表230