本书展示了机器学习中核心的算法和理论，并阐明了算法的运行过程。本书综合了许多的研究成果，例如统计学、人工智能、哲学、信息论、生物学、认知科学、计算复杂性和控制论等，并以此来理解问题的背景、算法和其中的隐含假定。本书可作为计算机专业
本科生、研究生教材，也可作为相关领域研究人员、教师的参考书。
TOM M.Mitchell是卡内基梅隆大学的教授，讲授“机器(AAA)的主席：美国《Machine Leaming》杂志、国际机器学习年度会议（ICML）的创始人：多种技术杂志的撰稿人，曾发表过许多文章，出版过多本专著，是机器学习领域的著名学者。
机器学习这门学科所关注的问题是：计算机程序如何随着经验积累自动提高性能。近年来，机器学习被成功地应用于很多领域，从检测信用卡交易欺诈的数据挖掘程序，到获取用户阅读兴趣的信息过滤系统，再到能在高速公路上自动行驶的汽车。同时，这个学科的基础理论和算法也有了重大进展。
这本教材的目标是展现机器学习中核心的算法和理论。机器学习从很多学科吸收了成果和概念，包括统计学、人工智能、哲学、信息论、生物学、认知科学、计算复杂性和控制论等。笔者相信，研究机器学习的最佳途径是从这些学科的观点看待机器学习，并且以此来理解问题的背景、算法以及其中隐含的假定。这些在以往很难做到，因为在这一领域缺少包容广泛的原始资料，本书的主要目的就是提供这样的一份资料。
由于素材的多学科性，本书不要求读者具有相应的知识背景，而是在必要时介绍其他一些学科的基本概念，如统计学、人工智能、信息论等。介绍的重点是与机器学习关系最密切的那些概念。本书可以作为计算机科学与工程、统计学和社会科学等专业的大学生或研究生的教材，也可作为软件研究人员或从业人员的参考资料。指导本书写作的两条原则为：第一，它是在校大学生可以理解的；第二，它应该包含我希望我自己的博士生在开始他们的机器学习研究前要掌握的内容。
指导本书写作的第三条原则是：它应该体现理论和实践间的均衡。机器学习理论致力于回答这样的问题“学习性能是怎样随着给定的训练样例的数量而变化的?”和“对于各种不同类型的学习任务，哪个学习算法最适合？”利用来自统计学、计算复杂性和贝叶斯分析的理论成果，这本书讨论了这一类理论问题。同时本书也涵盖很多实践方面的内容：介绍了这一领域的主要算法，阐明了算法的运行过程。其中一些算法的实现和数据可以在因特网上通过网址http://www.cs.cmu.edu/～tom/mlbook.html得到，包括用于人脸识别的神经网络的源代码和数据、用于信贷分析的决策树学习的源代码和数据及分析文本文档的贝叶斯分类器的源代码和数据。我很感谢那些帮助我创建这些在线资源的同事，他们是：Jason Rennie、Paul Hsiung、Jeff Shufelt、Matt Glickman、Scott Davies、Joseph O'Sullivan、Ken Lang、Andrew McCallum和Thorsten Joachims。
致谢
在写作本书的过程中，我幸运地得到了机器学习领域很多学科分支的技术专家们的帮助。没有他们的帮助这本书是不可能完成的。我深深地感激这些科学家们，他们审阅了本书的草稿并以他们在各自领域的专长给予我很多指导：
Avrim Blum，Jaime Carbonell，William Cohen，Greg Cooper，Mark Craven，Ken DeJong，Jerry DeJong，Tom Dietterich，Susan Epstein，Oren Etzioni，Scott Fahlman，Stephanie Forrest，David Haussler，Haym Hirsh，Rob Holte，Leslie Pack Kaelbling，Dennis Kibler，Moshe Koppel，John Koza，Miroslav Kubat，John Lafferty，Ramon Lopez de Mantaras，Sridhar Mahadevan，Stan Matwin，Andrew McCallum，Raymond Mooney，Andrew Moore，Katharina Morik，Steve Muggleton，Michael Pazzani，David Poole，Armand Prieditis，Jim Reggia，Stuart Russell，Lorenza Saitta，Claude Sammut，Jeff Schneider，Jude Shavlik，Devika Subramanian，Michael Swain，Gheorgh Tecuci，Sebastian Thrun，Peter Turney，Paul Utgoff，Manuela Veloso，Alex Waibel，Stefan Wrobel，and Yiming Yang.
我也很感谢各大学的教师和学生们，他们实际测试了本书的很多内容并提出了建议。由于篇幅有限，无法列出这上百名的学生、教师和其他参与测试的人员，但要特别感谢其中一些人，他们的建议和讨论给了我很大帮助：
Shumeet Baluja，Andrew Banas，Andy Barto，Jim Blackson，Justin Boyan，Rich Caruana，Philip Chan，Jonathan Cheyer，Lonnie Chrisman，Dayne Freitag，Geoff Gordon，Warren Greiff，Alexander Harm，Tom Ioerger，Thorsten Joachim，Atsushi Kawamura，Martina Klose，Sven Koenig，Jay Modi，Andrew Ng，Joseph O'Sullivan，Patrawadee Prasangsit，Doina Precup，Bob Price，Choon Quek，Sean Slattery，Belinda Thon，Astro Teller，Will Tracz.
感谢JoanMitchell为本书建了索引；感谢JeanHarpley编辑了很多插图；也感谢来自ETPHarrison的JaneLoftus整理了本书的手稿，并使本书的表达方式有了很大提高；更感谢我的编辑——McGraw-Hill出版社的EricMunson，他在本书出版的整个过程中提供了鼓励和意见。
通常，一个人最该感谢的是他的同事、朋友和家庭。对于我，这种感激之情尤为深切。很难想像有人像我这样在CarnegieMellon拥有如此智者云集的环境和如此鼎力相助的朋友。在这些帮助过我的人当中，我特别感谢SebastianThrun，他在这个项目中自始至终给予我精神鼓励、技术指导等各种支持。感谢我父母一如既往地给我以鼓励，并在恰当时候给我恰当的督促。最后，我要感谢我的家人：Meghan、Shannon和Joan，他们在不知不觉中以各种方式对此书作出了贡献。谨以此书献给他们。
Tom M．Mitchell
曾华军 张银奎 等：暂无简介
“机器学习”一般被定义为一个系统自我改进的过程，但仅仅从这个定义来理解和实现机器学习是困难的。从最初的基于神经元模型以及函数逼近论的方法研究，到以符号演算为基础的规则学习和决策树学习的产生，和之后的认知心理学中归纳、解释、类比等概念的引入，至最新的计算学习理论和统计学习的兴起(当然还包括基于马尔可夫过程的增强学习)，机器学习一直都在相关学科的实践应用中起着主导作用。研究人员们借鉴了各个学科的思想来发展机器学习，但关于机器学习问题的实质究竟是什么尚无定论。不同的机器学习方法也各有优缺点，只在其适用的领域内才有良好的效果。因此，以枚举的方法描述机器学习中的各个理论和算法可能是最合适的途径。
《机器学习》一书正是以这种途径来介绍机器学习的。其主要涵盖了目前机器学习中各种最实用的理论和算法，包括概念学习、决策树、神经网络、贝叶斯学习、基于实例的学习、遗传算法、规则学习、基于解释的学习和增强学习等。对每一个主题，作者不仅进行了十分详尽和直观的解释，还给出了实用的算法流程。此外，书中还包括一章对学习算法的精度进行实验评估的内容。书后的习题和参考文献提供了进一步思考相关问题的线索，在网址http://www-2.cs.cmu.edu/～tom/mlbook.html上也可以找到关于该书的讲演幻灯片、例子程序和数据等信息。在卡内基梅隆等许多大学，本书都被作为机器学习课程的教材。
本书的作者Tom M.Mitchell在机器学习领域享有盛名。他是卡内基梅隆大学的教授，目前在WhizBang!实验室担任副主席和首席科学家。他还是美国人工智能协会(AAAI)的主席，并且是《机器学习》杂志和国际机器学习年度会议(ICML)的创始人。
笔者在翻译过程中力求忠于原著。由于本书涉及了多个学科的内容，因此其中许多的专业术语尽量遵循其所在学科的标准译法，并在有可能引起歧义和冲突之处做了适当调整。同时，我们在专业术语第一次出现的地方注上了英文原文，以方便读者的对照理解。
全书的翻译由曾华军和张银奎合作完成，并得到了周志华、苏中、景风、钱芳、孙晓明、余世鹏、秦文、姚良基和张西烨等同志的许多帮助。由于水平有限，书中错误和不妥之处在所难免，恳请读者批评指正。
出版者的话
专家指导委员会
译者序
前言
第1章引言
1.1学习问题的标准描述
1.2设计一个学习系统
1.2.1选择训练经验
1.2.2选择目标函数
1.2.3选择目标函数的表示
1.2.4选择函数逼近算法
1.2.5最终设计
1.3机器学习的一些观点和问题
1.4如何阅读本书
1.5小结和补充读物
习题
第2章概念学习和一般到特殊序
2.1简介
2.2概念学习任务
2.2.1术语定义
2.2.2归纳学习假设
2.3作为搜索的概念学习
2.4FIND-S：寻找极大特殊假设
2.5变型空间和候选消除算法
2.5.1表示
2.5.2列表后消除算法
2.5.3变型空间的更简洁表示
2.5.4候选消除学习算法
2.5.5算法的举例
2.6关于变型空间和候选消除的说明
2.6.1候选消除算法是否会收敛到正确的假设
2.6.2下一步需要什么样的训练样例
2.6.3怎样使用不完全学习概念
2.7归纳偏置
2.7.1一个有偏的假设空间
2.7.2无偏的学习器
2.7.3无偏学习的无用性
2.8小结和补充读物
习题
第3章决策树学习
3.1简介
3.2决策树表示法
3.3决策树学习的适用问题
3.4基本的决策树学习算法
3.4.1哪个属性是最佳的分类属性
3.4.2举例
3.5决策树学习中的假设空间搜索
3.6决策树学习的归纳偏置
3.6.1限定偏置和优选偏置
3.6.2为什么短的假设优先
3.7决策树学习的常见问题
3.7.1避免过度拟合数据
3.7.2合并连续值属性
3.7.3属性选择的其他度量标准
3.7.4处理缺少属性值的训练样例
3.7.5处理不同代价的属性
3.8小结和补充读物
习题
第4章人工神经网络
4.1简介
4.2神经网络表示
4.3适合神经网络学习的问题
4.4感知器
4.4.1感知器的表征能力
4.4.2感知器训练法则
4.4.3梯度下降和delta法则
4.4.4小结
4.5多层网络和反向传播算法
4.5.1可微阈值单元
4.5.2反向传播算法
4.5.3反向传播法则的推导
4.6反向传播算法的说明
4.6.1收敛性和局部极小值
4.6.2前馈网络的表征能力
4.6.3假设空间搜索和归纳偏置
4.6.4隐藏层表示
4.6.5泛化、过度拟合和停止判据
4.7举例：人脸识别
4.7.1任务
4.7.2设计要素
4.7.3学习到的隐藏层表示
4.8人工神经网络的高级课题
4.8.1其他可选的误差函数
4.8.2其他可选的误差最小化过程
4.8.3递归网络
4.8.4动态修改网络结构
4.9小结和补充读物
习题
第5章评估假设
5.1动机
5.2估计假设精度
5.2.1样本错误率和真实错误率
5.2.2离散值假设的置信区间
5.3采样理论基础
5.3.1错误率估计和二项比例估计
5.3.2二项分布
5.3.3均值和方差
5.3.4估计量、偏差和方差
5.3.5置信区间
5.3.6双侧和单侧边界
5.4推导置信区间的一般方法
5.5两个假设错误率间的差异
5.6学习算法比较
5.6.1配对t测试
5.6.2实际考虑
5.7小结和补充读物
习题
第6章贝叶斯学习
6.1简介
6.2贝叶斯法则
6.3贝叶斯法则和概念学习
6.3.1BRUTE-FORCE贝叶斯概念学习
6.3.2MAP假设和一致学习器
6.4极大似然和最小误差平方假设
6.5用于预测概率的极大似然假设
6.6最小描述长度准则
6.7贝叶斯最优分类器
6.8GIBBS算法
6.9朴素贝叶斯分类器
6.10举例：学习分类文本
6.11贝叶斯信念网
6.11.1条件独立性
6.11.2表示
6.11.3推理
6.11.4学习贝叶斯信念网
6.11.5贝叶斯网的梯度上升训练
6.11.6学习贝叶斯网的结构
6.12EM算法
6.12.1估计k个高斯分布的均值
6.12.2EM算法的一般表述
6.12.3k均值算法的推导
6.13小结和补充读物
习题
第7章计算学习理论
7.1简介
7.2可能学习近似正确假设
7.2.1问题框架
7.2.2假设的错误率
7.2.3PAC可学习性
7.3有限假设空间的样本复杂度
7.3.1不可知学习和不一致假设
7.3.2布尔文字的合取是PAC可学习的
7.3.3其他概念类别的PAC可学习性
7.4无限假设空间的样本复杂度
7.4.1打散一个实例集合
7.4.2Vapnik-Chervonenkis维度
7.4.3样本复杂度和VC维
7.4.4神经网络的VC维
7.5学习的出错界限模型
7.5.1FIND-S算法的出错界限
7.5.2HALVING算法的出错界限
7.5.3最优出错界限
7.5.4加权多数算法
7.6小结和补充读物
习题
第8章基于实例的学习
8.1简介
8.2k-近邻算法
8.2.1距离加权最近邻算法
8.2.2对k-近邻算法的说明
8.2.3术语注解
8.3局部加权回归
8.3.1局部加权线性回归
8.3.2局部加权回归的说明
8.4径向基函数
8.5基于案例的推理
8.6对消极学习和积极学习的评论
8.7小结和补充读物
习题
第9章遗传算法
9.1动机
9.2遗传算法
9.2.1表示假设
9.2.2遗传算子
9.2.3适应度函数和假设选择
9.3举例
9.4假设空间搜索
9.5遗传编程
9.5.1程序表示
9.5.2举例
9.5.3遗传编程说明
9.6进化和学习模型
9.6.1拉马克进化
9.6.2鲍德温效应
9.7并行遗传算法
9.8小结和补充读物
习题
第10章学习规则集合
10.1简介
10.2序列覆盖算法
10.2.1一般到特殊的柱状搜索
10.2.2几种变型
10.3学习规则集：小结
10.4学习一阶规则
10.4.1一阶Horn子句
10.4.2术语
10.5学习一阶规则集：FOIL
10.5.1FOIL中的候选特化式的生成
10.5.2引导FOIL的搜索
10.5.3学习递归规则集
10.5.4FOIL小结
10.6作为逆演绎的归纳
10.7逆归结
10.7.1一阶归结
10.7.2逆归结：一阶情况
10.7.3逆归结小结
10.7.4泛化、θ-包容和涵蕴
10.7.5PROGOL
10.8小结和补充读物
习题
第11章分析学习
11.1简介
11.2用完美的领域理论学习：PROLOG-EBG
11.3对基于解释的学习的说明
11.3.1发现新特征
11.3.2演绎学习
11.3.3基于解释的学习的归纳偏置
11.3.4知识级的学习
11.4搜索控制知识的基于解释的学习
11.5小结和补充读物
习题
第12章归纳和分析学习的结合
12.1动机
12.2学习的归纳-分析途径
12.2.1学习问题
12.2.2假设空间搜索
12.3使用先验知识得到初始假设
12.3.1KBANN算法
12.3.2举例
12.3.3说明
12.4使用先验知识改变搜索目标
12.4.1TANGENTPROP算法
12.4.2举例
12.4.3说明
12.4.4EBNN算法
12.4.5说明
12.5使用先验知识来扩展搜索算子
12.5.1FOCL算法
12.5.2说明
12.6研究现状
12.7小结和补充读物
习题
第13章增强学习
13.1简介
13.2学习任务
13.3Q学习
13.3.1Q函数
13.3.2一个学习Q的算法
13.3.3举例
13.3.4收敛性
13.3.5实验策略
13.3.6更新序列
13.4非确定性回报和动作
13.5时间差分学习
13.6从样例中泛化
13.7与动态规划的联系
13.8小结和补充读物
习题
附录符号约定
