计算机视觉的应用越来越广泛，已经成功的被应用到机器人、自动驾驶、医学成像和诊断、监控、视频分析等领域，甚至已将跟踪用于体育分析中。本书为读者提供了重要的数学和算法工具，使他们能够深入了解任何完整的计算机视觉系统的基本组成部分，并设计出同样的系统。这些内容包括识别局部特征，如在存在噪声情况下角或边的识别、边缘保持下的平滑、连通成分的标记、立体视觉、阈值处理、聚类、分割，以及描述、匹配形状和场景等。
本书使用了各种广泛的例子，包括面部图片、卡通图片、动物脚印和血管造影图片等等。另外，本书每个章节后都留有对应作业和建议实验的项目。
本书可以作为高年级本科生和低年级研究生的参考用书，也可以作为从事计算机视觉技术研究的从业者和科技人员的参考用书。

无

本书主要面向数学、计算机科学或工程专业的高年级本科生或一年级研究生，介绍计算机视觉的基本原理。
本书是故意采用非正式方式进行讲解的。作者试图让学生保持学习兴趣并有动力继续阅读下去。本书以直面学生的方式写作，阅读起来就好像学生和作者一起坐在教室里。作者多用第一人称，很少使用被动语态，偶尔也会讲些笑话，风格比较随意。
书名中的“基础”有两种含义:数学原理和算法概念。书中通过描述计算机视觉问题（例如分割问题），描述一个可以解决这个问题的算法，并解释算法背后的数学原理，将原理和概念结合在一起讲授。
本书中涉及的数学原理包括：
1） 线性算子：通过一系列应用进行讲授，包括
●基本函数：通过边缘检测器进行讲授。
●高斯卷积：通过高斯边缘核的开发进行讲授。
●约束优化：通过寻找最优边缘检测核和主成分分析进行讲授。
●伪逆：通过解释光度立体视觉法进行讲授。
●尺度：通过高斯边缘核的开发进行讲授。
2） 非线性算子：通过数学形态学进行讲授。
3） 采样的影响：通过演示使用小内核来确定方向进行讲授。
4） 优化的使用：通过噪声消除算法、自适应轮廓分割和图割的开发进行讲授。
5） 一致性的使用：通过类似霍夫变换的算法、形状匹配、投影到流形上进行讲授。
6） 投影几何：通过从运动中恢复形状、从x中恢复形状等算法进行讲授。
这些概念层层组织，从像素级的操作（例如噪声消除）开始，接着是边缘检测、分割和形状描述，最终是识别。在每一个层次，学生都会了解到特定术语的含义，相应概念在图像中的应用是怎样的，以及解决应用问题的一种或多种方法。
书中的示例图像都可以下载，使用某一个图像时，会给出图像名称。
本书未包含的内容
统计模式识别和人工神经网络\[0.1\]学科在本书中只是被提及了一下。这是因为这两个学科都足够重要和广泛，自身就足以构成完整的课程。
当前一些活跃的研究主题未在本书中介绍，例如深度学习\[0.3\]，它对于计算机视觉系统的最终成功非常重要，但是该主题更适合于高级课程，适合学生使用本书学完计算机视觉基础之后学习。
在阅读本书之前，建议学生对图像处理\[0.2\]有足够的了解，这样他们就可以了解像素是什么，增强和恢复之间的区别是什么，如何处理颜色或多光谱图像，如何在空间域和频域中择优地进行图像处理和选择不同的滤波方法。
本书对计算机视觉领域进行了广泛的介绍，且强调了许多必要的数学原理。
本书分为四部分:
第一部分涉及生物视觉、数学和软件算法的实现。
第二部分讨论在开始计算机视觉算法之前，需要“清理”图像，以消除噪声和模糊造成的损坏。本部分还涉及卷积等局部区域的操作。
第三部分涉及将图像分割成有意义的区域以及如何表示这些区域。该部分包括区域和场景的匹配。
第四部分描述物体的图像如何与观察世界中的那些物体关联起来。
参考文献

计算机科学及应用

本书内容深刻而清晰，介绍计算机视觉研究所需的各种基础知识。它不仅关注数学基础，而且通过有启发性的具体示例和应用程序展示了所授内容。我相信有远见的学生和研究人员会发现这本书的价值，我也期待从中学习。
——吴天福　北卡罗来纳州立大学

计算机视觉的应用越来越广泛，已经成功地应用到机器人、自动驾驶、医学成像和诊断、监控、视频分析等领域，甚至用于体育分析的跟踪中。本书为读者提供了重要的数学和算法工具，使他们能够深入了解完整的计算机视觉系统的基本组成部分，并设计出同样的系统。书中内容包括识别局部特征，如在存在噪声的情况下角或边的识别、确保边缘平滑、连通分量的标记、立体视觉、阈值处理、聚类、分割，以及描述、匹配形状和场景等。
本书提供了广泛的例子，包括面部图片、卡通图片、动物脚印和血管造影图片等。另外，每章章末都留有作业和建议的项目。
本书可以作为高年级本科生和低年级研究生的教材，也可以作为从事计算机视觉技术研究的从业者和科研人员的参考用书。

计算机视觉是一门综合性很强的学科，无论是在工程领域，还是在科学领域，都是极富挑战性的，已经引起了各个领域研究者的关注。但在多年对“计算机视觉”课程的教学过程中，我发现很难找到一本系统而全面的教材来引导学生理解计算机视觉相关的基础内容。
本书是一本难得的好教材，作者通过实例对计算机视觉系统的基本组成部分进行了深入浅出的介绍，课后还配有相关的作业和小项目帮助学生理解各章内容。因此，本书特别适合作为高年级本科生和低年级研究生计算机视觉课程的入门参考书。
本书的翻译由南京大学计算机科学与技术系的张岩领导项目组部分研究人员共同完成。袁汉青负责第1～5章的初译，朱佩浪负责第6～10章的初译，潘云逸负责第11～13章的初译。张岩、袁汉青和朱佩浪对全书进行了校正，张岩对全书进行了统稿和审核。
由于译者水平有限，书中难免存在纰漏，欢迎广大读者批评指正。读者在阅读过程中如果发现问题，请发送电子邮件告知，以便今后重印时加以订正。

张岩
南京大学计算机科学与技术系
电子邮件：zhangyannju@nju.edu.cn

译者序
前言
致老师
第一部分　导论
第1章　计算机视觉的定义及其历史2
　1.1　简介2
　1.2　定义2
　1.3　局部全局问题3
　1.4　生物视觉4
　　1.4.1　生物动因4
　　1.4.2　视觉感知6
　参考文献7
第2章　编写图像处理程序8
　2.1　简介8
　2.2　图像处理的基本程序结构8
　2.3　良好的编程风格9
　2.4　计算机视觉的重点9
　2.5　图像分析软件工具包10
　2.6　makefile10
　2.7　作业11
　参考文献11
第3章　数学原理回顾12
　3.1　简介12
　3.2　线性代数简要回顾12
　　3.2.1　向量12
　　3.2.2　向量空间14
　　3.2.3　零空间15
　　3.2.4　函数空间16
　　3.2.5　线性变换17
　　3.2.6　导数和导数算子19
　　3.2.7　特征值和特征向量20
　　3.2.8　特征分解21
　　3.2.9　奇异值分解21
　3.3　函数最小化简要回顾23
　　3.3.1　梯度下降23
　　3.3.2　局部最小值和全局最小值26
　　3.3.3　模拟退火27
　3.4　概率论简要回顾28
　3.5　作业30
　参考文献31
第4章　图像：表示和创建32
　4.1　简介32
　4.2　图像表示32
　　4.2.1　标志性表示（图像）32
　　4.2.2　函数表示(方程)34
　　4.2.3　线性表示(向量)34
　　4.2.4　概率表示（随机场）35
　　4.2.5　图形表示（图）35
　　4.2.6　邻接悖论和六边形像素36
　4.3　作为曲面的图像38
　　4.3.1　梯度38
　　4.3.2　等值线38
　　4.3.3　脊39
　4.4　作业39
　参考文献40
第二部分　预处理
第5章　卷积核算子42
　5.1　简介42
　5.2　线性算子42
　5.3　图像的向量表示44
　5.4　导数估计45
　　5.4.1　使用核估计导数46
　　5.4.2　通过函数拟合来估计导数46
　　5.4.3　图像基向量49
　　5.4.4　核作为采样可微分函数50
　　5.4.5　其他高阶导数53
　　5.4.6　尺度简介54
　5.5　边缘检测55
　5.6　尺度空间58
　　5.6.1　金字塔58
　　5.6.2　没有重采样的尺度空间59
　5.7　示例61
　5.8　数字梯度检测器的性能63
　　5.8.1　方向导数63
　　5.8.2　方向估计67
　　5.8.3　讨论70
　5.9　总结71
　5.10　作业71
　参考文献76
第6章　去噪78
　6.1　简介78
　6.2　图像平滑78
　　6.2.1　一维情况79
　　6.2.2　二维情况79
　6.3　使用双边滤波器实现保边平滑82
　6.4　使用扩散方程实现保边平滑84
　　6.4.1　一维空间的扩散方程84
　　6.4.2　PDE模拟85
　　6.4.3　二维空间的扩散方程85
　　6.4.4　可变电导扩散86
　6.5　使用优化实现保边平滑87
　　6.5.1　噪声消除的目标函数87
　　6.5.2　寻找一个先验项90
　　6.5.3　MAP算法实现和均场退火92
　　6.5.4　病态问题和正则化94
　6.6　等效算法95
　6.7　总结97
　6.8　作业97
　参考文献99
第7章　数学形态学101
　7.1　简介101
　7.2　二值形态学101
　　7.2.1　膨胀101
　　7.2.2　腐蚀106
　　7.2.3　膨胀和腐蚀的性质107
　　7.2.4　开运算和闭运算108
　　7.2.5　开运算和闭运算的性质109
　7.3　灰度形态学109
　　7.3.1　使用平面结构元素的灰度图像110
　　7.3.2　使用灰度结构元素的灰度图像113
　　7.3.3　使用集合运算的灰度形态学114
　7.4　距离变换114
　　7.4.1　使用迭代最近邻计算DT115
　　7.4.2　使用二值形态运算计算DT115
　　7.4.3　使用掩码计算DT115
　　7.4.4　使用维诺图计算DT117
　7.5　边缘链接的应用117
　7.6　总结120
　7.7　作业121
　参考文献122
第三部分　图像理解
第8章　分割124
　8.1　简介124
　8.2　阈值：仅基于亮度的分割125
　　8.2.1　阈值的局部性质125
　　8.2.2　通过直方图分析选择阈值126
　　8.2.3　用高斯和拟合直方图129
　　8.2.4　高斯混合模型与期望最大化130
　8.3　聚类：基于颜色相似度的分割132
　　8.3.1　k-均值聚类133
　　8.3.2　均值移位聚类135
　8.4　连接组件：使用区域增长的空间分割136
　　8.4.1　递归方法136
　　8.4.2　迭代方法138
　　8.4.3　示例应用139
　8.5　使用主动轮廓进行分割140
　　8.5.1　snake：离散和连续140
　　8.5.2　水平集：包含边或者不包含边144
　8.6　分水岭：基于亮度曲面的分割151
　8.7　图割：基于图论的分割156
　　8.7.1　目标函数157
　　8.7.2　求解目标函数158
　8.8　使用MFA进行分割159
　8.9　评估分割的质量160
　8.10　总结161
　8.11　作业162
　参考文献163
第9章　参数变换167
　9.1　简介167
　9.2　霍夫变换168
　　9.2.1　垂线问题169
　　9.2.2　如何找到交点——累加器数组169
　　9.2.3　使用梯度降低计算复杂度170
　9.3　寻找圆171
　　9.3.1　由任意三个非共线像素表示的圆的位置推导171
　　9.3.2　当原点未知但半径已知时找圆172
　　9.3.3　利用梯度信息减少找圆的计算172
　9.4　寻找椭圆172
　9.5　广义霍夫变换174
　9.6　寻找峰值175
　9.7　寻找三维形状——高斯图176
　9.8　寻找对应体——立体视觉中的参数一致性177
　9.9　总结179
　9.10　作业179
　参考文献180
第10章　表示法和形状匹配181
　10.1　简介181
　10.2　线性变换182
　　10.2.1　刚体变换182
　　10.2.2　仿射变换183
　　10.2.3　规范和指标184
　10.3　协方差矩阵185
　　10.3.1　K-L扩展的推导186
　　10.3.2　K-L扩展的特性188
　　10.3.3　群190
　10.4　区域特征191
　　10.4.1　简单特征191
　　10.4.2　矩193
　　10.4.3　链码195
　　10.4.4　傅里叶描述符195
　　10.4.5　中轴196
　10.5　匹配特征向量197
　　10.5.1　匹配简单特征197
　　10.5.2　匹配向量197
　　10.5.3　将向量与类匹配198
　10.6　使用边界描述形状199
　　10.6.1　形状矩阵200
　　10.6.2　形状上下文201
　　10.6.3　曲率尺度空间202
　　10.6.4　SKS模型204
　10.7　形状空间中的测地线208
　　10.7.1　二维形状208
　　10.7.2　一个封闭的边界作为向量210
　　10.7.3　向量空间210
　　10.7.4　流形211
　　10.7.5　投影到闭合曲线上的流形212
　　10.7.6　找到一条测地线215
　10.8　总结217
　10.9　作业217
　参考文献219
第11章　场景表示和匹配221
　11.1　简介221
　11.2　匹配的标志性表示221
　　11.2.1　将模板匹配到场景221
　　11.2.2　点匹配222
　　11.2.3　特征图像223
　11.3　兴趣运算225
　　11.3.1　Harris-Laplace运算226
　　11.3.2　SIFT兴趣运算228
　11.4　SIFT231
　　11.4.1　SIFT描述符231
　　11.4.2　使用SIFT描述符匹配邻域231
　11.5　SKS231
　　11.5.1　SKS描述符232
　　11.5.2　使用SKS描述符匹配邻域233
　11.6　方向梯度直方图234
　　11.6.1　方向梯度直方图描述符235
　　11.6.2　匹配方向梯度直方图描述符235
　11.7　图匹配236
　　11.7.1　关联图237
　　11.7.2　松弛标记239
　　11.7.3　弹簧与模板240
　11.8　再论弹簧和模板241
　11.9　可变形模板241
　11.10　总结242
　11.11　作业243
　参考文献246
第四部分　在三维世界中的二维图像
第12章　三维相关250
　12.1　简介250
　12.2　几何相机——两个已知相机的范围（立体视觉）251
　　12.2.1　投影251
　　12.2.2　投影相机252
　　12.2.3　坐标系254
　12.3　从运动中恢复形状——两个未知相机的范围258
　　12.3.1　立体视觉与对应问题258
　　12.3.2　8点算法261
　　12.3.3　寻找相机矩阵262
　　12.3.4　相机矩阵的立体视觉263
　　12.3.5　基本歧义264
　12.4　图像拼接和单应性264
　　12.4.1　视差267
　　12.4.2　匹配几何不变量269
　12.5　控制照明——一个摄像头和一个光源的范围271
　12.6　从x中恢复形状——单个相机的范围273
　　12.6.1　从阴影中恢复形状273
　　12.6.2　使用两个光源的着色形状274
　　12.6.3　表面法线的形状276
　　12.6.4　光度立体视觉法276
　　12.6.5　超过三个光源的光度立体视觉法277
　　12.6.6　从纹理中恢复形状278
　　12.6.7　从焦点中恢复形状278
　12.7　三维空间的曲面279
　　12.7.1　二阶曲面279
　　12.7.2　将二阶曲面拟合到数据280
　　12.7.3　拟合椭圆和椭球体282
　12.8　总结283
　12.9　作业284
　参考文献286
第13章　开发计算机视觉算法290　
参考文献292
附录A　支持向量机293
附录B　如何区分包含核运算符的函数298
附录C　图像文件系统软件300
索引305