本书着重机器机视觉的基本理论和技术，介绍各种智能图像处理与机器视觉技术的相关应用；具备解决智能化检测与识别、控制等应用问题的初步能力，为以后从事模式识别与智能控制、机器人技术、智能制造等领域的研究与开发工作打下扎实的基础。

无

机器视觉是一项综合技术，其内容涉及数字信号处理、机械工程技术、控制与光源照明技术、传感器技术、计算机软件技术和人机接口技术等。典型的机器视觉应用系统包括图像捕捉模块、光源模块、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。因此，机器视觉就是为智能设备安装的“眼睛”。机器视觉系统的鲁棒性、实时性、高速度和高精度是其实用性的重要指标。近年来，计算机的运算速度逐年提高，人们的生活消费方式、生产制造方式有了很大的变化，这给机器视觉应用技术带来了新的需求和挑战。
上海交通大学的“机器视觉与应用”课程开始于2001年，最早是面向该校机械工程学院机械电子工程专业研究生开设的选修课，是作为机器人学配套课程出现的。该课程主要在图像处理的基础上重点介绍机器视觉理论与算法，如图像预处理、立体视觉建模、运动视觉（或称为序列图像分析）、由图像灰度恢复三维物体形状、物体建模与识别方法，以及距离图像分析方法等。本书规避了图像处理涉及的大量数学公式，而是从应用案例入手，帮助读者掌握机器视觉技术并解决实际问题。
20年来，机器视觉应用技术一直在向更深、更高层次发展，特别是2010年以来深度学习解决了图像识别的一系列瓶颈问题，机器视觉应用也从单一视觉检测走向视觉定位、环境建模和对象识别的实用化方向。由于非电类专业出身的工程技术人员迫切希望掌握机器视觉技术并期待能灵活应用该项技术提高机器人和装备的智能化性能，因此，本书在系统地描述机器视觉的基本理论与方法时，重点介绍机器视觉应用系统涉及的新技术、新方法、新器件以及机器视觉的典型应用实例。本书内容包含计算机视觉与机器视觉的基本概念、光源技术、镜头技术、摄像机技术和典型接口技术，以及构成机器视觉系统的标定技术。同时，结合Matlab图像处理工具和OpenCV开源代码平台，绕开了烦琐的公式，介绍了机器视觉涉及的图像处理和模式识别技术。书中的主要应用案例分别来自作者指导过的张昊若、林敏捷、杨理欣几位研究生的学位论文，研究生倪培远和张悦也参与了本书的整理和编辑工作，在此表示感谢！
由于作者的水平有限，书中难免存在不足之处，请大家就如何完善本书提出宝贵意见，我们的联系方式是：qxcao@sjtu.edu.cn。

计算机\人工智能

机器视觉是自动化与机器人领域的一项新兴技术，能让自动化装备具备视觉功能，包括观测、检测和识别功能，从而提高自动化设备的柔性化和智能化水平。
本书重在理论联系实际，介绍图像处理、机器人控制、视觉光源、光学成像、视觉传感、模拟与数字视频技术、机器视觉算法应用以及所涉及的软硬件技术。同时，围绕着机器人测量、抓取和导航定位应用案例和专题实验，系统地介绍当前视觉识别、视觉测量、视觉伺服以及三维重建的新理论和新方法。

作者简介
曹其新　上海交通大学机械与动力工程学院教授，博士生导师。主要研究方向为机器视觉、机器人控制技术。曾发表EI&SCI论文150多篇，获得国家发明专利90多项、国家科技进步二等奖1项、吴文俊人工智能科学技术奖一等奖1项、省部级科技奖项5项。
庄春刚　上海交通大学机械与动力工程学院副研究员，博士生导师。主要研究方向为机器视觉与控制。曾发表EI&SCI论文30多篇，获得国家发明专利10多项、上海市技术发明一等奖1项。

曹其新 庄春刚 等编著：曹其新，上海交通大学机械与动力工程学院教授，博士生导师。主要研究方向为机器视觉、机器人控制技术。曾发表EI&SCI论文150多篇，获得国家发明专利90多项、国家科技进步二等奖1项、吴文俊人工智能科学技术奖一等奖1项、省部级科技奖项5项。
庄春刚，上海交通大学机械与动力工程学院副研究员，博士生导师。主要研究方向为机器视觉与控制。曾发表EI&SCI论文30多篇，获得国家发明专利10多项、上海市技术发明一等奖1项。

前言
第1章绪论1
11机器视觉的发展及系统构成1
111机器视觉的发展1
112机器视觉系统的构成2
12Marr的视觉理论框架4
121视觉系统研究的3个层次4
122视觉信息处理的3个阶段5
13机器视觉任务和机器视觉与其他领域的关系7
131机器视觉任务7
132机器视觉与其他领域的关系8
14参考文献9
第2章成像与图像采集10
21亮度与成像10
211光度学10
212亮度成像模型12
22镜头13
221针孔成像模型13
222镜头畸变16
223远心与景深17
23摄像机19
231CCD传感器19
232CMOS传感器20
233彩色成像22
234摄像机性能28
235深度摄像机30
24摄像机计算机接口31
25参考文献32
第3章图像预处理基础33
31数据结构33
311传统的图像数据结构33
312分层数据结构38
32图像预处理41
321灰度值变换41
322几何变换44
323图像滤波器53
324形态学操作65
33参考文献70
第4章图像分割和特征匹配71
41图像分割71
411阈值分割71
412连通域与边缘提取77
413亚像素精度阈值分割86
414基于区域的分割87
415基于3D图的图像分割98
42特征匹配103
421区域特征103
422几何元素的提取110
423轮廓特征112
424特征检测子115
425特征描述子122
426匹配优化算法125
427模板匹配132
43参考文献136
第5章立体视觉与三维重建140
51立体视觉概述140
52立体视觉的基本原理142
53三维重建146
531摄像机标定146
532机器人手眼标定150
533射影几何152
534多视图重建场景158
535双目摄像机与多目摄像机164
536深度图168
54参考文献169
第6章模式识别算法171
61支持向量机171
62贝叶斯分类器173
63聚类算法175
64神经网络基础177
641感知机与神经网络基础177
642参数学习方法179
643GPU并行技术179
65深度卷积神经网络181
651LeNet182
652GoogLeNet183
653ResNet185
66参考文献187
第7章机器视觉在物体识别与测量中的应用188
71检测物体的特征提取188
711区域特征188
712灰度值特征189
713轮廓特征191
72模式分类与识别191
73机器视觉中形状大小的测量194
731长度测量194
732线段测量196
733面积测量196
734圆测量197
74机器视觉表面缺陷检测198
741印刷检测199
742封装检测200
743锯齿检测201
75参考文献203
第8章视觉伺服的基础205
81视觉伺服控制简介205
82概念说明与标定技术206
821坐标变换与刚体运动206
822摄像机模型与标定208
823手眼标定技术212
83视觉伺服控制理论213
831基于位置的视觉伺服213
832基于图像的视觉伺服215
84应用案例232
85参考文献238
第9章机器视觉从容器中抓取零件的应用240
91散乱零件识别的基本方法240
92抓取操作的机器人技术243
93散乱零件的识别与操作应用246
94参考文献251
第10章机器视觉在无源导航与定位中的应用255
101移动机器人与导航255
102定位与地图构建256
103各类传感器的初始化与预处理263
104即时定位与地图构建272
1041使用鱼眼摄像机的视觉SLAM系统277
1042基于多摄像机系统的视觉SLAM系统277
105参考文献278