本书涵盖了视觉计算的基本概念。为创建、获取、分析和操作视觉数据(如二维图像,三维模型)提供了一个统一的计算和数学处理方法。书中涉及的基本原理包括：卷积、傅里叶变换、滤波器、几何变换、超极几何、三维重建、色彩和图像合成管道。这本书是为一个16周的学期课程而写的，既可以用于本科生和研究生的教学，也可以作为专业人员的参考。

无

本书是我们十多年来教授视觉计算课程的结晶。作为一门新设计的概述性课程，它旨在为学生提供计算机图形学、计算机视觉和图像处理等不同领域的基础知识。当年，这是一门极具前瞻性的课程。如今，它已成为加利福尼亚大学欧文分校计算机图形学、计算机视觉和图像处理领域所有学生的起步课程，而视觉计算方向未来的新教师则可以借助此课程教授这些领域共通的基础知识。这门课程是研究生教学计划中的
核心入门级课程，它让学生在进入计算机图形学、计算机视觉和图像处理中的具体领域之前有机会更广泛地学习相关知识。从2017年秋季学期开始，这门课程也被采纳为我们专业硕士学位的核心课程之一。有趣的是，自从我们在2006年开始注意到来自计算机图形学、计算机视觉和图像处理中的某一个领域的研究人员在其他领域也有突出表现的时候，研究团体也追随了这一发展趋势，进而形成了一个横跨这些不同领域且在这些领域都同样精通的年轻而又活跃的小研究团体。因此，掌握视觉计算通用领域的广泛知识如今被认为是一个强项，能帮助学生轻松投身到大量使用视觉计算通用知识的计算机科学与其他领域的交叉领域。
写作这本书的灵感来自很多教师和其他教育工作者。他们向我们咨询加利福尼亚大学欧文分校的视觉计算课程，在他们自己的学校开设同样的课程，并且向我们索要包含全部相关知识点的标准教材。在写作本书之前，我们做了以下重要尝试：（1）精心挑选视觉计算介绍性课程所需的广泛而又精简的一组知识点，从而使得学生在决定他们所要从事的具体研究方向之前仅需学习一门课程，而非计算机图形学、计算机视觉和图像处理三门不同课程；（2）精心设计每一个知识点的深度，以确保相关知识点在这门课程中能够毫不费力地讲授；（3）精心组织知识点，以便学生能够看到贯穿这些不同领域的共性。基于这些尝试，我们将本书分成了以下五个部分。
第一部分：预备知识。介绍各种不同的视觉数据（如二维图像、视频和三维几何数据），以及计算机图形学、计算机视觉和图像处理领域所需的核心数学技术（如插值和线性回归）。
第二部分：基于图像的视觉计算。介绍处理二维图像的若干基本技术（如卷积、谱分析和特征检测），这些技术对应人类视觉系统中的低层视网膜图像处理。
第三部分：基于几何的视觉计算。介绍用于综合多个视角的几何信息形成我们周围物体和世界的三维信息的基本技术（如变换、投影和对极几何）。这相当于我们大脑中的高层处理技术，能够综合双眼看到的信息以帮助我们在三维世界中活动。
第四部分：基于辐射度的视觉计算。介绍为处理光线与我们周围物体交互过程中产生的信息所需的基本技术。该知识点同时涉及人类视觉系统中与光照相关的低层和高层处理技术（如阴影、反射率、光强和色彩属性等）。
第五部分：视觉内容合成。介绍创建计算机虚拟世界的基本技术，该世界能够模拟前面介绍的所有处理技术。
该书适合一学期时长16周的课程，既可面向本科生，也可面向研究生。建议的教学进度为第一部分两周，第二和第四部分各三周，第三和第五部分各三周半。每章后的习题可用作每周一次或每两周一次的书面作业。上机实践方面，可以为每一部分安排一项编程作业，其内容可以根据学生的专业技术水平从每部分教授的知识点中选择。本书之所以不依赖于某个具体的编程语言或平台，是为了方便教师根据各自所具备的资源及学生的基础情况灵活选择合适的知识点、平台及编程语言。教学评估方面，最好的做法或许是在第六和第十二周分别安排一次中期测试，再在学期末安排一次综合测试。
在时长10周的课程内教完本书内容通常比较困难。有几种方法可以做到。最简单的方法是增加本课程的学分，在每周安排更多的课时。第二种方法是将全书内容进行分解，压缩每学期要教授的内容。比如，视觉计算课程Ⅰ讲解第1~5章、第9和第10章以及第11章的前两节所涉及的低层视觉计算，而视觉计算课程Ⅱ讲解第6~8章、第11章的最后一节以及第12~15章涉及的高层视觉计算与表示。作为一种备选方案，也可以跳过部分章节，在不破坏概念严谨性的情况下形成本课程的一个缩略版。在加利福尼亚大学欧文分校曾经做过这样的尝试，跳过了第8、10、15章以及第14章中除了纹理映射外的大部分内容。具体要保留、缩减和省略哪些内容完全由教师决定。本书在写作时努力降低了各章之间的依赖性，从而确保教师可以独立选取某些章节进行讲解，而无须担心这些章节依赖于其他章节。
我们希望本书中的内容及其突破传统的组织方式能够激励教师设计自己学校的视觉计算课程并使用本书作为教材，也期待看到学生对于学习视觉计算通用领域知识的兴趣日益增加。我们希望使用本书作为教材的教师能给予我们反馈。请毫无顾虑地告诉我们你在使用本书过程中的任何建议，比如希望增加的内容、细节，或者组织结构。
感谢加利福尼亚大学欧文分校的同事对于设计非传统课程的支持，正是因为他们的支持才有了这本书。感谢加利福尼亚大学欧文分校选修视觉计算课程的学生和助教，是他们帮助我们在每一次授课中不断地发展和完善本书的内容。还要感谢我们的学生Nitin Agrawal和Zahra Montazeri，他们帮助设计与制作了本书中的插图。衷心感谢加利福尼亚大学欧文分校的Shuang Zhao教授、英属哥伦比亚大学的Amy和Bruce Gooch教授、英伟达的David Kirk博士、纽约大学的Chee Yap教授和伊利诺伊大学芝加哥分校的Jan Verschelde教授为我们提供书中有关物理建模、非真实感渲染、几何压缩和GPU架构等的图片。

Aditi Majumder
M. Gopi

计算机\图形图像

本书是视觉计算的入门教材，在加利福尼亚大学欧文分校历经十多年的教学实践，引领了计算机图形学、计算机视觉和图像处理方向的新教学思路。在学生确定具体研究方向之前，只需学习一门课程而非三门课程，为日后深入单一或交叉领域的研究打下广泛的基础。
全书从数学基础，到基于图像、几何和辐射度的视觉计算，再到视觉内容的合成，涵盖人类视觉系统从低层到高层的处理过程。所有知识点都经过精心挑选，并仔细设计每个知识点的深度及组织顺序，既呈现了不同方向共通的基础知识，又不会给新手造成学习负担。此外，本书各章相对独立，且不依赖于具体的编程语言或平台，便于教师灵活选择内容展开教学。

作者简介
阿娣提·玛珠德（Aditi Majumder）　加利福尼亚大学欧文分校计算机科学系教授。她的研究集中在计算机图形学、计算机视觉和图像处理的结合上，包括虚拟现实和增强现实以及人机交互。
M. 戈皮（M. Gopi）　加利福尼亚大学欧文分校计算机科学系教授，信息与计算机科学Bren学院副院长。他的研究兴趣包括计算机图形学中的几何与拓扑，面向交互式渲染的海量几何数据管理，以及生物医学传感器、数据处理和可视化。
译者简介
赵启军　 四川大学计算机学院教授，研究方向为计算机视觉、模式识别、图像处理、生物特征识别。

[美] 阿娣提·玛珠德（Aditi Majumder） M. 戈皮（M. Gopi） 著：---作者简介---
阿娣提·玛珠德（Aditi Majumder） 加利福尼亚大学欧文分校计算机科学系教授。她的研究集中在计算机图形学、计算机视觉和图像处理的结合上，包括虚拟现实和增强现实以及人机交互。

M. 戈皮（M. Gopi） 加利福尼亚大学欧文分校计算机科学系教授，信息与计算机科学Bren学院副院长。他的研究兴趣包括计算机图形学中的几何与拓扑，面向交互式渲染的海量几何数据管理，以及生物医学传感器、数据处理和可视化。

---译者简介---
赵启军 四川大学计算机学院副教授，研究方向为计算机视觉、模式识别、图像处理、生物特征识别。

人类获取的信息80%以上来自视觉，这使得对视觉以及利用计算机实现视觉认知的研究成为通向人工智能的关键之一。相关研究进一步促进了计算机图形学、图像处理、计算机视觉等多个学科间越来越广泛的交叉。为了更一般化地描述这种交叉领域，“视觉计算”应运而生。
视觉计算是一个相当大的领域，其包含的很多子领域都与视觉的计算有关。视觉计算处理所有与计算机视觉有关的东西——从硬件到每个像素颜色背后的数学方程。本书作者的研究涉及了计算机图形学、视觉、可视化和人机交互等多个交叉领域。作者根据多年的研究与教学经验，总结出各子领域中较为通用且基础的技术。因而，此书作为一门概括性的教材，可以为诸如计算机图形学、计算机视觉等不同领域的学生提供足够宽广的入门知识。
作为一本视觉计算的入门级教材，本书精心挑选了足够广泛的一组知识点，并精心设计每一个知识点的难度和深度，以确保读者可以不费力地学习所有相关知识点，帮助读者在进入计算机图形学、计算机视觉和图像处理中的具体领域之前学习更多的相关知识。本书并不依赖于某一个具体的编程语言或平台，且作者在写作过程中努力降低各章之间的依赖性，因而教师可以完全依照自己的教学习惯或教学计划灵活使用本教材。
本书包括五部分内容。第一部分是预备知识，主要介绍了一些视觉相关的数据以及核心数学技术。第二部分介绍了处理二维图像的相关技术，依次为卷积、谱分析和特征检测。这些基于图像的视觉计算技术与人类视觉系统中底层视网膜的图像处理过程相似。
我们生活在三维空间中，视觉计算自然不会仅仅停留在二维图像上。因而，第三部分主要介绍三维世界中的几何成像原理，讨论了用于综合多个视角的几何信息形成我们周围物体和世界的三维信息的基本技术。
第四部分主要介绍了处理光线与物体交互过程中产生的信息所需要的基本技术，即基于辐射度的视觉计算。该部分知识点同时涉及人类视觉系统中与光照相关的低层和高层处理技术。
在讲解了之前所有的处理技术后，第五部分依次介绍了多样化域、交互式图形流程、真实感与性能以及图形编程，为读者展示了用计算机模拟世界的基本技术和流程。
在本书翻译过程中，赵启军负责全书文字部分的翻译，涂欢、梁洁负责处理书中所有插图以及校对全书的译稿。黄婕、刘宁帮助誊写了公式，赵启军的研究生还阅读了本书译稿并提出了一些有益的修改建议，在此对他们的辛勤劳动表示感谢。限于译者水平，书中不当之处在所难免，敬请读者批评指正。

出版者的话
译者序
前言
作者简介
第一部分预备知识
第1章数据
11可视化
12离散化
121采样
122量化
13表示
14噪声
15本章小结
参考文献
习题
第2章技术
21插值
211线性插值
212双线性插值
22几何相交
23本章小结
参考文献
习题
第二部分基于图像的视觉计算
第3章卷积
31线性系统
311线性系统的响应
312卷积的性质
32线性滤波器
321全通、低通、带通和高通滤波器
322设计新滤波器
323二维滤波器的可分性
324相关和模式匹配
33实现细节
34本章小结
参考文献
习题
第4章谱分析
41离散傅里叶变换
42极坐标
421性质
422信号分析示例
43频域的周期性
44混叠
45推广到二维插值
451周期性的影响
452陷波器
453混叠效应示例
46对偶性
47本章小结
参考文献
习题
第5章特征检测
51边缘检测
511边缘子检测器
512多分辨率边缘检测
513边缘子聚合
52特征检测
53其他非线性滤波器
54本章小结
参考文献
习题
第三部分基于几何的视觉计算
第6章几何变换
61齐次坐标
62线性变换
63欧氏和仿射变换
631平移
632旋转
633缩放
634剪切
635一些现象
64变换的串联
641相对于中心点的缩放
642相对于任意轴的旋转
65坐标系
66串联的性质
67透视变换
68自由度
69非线性变换
610本章小结
参考文献
习题
第7章针孔相机
71针孔相机模型
711相机标定
712三维深度估计
713单应性
72实际相机的一些考虑
73本章小结
参考文献
习题
第8章对极几何
81背景
82多视几何中的匹配
83基础矩阵
831性质
832基础矩阵的估计
833仿前置双眼的相机设置
84本质矩阵
85整流
86应用对极几何
861根据视差恢复深度
862根据光流恢复深度
87本章小结
参考文献
习题
第四部分基于辐射度的视觉计算
第9章光照
91辐射度学
911双向反射分布函数
912光传播方程
92光度学与色彩
921CIE XYZ色彩空间
922CIE XYZ空间的认知结构
923认知一致色彩空间
93本章小结
参考文献
习题
第10章色彩还原
101加性色彩混合的建模
1011设备的色域
1012色调映射算子
1013强度分辨率
1014显示器示例
102色彩管理
1021色域变换
1022色域匹配
103减性色彩混合的建模
104局限性
1041高动态范围成像
1042多光谱成像
105本章小结
参考文献
习题
第11章光度处理
111直方图处理
112图像融合
1121图像混合
1122图像割
113光度立体视觉
1131阴影处理
1132光照方向计算
1133色彩处理
114本章小结
参考文献
习题
第五部分视觉内容合成
第12章多样化域
121建模
122处理
123渲染
124应用
125本章小结
参考文献
第13章交互式图形流程
131顶点的几何变换
1311模型变换
1312视图变换
1313透视投影变换
1314遮挡处理
1315窗口坐标变换
1316最终变换
132裁剪和属性的顶点插值
133光栅化和属性的像素插值
134本章小结
参考文献
习题
第14章真实感与性能
141光照
142着色
143阴影
144纹理贴图
1441纹理至对象空间映射
1442对象至屏幕空间映射
1443分级细化贴图
145凹凸贴图
146环境贴图
147透明度
148累积缓存
149背面剔除
1410可见性剔除
14101包围体
14102空间细分
14103其他用途
1411本章小结
参考文献
习题
第15章图形编程
151图形处理单元的发展
152图形API和程序库的发展
153现代GPU和CUDA
1531GPU架构
1532CUDA编程模型
1533CUDA存储模型
154本章小结
参考文献