本书是数字视频处理的权威图书，深入阐述数字图像与视频处理技术。第2版更新了近80%的体系机构和内容，全书章节调整为全新的8章，包括图像滤波、运动估计、视频分割、视频滤波、图像压缩和视频压缩等，尤其体现了在信号处理和计算机视觉的重要进展，以及3D、超高分辨率的视频和数字电影的最新应用。

多年来，《Digital Video Processing》都是无数工科学生和专业人士深入学习数字图像和视频处理技术的权威指南。在《Digital Video Processing》第2版中，作者对图像处理、计算机视觉、视频压缩等领域的重大发展进行了探讨，也对诸如数字电影、超高分辨率视频、3D视频等新应用进行介绍。
全书内容详尽、组织均衡、论述严谨，全面覆盖了图像滤波、运动估计、跟踪、分割、视频滤波和压缩等诸多方向。书中对各章节的习题都进行了更新，并加入了新的MATLAB项目，已使本书成为一本全新的教材。

内容包括
多维信号与系统：转换、采样、格式转换。
数字图像和视频：人类视觉、数字视频、视频质量。
图像滤波：梯度估计，边缘检测，尺度缩放，多分辨率表示、增强、去噪、复原。
运动估计：成像，运动模型，有差分法、匹配法、优化法、变换域方法，3D运动与形状估计。
视频分割与跟踪：色彩与运动分割、变化检测、镜头边界检测、视频抠图、视频跟踪与性能评估。
视频滤波：运动补偿滤波，多帧标准转换，多帧噪声过滤、复原，超分辨率重建。
图像压缩： JPEG、小波、JPEG 2000。
视频压缩：早期标准、ITU-T H.264/ MPEG-4 AVC、HEVC、可扩展视频压缩、立体视觉和多视图法。

作者简介
A. 缪拉·泰卡尔普（A. Murat Tekalp）?是Koc大学教授、IEEE会士、欧洲学术研究院和土耳其科学院的院士。他是《Proceeding of the IEEE》的编委会成员和ICT的欧洲委员会国际专家，曾在美国罗切斯特大学（纽约）任教18年，并成为杰出教授。2004年，他获得了土耳其最高科学奖：TUBIAK科学奖。泰卡尔普博士曾担任IEEE图像与多维信号处理技术委员会的主席，也是IEEE多媒体信号处理技术委员会的创始成员，还曾担任欧洲信号处理协会（EURASIP）的《Signal Processing: Image Communication》杂志（由Elsevier出版）的主编。有美国伦斯勒理工学院的电气、计算机和系统工程学科领域博士学位。

本书于1995年出版了第1版，是一本全面介绍数字视频处理的教材。其中根据视频处理领域的重要论题分成了25章，在一个学期的课程中，每章可以用一到两次课进行讲授。那个时期的数字视频技术和视频处理算法还不太成熟，数码摄像机和DVD刚刚商业化，数字电视标准正在制定，而数字电影则还没有纳入议程。因此，与当今的技术水平相比，第1版提到的一些方法/算法和技术已经过时，比如像素级递归的运动估计、矢量量化、不规则形状压缩、基于模型的编码等已不再先进，还有一些诸如模拟视频/电视和128K可视电话等技术则已经淘汰了；同时近20年来此领域的重大进展显然也无法体现出来。
第1版出版至今已有20多年了，在当今这个数字化时代，数字视频已广泛应用于我们的日常生活。信号处理与计算机视觉领域的重大发展促进了视频处理算法的不断成熟，能够应用于不同用途的最常用又有效的算法与技术也更加清晰。因此，现在是本书推出新版的最好时机。本书围绕图像与视频处理的最新发展进行了精心编排，力图成为一本内容全面、结构严谨的教材。
第2版大幅度改进了内容与表述的组织方式，包含当今最先进的技术、最有效的算法和最新的知识。全书共分8章，每章对应一个主题，分别是多维信号与系统、数字图像和视频、图像滤波、运动估计、视频分割与跟踪、视频滤波、图像压缩、视频压缩等，每个主题侧重介绍最有效的技术。与第1版相比，本版不是简单的内容增补，而是一次全新的改写。
本书可作为高年级本科生或研究生的数字图像与视频处理课程的教材，要求读者预先掌握微积分、线性代数、概率论和一些基本的数字信号处理概念。具有计算机科学背景但不熟悉信号处理基本概念的读者可以跳过第1章，从第2章开始学习。尽管本书表述严谨，但仍然像一般教材一样从原理开始讲起，因此也可以用作产业界或学术界的工程师和研究人员自学的参考书。本书可帮助读者理解图像和视频处理方法的理论基础；学习用最常用、最有效的算法解决常见的图像与视频处理问题；通过每章最后的习题集和MATLAB项目，可加深对知识的理解和方法的掌握。
数字视频处理就是对数字视频比特流的各种操作。所有的数字视频应用都离不开压缩。此外，为了获得高质量图像或提取特定信息，数字视频应用也离不开广泛应用于格式转换、增强、复原、超分辨率重建等场合的滤波处理；有些应用还需要用到其他的处理，以实现运动估计、视频分割和3D场景分析。视频的帧与帧之间存在着大量的时间相关性（冗余），这使得视频处理不同于静态图像处理。可以将视频看成是静态图像序列，并逐帧独立处理；但若采用基于帧间相关性的多帧联合处理技术，我们能够开发出更有效的视频处理算法，例如运动补偿滤波和预测。此外，某些任务，比如运动估计或动态场景分析，显然是无法基于单个图像来进行的。
本书的目的是为读者提供图像（单帧）和视频（多帧）处理方法的数学基础。特别是，本书还回答了以下基本问题：
如何从噪声中分离出图像（信号）？
内插、复原和超分辨率重建之间是否有内在的联系？
对于不同的应用，该如何估计2D和3D运动？
如何将图像和视频分割成感兴趣的区域？
如何跟踪视频中的对象？
与图像滤波相比，视频滤波问题是否更趋向于适定？
超分辨率重建为何能够实现？
能否从视频片段中得到高质量的静态图像？
图像和视频压缩为什么能够实现？
如何压缩图像和视频？
图像/视频压缩的最新国际标准是什么？
3D视频表现和压缩的最新标准是什么？
图像和视频处理问题大都是病态的（欠定的和/或对噪声敏感的），并且它们的解都依赖于某些图像和视频模型。在附录A中讨论了用于病态问题解的图像建模方法。实际上，图像模型可以分成基于局部平滑的、基于变换域稀疏的和基于非局部自相似的等种类。
图像处理算法大都使用了以上模型中的一种或多种。此外，视频模型还包括基于全局平移或块运动、参数化运动、运动（空间上）的平滑性、时域运动单调性（时域连续或平滑）、3D空–时频域的平面支撑等种类。
各章概述如下：
第1章回顾了多维信号、变换和系统的基础知识，它们是许多图像和视频处理方法的理论基础。我们还介绍了空–时采样的体制（如逐行和隔行采样），以及采样格式转换理论。读者如果具有计算机科学背景而只是不熟悉信号处理概念，则可以跳过本章，直接从第2章开始学习。
第2章给出了数字图像与视频的基础知识，主要内容包括人类视觉、空间频率、彩色模型、模拟和多视角视频表示、数字视频质量评估等基本概念，以及一些常见的数字视频应用，如数字电视、数字电影和互联网视频流等。
第3章介绍图像（静止帧）滤波类问题，比如图像重采样（抽取与内插）、梯度估计与边缘检测、增强、去噪、复原等。还介绍了线性移不变滤波器、自适应滤波器和非线性滤波器。附录A中给出了求解病态逆问题的一般性框架。
第4章介绍2D和3D的运动估计方法。运动估计是数字视频处理的核心，因为运动是视频的显著特征，并且运动补偿滤波是利用时间冗余的最有效的方法。再者，许多计算机视觉工作的第一步都是2D或3D的运动估计与跟踪。2D运动估计一般分为稠密光流估计或稀疏特征对应估计两类，可以基于参数法和非参数法来实现。非参数法包括基于图像梯度的光流估计法、块匹配法、像素递归法、贝叶斯法和相位相关法。基于仿射模型或单应性的参数法可以用于图像配准或局部变形估计。3D运动/结构估计法一般都基于双帧极线约束法（主要是针对立体对的）或多帧因子分解法。欧氏3D结构重建需要对所有相机进行标定，而投影重建法则可以无需标定。
第5章介绍图像分割和变化检测，以及基于参数聚类法和贝叶斯法的主要运动或复杂运动分割。我们还讨论了运动估计与分割的同时实现问题。因为双视角运动估计技术对于图像梯度或对应点的估计精度很敏感，而对于单视角长序列对，其分割对象的运动跟踪结果更鲁棒，所以我们也对它们进行了相关讨论。
第6章介绍视频滤波，包括标准转换、去噪和超分辨率重建等内容。首先介绍了运动补偿滤波的基本原理，随后介绍了标准转换问题，包括帧速转换和去隔行等。视频帧的画面中经常存在颗粒，尤其在静止帧模式下观看时更加严重。为此，讨论了用于噪声抑制的运动自适应和运动补偿滤波。最后介绍了一种统一各种视频滤波问题的综合模型，可用于低分辨率视频获取和超分辨率重建。
第7章介绍包括二值图像（传真）和灰度图像在内的静态图像压缩方法与标准，如JPEG和JPEG 2000等。还特别讨论了有损的离散余弦变换编码和小波变换编码等方法。
第8章讨论视频压缩方法和标准，它们是实现数字电视、数字电影等数字视频应用的基础。在简要介绍视频压缩的不同方法后，详细描述MPEG-2、AVC/H.264和HEVC等标准，以及这些标准在可伸缩视频编码和立体/多视角视频编码方面的扩展。
本教材是近20多年来我在数字图像与视频处理领域的教学结晶。本书内容丰富、组织严谨，全面覆盖了图像滤波、运动估计与跟踪、图像/视频分割、视频滤波、图像/视频压缩等方面的基本原理和最新成就。然而，一本教材无法覆盖数字视频处理和计算机视觉领域所有的最新成就，因此本书只对最基本、最常用的技术和算法加以详解，而对更多的先进算法和最新研究成果只进行简介，并提供用于自学的参考文献。每章最后都包含问题集和MATLAB项目，以便读者对所学到的方法进行练习。
教师可以通过申请获得教学资料。根据各校的课时安排可在一个学期的数字图像与视频处理课程中讲完本书的全部内容。另一种方式是将本书内容分到两个学期中，这样就有更多的时间对每个主题的细节进行探讨：第一学期可以开设数字图像处理课程，讲解第1～3章、第7章的内容；第二学期后续开设数字视频处理课程，讲解第4～6章、第8章的内容。
显然，本书是信号处理和计算机科学相关组织研究成果的荟萃。每章都有很多引用并列出了相关参考文献，但肯定无法涵盖图像与视频领域科研与工业部门杰出研究者的所有成就。此外，对 ISO和ITU组织中各位科学家经多年工作取得的图像与视频编码的显著成果，在这里也难以一一致意。
最后，衷心感谢Xin Li （美国西弗吉尼亚大学，WVU）、 Eli Saber、Moncef Gabbouj、 Janusz Konrad和H.Joel Trussell在本书成稿过程中的贡献。同时感谢Prentice Hall出版社的Bernard Goodwin、 Kim Boedigheimer和 Julie Nahil的帮助与支持。

—A. Murat Tekalp
于土耳其，伊斯坦布尔，Koc大学

数字视频

多年来，《Digital Video Processing》都是无数工科学生和专业人士深入学习数字图像和视频处理技术的权威指南。在《Digital Video Processing》第2版中，作者对图像处理、计算机视觉、视频压缩等领域的重大发展进行了探讨，也对诸如数字电影、超高分辨率视频、3D视频等新应用进行介绍。
　　全书内容详尽、组织均衡、论述严谨，全面覆盖了图像滤波、运动估计、跟踪、分割、视频滤波和压缩等诸多方向。书中对各章节的习题都进行了更新，并加入了新的MATLAB项目，已使本书成为一本全新的教材。
内容包括：
·多维信号与系统：转换、采样、格式转换。
·数字图像和视频：人类视觉、数字视频、视频质量。
·图像滤波：梯度估计、边缘检测、尺度缩放、多分辨率表示、增强、去噪、复原。
·运动估计：成像，运动模型，有差分法、匹配法、优化法、变换域方法，3D运动与形状估计。
·视频分割与跟踪：色彩与运动分割、变化检测、镜头边界检测、视频抠图、视频跟踪与性能评估。
·视频滤波：运动补偿滤波、多帧标准转换、多帧噪声过滤、复原、超分辨率重建。
·图像压缩： JPEG、小波、JPEG 2000。
·视频压缩：早期标准、ITU-T H.264/ MPEG-4 AVC、HEVC、可扩展视频压缩、立体视觉和多视图法。

[土耳其]A.缪拉·泰卡尔普（A. Murat Tekalp）著：A.缪拉·泰卡尔普（A.Murat Tekalp）博士是Koc大学教授、IEEE会士、欧洲学术研究院和土耳其科学院的院士。他是《Proceeding of the IEEE》的编委会成员和ICT的欧洲委员会国际专家。曾在罗切斯特大学（纽约）任教18年，并成为杰出教授。2004年，他获得了土耳其最高科学奖：TUBIAK科学奖。Tekalp博士曾担任IEEE图像与多维信号处理技术委员会的主席，也是IEEE多媒体信号处理技术委员会的创始成员，还曾担任欧洲信号处理协会（EURASIP）的《Signal Processing: Image Communication》杂志（由Elsevier出版）的主编。有美国伦斯勒理工学院的电气、计算机和系统工程学科领域博士学位。

Contents
1 Multi-Dimensional Signals and Systems 1
1.1 Multi-Dimensional Signals 2
1.1.1 Finite-Extent Signals and Periodic Signals 2
1.1.2 Symmetric Signals 5
1.1.3 Special Multi-Dimensional Signals 5
1.2 Multi-Dimensional Transforms 8
1.2.1 Fourier Transform of Continuous Signals 8
1.2.2 Fourier Transform of Discrete Signals 12
1.2.3 Discrete Fourier Transform (DFT) 14
1.2.4 Discrete Cosine Transform (DCT) 18
1.3 Multi-Dimensional Systems 20
1.3.1 Impulse Response and 2D Convolution 20
1.3.2 Frequency Response 23
1.3.3 FIR Filters and Symmetry 25
1.3.4 IIR Filters and Partial Difference Equations 27
1.4 Multi-Dimensional Sampling Theory 30
1.4.1 Sampling on a Lattice 30
1.4.2 Spectrum of Signals Sampled on a Lattice 34
1.4.3 Nyquist Criterion for Sampling on a Lattice 36
1.4.4 Reconstruction from Samples on a Lattice 41
1.5 Sampling Structure Conversion 42
References 47
Exercises 48
Problem Set 1 48
MATLAB Exercises 50
2 Digital Images and Video 53
2.1 Human Visual System and Color 54
2.1.1 Color Vision and Models 54
2.1.2 Contrast Sensitivity 57
2.1.3 Spatio-Temporal Frequency Response 59
2.1.4 Stereo/Depth Perception 62
2.2 Digital Video 63
2.2.1 Spatial Resolution and Frame Rate 64
2.2.2 Color, Dynamic Range, and Bit-Depth 65
2.2.3 Color Image Processing 67
2.2.4 Digital-Video Standards 70
2.3 3D Video 75
2.3.1 3D-Display Technologies 75
2.3.2 Stereoscopic Video 79
2.3.3 Multi-View Video 79
2.4 Digital-Video Applications 81
2.4.1 Digital TV 81
2.4.2 Digital Cinema 85
2.4.3 Video Streaming over the Internet 88
2.4.4 Computer Vision and Scene/Activity Understanding 91
2.5 Image and Video Quality 92
2.5.1 Visual Artifacts 92
2.5.2 Subjective Quality Assessment 93
2.5.3 Objective Quality Assessment 94
References 96
Image Filtering 101
3.1 Image Smoothing 102
3.1.1 Linear Shift-Invariant Low-Pass Filtering 102
3.1.2 Bi-Lateral Filtering 105
3.2 Image Re-Sampling and Multi-Resolution Representations 106
3.2.1 Image Decimation 107
3.2.2 Interpolation 109
3.2.3 Multi-Resolution Pyramid Representations 116
3.2.4 Wavelet Representations 117
3.3 Image-Gradient Estimation, Edge and Feature Detection 123
3.3.1 Estimation of the Image Gradient 124
3.3.2 Estimation of the Laplacian 128
3.3.3 Canny Edge Detection 130
3.3.4 Harris Corner Detection 131
3.4 Image Enhancement 133
3.4.1 Pixel-Based Contrast Enhancement 133
3.4.2 Spatial Filtering for Tone Mapping and Image Sharpening 138
3.5 Image Denoising 143
3.5.1 Image and Noise Models 144
3.5.2 Linear Space-Invariant Filters in the DFT Domain 146
3.5.3 Local Adaptive Filtering 149
3.5.4　Nonlinear Filtering: Order-Statistics, Wavelet Shrinkage,　and Bi-Lateral Filtering 154
3.5.5 Non-Local Filtering: NL-Means and BM3D 158
3.6 Image Restoration 160
3.6.1 Blur Models 161
3.6.2　Restoration of Images Degraded by Linear Space-Invariant Blurs 165
3.6.3 Blind Restoration – Blur Identification 171
3.6.4 Restoration of Images Degraded by Space-Varying Blurs 173
3.6.5 Image In-Painting 176
References 177
Exercises 182
Problem Set 3 182
MATLAB Exercises 185
MATLAB Resources 189
4 Motion Estimation 191
4.1 Image Formation 192
4.1.1 Camera Models 192
4.1.2 Photometric Effects of 3D Motion 197
4.2 Motion Models 198
4.2.1 Projected Motion vs. Apparent Motion 199
4.2.2 Projected 3D Rigid-Motion Models 203
4.2.3 2D Apparent-Motion Models 206
4.3 2D Apparent-Motion Estimation 210
4.3.1　Sparse Correspondence, Optical-Flow Estimation, and　Image-Registration Problems 210
4.3.2 Optical-Flow Equation and Normal Flow 213
4.3.3 Displaced-Frame Difference 215
4.3.4　Motion Estimation is Ill-Posed: Occlusion and Aperture Problems 216
4.3.5 Hierarchical Motion Estimation 219
4.3.6 Performance Measures for Motion Estimation 220
4.4 Differential Methods 221
4.4.1 Lukas–Kanade Method 221
4.4.2 Horn–Schunk Motion Estimation 226
4.5 Matching Methods 229
4.5.1 Basic Block-Matching 230
4.5.2 Variable-Size Block-Matching 234
4.5.3 Hierarchical Block-Matching 236
4.5.4 Generalized Block-Matching – Local Deformable Motion 237
4.5.5 Homography Estimation from Feature Correspondences 239
4.6 Nonlinear Optimization Methods 241
4.6.1 Pel-Recursive Motion Estimation 241
4.6.2 Bayesian Motion Estimation 243
4.7 Transform-Domain Methods 245
4.7.1 Phase-Correlation Method 245
4.7.2 Space-Frequency Spectral Methods 247
4.8 3D Motion and Structure Estimation 247
4.8.1 Camera Calibration 248
4.8.2 Affine Reconstruction 249
4.8.3 Projective Reconstruction 251
4.8.4 Euclidean Reconstruction 256
4.8.5　Planar-Parallax and Relative Affine Structure　Reconstruction 257
4.8.6 Dense Structure from Stereo 259
References 259
Exercises 264
Problem Set 4 264
MATLAB Exercises 266
MATLAB Resources 268
5 Video Segmentation and Tracking 269
5.1 Image Segmentation 271
5.1.1 Thresholding 271
5.1.2 Clustering 273
5.1.3 Bayesian Methods 277
5.1.4 Graph-Based Methods 281
5.1.5 Active-Contour Models 283
5.2 Change Detection 285
5.2.1 Shot-Boundary Detection 285
5.2.2 Background Subtraction 287
5.3 Motion Segmentation 294
5.3.1 Dominant-Motion Segmentation 295
5.3.2 Multiple-Motion Segmentation 298
5.3.3　Region-Based Motion Segmentation: Fusion of Color and Motion 307
5.3.4 Simultaneous Motion Estimation and Segmentation 309
5.4 Motion Tracking 313
5.4.1 Graph-Based Spatio-Temporal Segmentation and Tracking 315
5.4.2 Kanade–Lucas–Tomasi Tracking 315
5.4.3 Mean-Shift Tracking 317
5.4.4 Particle-Filter Tracking 319
5.4.5 Active-Contour Tracking 321
5.4.6 2D-Mesh Tracking 323
5.5 Image and Video Matting 324
5.6 Performance Evaluation 326
References 327
MATLAB Exercises 334
Internet Resources 335
6 Video Filtering 337
6.1 Theory of Spatio-Temporal Filtering 338
6.1.1 Frequency Spectrum of Video 338
6.1.2 Motion-Adaptive Filtering 341
6.1.3 Motion-Compensated Filtering 341
6.2 Video-Format Conversion 345
6.2.1 Down-Conversion 347
6.2.2 De-Interlacing 351
6.2.3 Frame-Rate Conversion 357
6.3 Multi-Frame Noise Filtering 363
6.3.1 Motion-Adaptive Noise Filtering 363
6.3.2 Motion-Compensated Noise Filtering 365
6.4 Multi-Frame Restoration 370
6.4.1 Multi-Frame Modeling 371
6.4.2 Multi-Frame Wiener Restoration 371
6.5 Multi-Frame Super-Resolution 373
6.5.1 What Is Super-Resolution 374
6.5.2 Modeling Low-Resolution Sampling 377
6.5.3 Super-Resolution in the Frequency Domain 382
6.5.4 Multi-Frame Spatial-Domain Methods 385
References 390
Exercises 395
Problem Set 6 395
MATLAB Exercises 396
7 Image Compression 397
7.1 Basics of Image Compression 398
7.1.1 Information Theoretic Concepts 398
7.1.2 Elements of Image-Compression Systems 401
7.1.3 Quantization 402
7.1.4 Symbol Coding 405
7.1.5 Huffman Coding 406
7.1.6 Arithmetic Coding 410
7.2 Discrete-Cosine Transform Coding and JPEG 413
7.2.1 Discrete-Cosine Transform 414
7.2.2 ISO JPEG Standard 416
7.2.3 Encoder Control and Compression Artifacts 423
7.3 Wavelet-Transform Coding and JPEG 2000 424
7.3.1 Wavelet Transform and Choice of Filters 425
7.3.2 ISO JPEG 2000 Standard 429
References 435
Exercises 437
Internet Resources 440
8 Video Compression 441
8.1 Video-Compression Approaches 442
8.1.1　Intra-Frame Compression, Motion JPEG 2000, and　Digital Cinema 442
8.1.2 3D-Transform Coding 443
8.1.3 Motion-Compensated Transform Coding 446
8.2 Early Video-Compression Standards 447
8.2.1 ISO and ITU Standards 447
8.2.2 MPEG-1 Standard 448
8.2.3 MPEG-2 Standard 456
8.3 MPEG-4 AVC/ITU-T H.264 Standard 463
8.3.1 Input-Video Formats and Data Structure 464
8.3.2 Intra-Prediction 465
8.3.3 Motion Compensation 466
8.3.4 Transform 468
8.3.5 Other Tools and Improvements 469
8.4 High-Efficiency Video-Coding (HEVC) Standard 471
8.4.1 Video-Input Format and Data Structure 471
8.4.2 Coding-Tree Units 472
8.4.3 Tools for Parallel Encoding/Decoding 473
8.4.4 Other Tools and Improvements 475
8.5 Scalable-Video Compression 477
8.5.1 Temporal Scalability 478
8.5.2 Spatial Scalability 479
8.5.3 Quality (SNR) Scalability 480
8.5.4 Hybrid Scalability 482
8.6 Stereo and Multi-View Video Compression 482
8.6.1 Frame-Compatible Stereo-Video Compression 483
8.6.2　Stereo and Multi-View Video-Coding Extensions of　the H.264/AVC Standard 484
8.6.3 Multi-View Video Plus Depth Compression 487
References 492
Exercises 494
Internet Resources 495
A Ill-Posed Problems in Image and Video Processing 497
A.1 Image Representations 497
A.1.1 Deterministic Framework – Function/Vector Spaces 497
A.1.2 Bayesian Framework – Random Fields 498
A.2 Overview of Image Models 498
A.3 Basics of Sparse-Image Modeling 500
A.4 Well-Posed Formulations of Ill-Posed Problems 501
A.4.1 Constrained-Optimization Problem 501
A.4.2 Bayesian-Estimation Problem 502
References 502
B Markov and Gibbs Random Fields 503
B.1 Equivalence of Markov Random Fields and Gibbs Random Fields 503
B.1.1 Markov Random Fields 504
B.1.2 Gibbs Random Fields 505
B.1.3 Equivalence of MRF and GRF 506
B.2 Gibbs Distribution as an a priori PDF Model 507
B.3　Computation of Local Conditional Probabilities from a Gibbs Distribution 508
References 509
C Optimization Methods 511
C.1 Gradient-Based Optimization 512
C.1.1 Steepest-Descent Method 512
C.1.2 Newton–Raphson Method 513
C.2 Simulated Annealing 514
C.2.1 Metropolis Algorithm 515
C.2.2 Gibbs Sampler 516
C.3 Greedy Methods 517
C.3.1 Iterated Conditional Modes 517
C.3.2 Mean-Field Annealing 518
C.3.3 Highest Confidence First 518
References 519
D Model Fitting 521
D.1 Least-Squares Fitting 521
D.2 Least-Squares Solution of Homogeneous Linear Equations 522
D.2.1 Alternate Derivation 523
D.3 Total Least-Squares Fitting 524
D.4 Random-Sample Consensus (RANSAC) 526
References 526
Glossary527


目　　录
第1章　多维信号与系统 1
1.1　多维信号 2
1.1.1　有限域信号和周期信号 2
1.1.2　对称信号 5
1.1.3　特殊的多维信号 5
1.2　多维变换 8
1.2.1　连续信号的傅里叶变换 8
1.2.2　离散信号的傅里叶变换 12
1.2.3　离散傅里叶变换（DFT） 14
1.2.4　离散余弦变换（DCT） 18
1.3　多维系统 20
1.3.1　脉冲响应和2D卷积 20
1.3.2　频率响应 23
1.3.3　FIR滤波器及对称性 25
1.3.4　IIR滤波器及偏微分方程 27
1.4　多维采样理论 30
1.4.1　格上采样 30
1.4.2　格上采样信号的谱 34
1.4.3　格上采样中的奈奎斯特准则 36
1.4.4　格上采样信号重建 41
1.5　采样格式转换 42
参考文献 47
习题 48
问题集1 48
MATLAB习题 50
第2章　数字图像和视频 53
2.1　人类视觉系统和色彩 54
2.1.1　色觉及彩色模型 54
2.1.2　对比敏感度 57
2.1.3　时空频率响应 59
2.1.4　立体/深度感知 62
2.2　数字视频 63
2.2.1　空间分辨率和帧速 64
2.2.2　颜色、动态范围和位深 65
2.2.3　彩色图像处理 67
2.2.4　数字视频标准 70
2.3　3D视频 75
2.3.1　3D显示技术 75
2.3.2　立体视频 79
2.3.3　多视角视频 79
2.4　数字视频应用 81
2.4.1　数字电视 81
2.4.2　数字影院 85
2.4.3　互联网中的视频流 88
2.4.4　计算机视觉和场景/行为理解 91
2.5　图像和视频的质量 92
2.5.1　视觉效果损伤 92
2.5.2　主观质量评估 93
2.5.3　客观质量评估 94
参考文献 96
第3章　图像滤波 101
3.1　图像平滑 102
3.1.1　线性移不变低通滤波 102
3.1.2　双边滤波 105
3.2　图像重采样和多分辨率表示 106
3.2.1　图像抽取 107
3.2.2　图像内插 109
3.2.3　多分辨率金字塔表示 116
3.2.4　小波表示 117
3.3　图像梯度估计、边缘和特征检测 123
3.3.1　图像梯度估计 124
3.3.2　拉普拉斯估计 128
3.3.3　Canny边缘检测 130
3.3.4　Harris角检测 131
3.4　图像增强 133
3.4.1　基于像素的对比度增强 133
3.4.2　用于色调映射和图像锐化的空间滤波 138
3.5　图像去噪 143
3.5.1　图像和噪声模型 144
3.5.2　DFT域的线性空间不变滤波器 146
3.5.3　局部自适应滤波 149
3.5.4　非线性滤波：排序统计、小波收缩和双边滤波 154
3.5.5　非局部滤波：NL-Means和BM3D 158
3.6　图像复原 160
3.6.1　模糊模型 161
3.6.2　线性空间不变模糊图像的复原 165
3.6.3　盲复原—模糊识别 171
3.6.4　空间变化模糊图像的复原 173
3.6.5　图像修复 176
参考文献 187
习题 182
问题集3 182
MATLAB习题 185
MATLAB资源 189
第4章　运动估计 191
4.1　图像的形成 191
4.1.1　相机模型 192
4.1.2　3D运动的光学效果 197
4.2　运动模型 198
4.2.1　投射运动与表观运动 199
4.2.2　3D刚体运动投射模型 203
4.2.3　2D表观运动模型 206
4.3　2D表观运动估计 210
4.3.1　稀疏对应性、光流估计和图像配准问题 210
4.3.2　光流方程和法向流 213
4.3.3　帧间差 215
4.3.4　运动估计的病态性：遮挡与孔洞问题 216
4.3.5　分层运动估计 219
4.3.6　运动估计的性能衡量 220
4.4　差分法 221
4.4.1　Lukas-Kanade法 221
4.4.2　Horn-Schunk运动估计 226
4.5　匹配法 229
4.5.1　基本的块匹配 230
4.5.2　变尺寸块匹配 234
4.5.3　分层块匹配 236
4.5.4　扩展的块匹配—局部变形运动 237
4.5.5　特征对应的单应性估计 239
4.6　非线性优化法 241
4.6.1　像素递归运动估计 241
4.6.2　贝叶斯运动估计 243
4.7　变换域方法 245
4.7.1　相位相关法 245
4.7.2　空间-频率谱法 247
4.8　3D运动估计和结构估计 247
4.8.1　相机标定 248
4.8.2　仿射重建 249
4.8.3　投影重建 251
4.8.4　欧氏重建 256
4.8.5　平面视差和相关仿射结构重建 257
4.8.6　立体中的致密结构 259
参考文献 259
习题 264
问题集4 264
MATLAB习题 266
MATLAB资源 268
第5章　视频分割与跟踪 269
5.1　图像分割 271
5.1.1　阈值法 271
5.1.2　聚类法 273
5.1.3　贝叶斯法 277
5.1.4　图形法 281
5.1.5　主动轮廓模型 283
5.2　变化检测 285
5.2.1　镜头边界检测 285
5.2.2　背景差法 287
5.3　运动分割 294
5.3.1　主要运动分割 295
5.3.2　复杂运动分割 298
5.3.3　基于区域的运动分割：彩色与运动的融合 307
5.3.4　运动估计与分割的同时实现 309
5.4　运动跟踪 313
5.4.1　基于图形的空-时分割与跟踪 315
5.4.2　Kanade-Lucas-Tomasi跟踪 315
5.4.3　Mean-Shift跟踪 317
5.4.4　粒子滤波跟踪 319
5.4.5　主动轮廓跟踪 321
5.4.6　2D-Mesh跟踪 323
5.5　图像抠图和视频抠像 324
5.6　性能评估 326
参考文献 327
MATLAB习题 334
互联网资源 335
第6章　视频滤波 337
6.1　空–时滤波理论 338
6.1.1　视频的频谱 339
6.1.2　运动自适应滤波 341
6.1.3　运动补偿滤波 341
6.2　视频格式转换 345
6.2.1　降采样 347
6.2.2　去隔行 351
6.2.3　帧率转换 357
6.3　多帧联合噪声滤除 363
6.3.1　运动自适应噪声滤除 363
6.3.2　运动补偿噪声滤除 365
6.4　多帧联合复原 370
6.4.1　多帧联合建模 371
6.4.2　多帧联合维纳复原 371
6.5　多帧联合超分辨率重建 373
6.5.1　什么是超分辨率重建 374
6.5.2　低分辨率采样建模 377
6.5.3　频域超分辨率重建 382
6.5.4　空域多帧法 385
参考文献 390
习题 395
问题集6 395
MATLAB习题 396
第7章　图像压缩 397
7.1　图像压缩的基础 398
7.1.1　信息论概念 398
7.1.2　图像压缩系统的组成 401
7.1.3　量化 402
7.1.4　符号编码 405
7.1.5　Huffman编码 406
7.1.6　算术编码 410
7.2　离散余弦变换编码和JPEG 413
7.2.1　离散余弦变换 414
7.2.2　ISO JPEG标准 416
7.2.3　编码控制与压缩损伤 423
7.3　小波变换编码和JPEG 2000 424
7.3.1　小波变换和滤波器选择 425
7.3.2　ISO JPEG 2000标准 429
参考文献 435
习题 437
互联网资源 440
第8章　视频压缩 441
8.1　视频压缩方法 442
8.1.1　帧内压缩、运动JPEG 2000和数字影院 442
8.1.2　3D变换编码 443
8.1.3　运动压缩变换编码 446
8.2　早期的视频压缩标准 447
8.2.1　ISO和ITU标准 447
8.2.2　MPEG-1标准 448
8.2.3　MPEG-2标准 456
8.3　MPEG-4 AVC/ITU-T H.264标准 463
8.3.1　视频输入格式和数据结构 464
8.3.2　帧内预测 465
8.3.3　运动补偿 466
8.3.4　变换 468
8.3.5　其他工具和改进 469
8.4　高效视频编码（HEVC）标准 471
8.4.1　视频输入格式和数据结构 471
8.4.2　编码树单元 472
8.4.3　并行编码/解码工具 473
8.4.4　其他工具与改进 475
8.5　可伸缩视频压缩 477
8.5.1　时间可伸缩性 478
8.5.2　空间可伸缩性 479
8.5.3　质量（SNR）分级 480
8.5.4　混合可伸缩 482
8.6　立体视频和多视角视频压缩 482
8.6.1　帧兼容的立体视频压缩 483
8.6.2　H.264/AVC标准中关于立体和多视角视频编码的扩展 484
8.6.3　多视角加深度信息的视频压缩 487
参考文献 492
习题 494
互联网资源 495
附录A　图像和视频处理中的病态问题 497
A.1　图像表示 497
A.1.1　确定性框架—函数/矢量空间 497
A.1.2　贝叶斯框架—随机场 498
A.2　图像模型概览 498
A.3　图像稀疏建模基础 500
A.4　病态问题的适定公式 501
A.4.1　条件优化问题 501
A.4.2　贝叶斯估计问题 502
参考文献 502
附录B　Markov和Gibbs随机场 503
B.1　Markov随机场与Gibbs随机场的等价性 503
B.1.1　Markov随机场 504
B.1.2　Gibbs随机场 505
B.1.3　MRF和GRF的等价性 506
B.2　先验PDF模型的Gibbs分布 507
B.3　Gibbs分布中局部条件概率的计算 508
参考文献 509
附录C　优化方法 511
C.1　基于梯度的优化 512
C.1.1　最速下降法 512
C.1.2　Newton-Raphson法 513
C.2　模拟退火法 514
C.2.1　Metropolis算法 515
C.2.2　Gibbs抽样 516
C.3　贪婪法 517
C.3.1　条件递归法 517
C.3.2　平均场退火法 518
C.3.3　最高信任优先法 518
参考文献 519
附录D　模型拟合 521
D.1　最小均方拟合法 522
D.2　齐次线性方程组的LS解 522
D.2.1　交替推导法 523
D.3　总体最小均方拟合法 524
D.4　随机采样一致性（RANSAC） 526
参考文献 526
术语表 527