本书介绍了AR的基本知识和最新进展。 在过去20年中，作者一直从事AR理论和应用的研究,本书涵盖了他在研究过程中对AR的理解和认识,从技术和HCI的角度介绍AR。 作者介绍了AR的理论基础，包括显示和跟踪技术、说明了AR如何从计算机视觉和计算机图形学的假设中发展起来，介绍了AR的可视化和3D交互技术，而且给出了不同行业的相关案例。本书适合作为高校计算机及相关专业增强现实课程的教材，也适合作为从事增强现实技术工作的读者参考。
无
在过去的20年里，信息技术的应用从固定的办公室和桌面计算转移到网络、社交媒体和移动计算。近年来，即使将笔记本电脑归入桌面式电脑的类别，智能手机和平板电脑的销量仍然远超传统桌面式电脑。
虽然目前主流用户界面还没有完全从20世纪90年代的桌面计算（或者说是1981 Xerox Star）中脱离出来，但是当今年轻一代获取计算机知识的方式已经改变：各种应用和云计算在许多情况下取代了电脑桌面。计算已经从一项在办公室或书房中开展的工作转变为随时随地进行的活动。
初识增强现实
随着用户逐渐远离电脑桌面，将真实世界融入我们的计算体验变得越来越重要。考虑到真实世界既不是平面的，也不是由书写文档组成的，因此必须有一个新的用户界面隐喻。增强现实（Augmented Reality，AR）有潜力成为用于情境计算的主流用户界面隐喻。增强现实具有能将真实世界和与之相关的虚拟信息直接关联的独特性质。整个世界变成了用户界面，这引出了那句熟悉的宣言：
回到真实世界！
虚拟现实（Virtual Reality，VR）的愿景是将我们自身沉浸于人造世界，这推动了游戏设备的发展，带来了令人惊艳的画面效果，随之又出现了各类头戴式显示器和手势跟踪器。但即便如此，像虚拟现实这样通过定义来独占大众注意力的用户界面隐喻，并不一定是日常计算的最佳选择。
相反，我们越来越依赖可以随意使用并能提供容易理解的少量信息的计算界面。我们需要普适计算。这可以通过“宁静”的计算过程实现，这一过程会在后台进行，不需要用户干涉甚至根本不会引起用户的注意。在需要普适交互时，增强现实脱颖而出，成为合适的用户界面技术。
为何写作本书
多个相互交叉的研究领域聚焦于增强现实的发展，相关的知识体系也在快速完善。我们自20世纪90年代以来一直以研究者的身份致力于该知识体系的相关工作。本书的主要动力来自于我们所任教的格拉茨理工大学和加州大学圣芭芭拉分校关于增强现实的课堂教学。在备课过程中，我们明显感到目前没有一本教材能够覆盖这个快速发展领域的广度和深度。从2001年的SIGGRAPH会议开始，各种学术会议及其研讨会的部分讲演文稿都为备课提供了参考，我们也参与组织了其中的一些会议。许多基础理论从那时起逐渐构建起来，我们着眼于系统地汇集相关知识，同时注重新兴概念与实践信息。因此，这本书诞生了。
本书讲述了哪些内容
如书名所示，本书在原理和实践之间力求平衡。我们的目标是让这本书既能服务于科学研究人员，又能服务于对增强现实应用感兴趣的从业者，特别是工程师。因此，本书既可用作教材，又可用作参考读物。为了充分利用本书，读者需要对计算机科学有基本认识，如果能够了解计算机图形学以及计算机视觉领域的相关知识，或者对其感兴趣，也会对理解本书有帮助。考虑到篇幅的限制，我们无法进一步提供必要背景技术的特定细节，而是给出了已有文献。与此同时，本书谨慎地介绍并清楚地解释了超出基础知识的特定增强现实概念，从而使全书自成体系。本书采用下面的篇章顺序来介绍增强现实的技术和基本方法。
第1章为本书奠定基调，介绍增强现实的定义，简略讲述该领域的历史，之后带领读者领略这项强大的真实世界用户界面技术的多种应用实例。小结部分介绍了一系列相关技术和研究领域的全景。
第2章的主题是显示技术，这是增强现实的关键基础技术之一。根据视觉感知的基础理论，讨论了各种适用于增强现实的显示技术，尤其是头戴式显示、手持式显示和投影式显示。我们还讨论了非视觉显示技术，如听觉和触觉设备等。
第3章的主题是跟踪技术，这是增强现实的潜在核心技术之一。首先讨论了理解跟踪（广义的定义是测量系统）的工作原理所需要掌握的特定知识，然后讨论了传统的固定跟踪系统，并将其与移动传感器进行比较。着重介绍了最主流的光学跟踪技术，并在结尾简述了传感器融合的原理。
第4章继续上一章中对光学跟踪问题的讨论，详细介绍了用于实时位姿估计的计算机视觉算法，例如根据观测图像确定摄像机的位置与朝向。为了便于讲解并使读者更广泛地了解背景知识，这一章由一系列案例研究组成。每一个案例研究仅介绍自身必需的相关知识，所以读者不需要事先深入了解计算机视觉方面的知识。此外，本书对涉及高等数学的问题做了标记，这些问题在实践中通常依赖OpenCV等库来解决，因此可以被视为“黑箱”，不想深入研究的读者可略过这部分内容。
第5章讨论用于增强现实的器件标定和注册方法。在增强现实应用中，第3章所述的用于光学跟踪的数字摄像机标定技术是实现可重复精确操作的必要前提。注册是几何上校准增强现实体验中的真实世界和虚拟世界的过程，从而有利于形成一致混合环境的错觉。
第6章聚焦于使真实和虚拟物体无缝融合的一系列计算机图形技术，包括虚拟和真实物体之间正确的遮挡或阴影关系。我们也解释了消去实境，即消隐场景中的真实物体，并讨论了物理相机的仿真。
第7章关注可视化技术，目的是使信息更容易理解。在增强现实环境中，这意味着几何注册到真实场景物体上的计算机生成的信息，必须按照便于用户理解的方式摆放和设计。我们同时探讨了二维增强（如文本标签）和三维增强（如物体内部的合成视图，也称作“重影”）。
第8章讨论与增强现实应用相关的交互技术与交互方式。内容从简单的情境信息浏览延伸到全面的三维交互。我们特别讨论了基于工具、窗口部件和手势的交互，以及增强现实与多种形式的可触摸用户界面之间的联系。我们也探讨了用于增强现实的多模态和基于智能体的界面。
第9章讨论交互式建模问题，也就是通过增强现实创建新的几何内容。内嵌于三维环境中的用户界面，为再创造该环境的数字版本提供了一种有效方法，这种能力对于所有涉及视觉计算的应用都是非常宝贵的。
第10章讨论增强现实的开发方法。增强现实呈现的内容和信息库需要按照当前网络内容的开发方式来设计和创造。可以运用传统工具开发增强现实的内容，或者在增强现实本身中进行。开发需关注应用中超越几何和视觉特性的几个方面，特别是建造应用的语义和行为。开发应该由内容驱动，不需要或者只需要最小程度的传统编程工作。我们讨论了多种满足这个需求的方法，并且探究了最近将增强现实开发和新兴的开放网络标准相结合的成果。
第11章讨论导航指引，这是增强现实作为用户界面尤为相关的一个领域。陌生环境中的定向问题是移动信息系统应用中的一项重要挑战。我们概述了运用增强现实技术实施的导航指引技术，并将它们与数字地图相比较。
第12章研究协作问题。作为一种媒介，增强现实在个体之间的交流中有强大的应用潜力。这既包含本地协作，通过共享增强现实系统提供的附加提示以拓展本地协作，也包含远程协作，在增强现实技术的大力支持下提供了远程呈现的新形式。
第13章分析了增强现实系统的底层架构。增强现实必须结合实时系统、多媒体系统以及分布式系统的复杂需求。通过一种灵活的方式将这些需求结合起来并准确传达给程序员，这是一项困难的工作。我们讨论了多种架构模式，包括分布式对象、数据流系统和场景图，并展示了一系列案例研究。
第14章回顾了增强现实的发展轨迹，从一个在原型应用中体现实用性的研究领域，到潜在的大众消费级应用。我们同时分析了需要克服的障碍和亟待解决的问题，基于本书提供的材料展望了未来发展趋势，并总结了未来的研究内容。
如何使用本书及相关资料
如何使用本书取决于你与增强现实领域之间的关系，以及你的兴趣程度和关注点。我们讨论了可能的三种角色。
如果你是一名开发者：专业开发者可以从本书中得到启发，并用于指导增强现实应用的设计、搭建和评测。有此类背景的读者将在讨论显示、跟踪和交互的章节找到关于硬件设备的有用信息。在应用内容的开发方面，视觉一致性、可视化和开发章节将会有所帮助，而跟踪、计算机视觉和标定章节将涉及相应的注册技术。在交互及后续章节中介绍了用户界面设计。最后，软件架构章节提供了关于具体实施工作的重要信息。
如果你是一名教师：本书可作为不同类型和层次的大学教材。关于增强现实的研究生课程可将本书作为主教材。关于计算机图形学或视觉计算的课程可使用视觉一致性和可视化章节作为增强现实图形学方面的导论。关于计算机视觉的课程可使用跟踪和注册章节讲授重要的实时计算机视觉技术。人机交互课程可使用交互、建模、创建、导航及协作章节全面地介绍增强现实的概念。
如果你是一名研究者：对于兴趣在于实验性增强现实应用的开发和评测的研究者，本书可作为一本详尽的参考指南。最后一章为本领域的研究者和学生列举了需要解决的一系列重要问题。
本书网站
本书网站的网址如下：
http://www.augmentedrealitybook.org
增强现实领域正在迅速发展。为了使本书成为动态的工作文档，网站上提供了教学资料等附加信息，并且包含与最新增强现实研究和应用相关的信息和链接。这是一项开放工作，欢迎读者为资料收集做出贡献，您的贡献将帮助我们更新网站以及本书的未来版本。
计算机\图形图像
随着真实世界中计算机生成的信息越来越多，增强现实（AR）可以通过不可思议的方式增强人类的感知能力。这个快速发展的领域要求学习者掌握多学科知识，包括计算机视觉、计算机图形学、人机交互等。本书将这些知识有机融合，严谨且准确地展现了当前最具影响力的增强现实技术和应用。全书从技术、方法论和用户的角度全面讲解相关知识，实现了理论与实践的平衡，此外，本书网站www.augmentedrealitybook.org还提供更多学习资源，适合开发者、高校师生和研究者阅读。
本书内容
显示：涵盖头戴式显示、手持式显示和投影式显示等。
跟踪/感知：包括物理原理、传感器融合以及实时计算机视觉等。
标定/注册：实现可重复、精确且一致的操作。
真实和虚拟物体的无缝融合。
可视化：使信息的呈现更直观、更容易理解。
交互：从简单的情境信息浏览延伸到全面的三维交互。
通过增强现实创建新的几何内容。
AR的表示和数据库的开发。
具有实时、多媒体和分布式元素的AR系统架构。
作者简介
迪特尔·施马尔斯蒂格（Dieter Schmalstieg） 奥地利格拉茨理工大学教授，计算机图形学和视觉中心主任。他是IEEE高级会员、奥地利科学院会员以及欧洲科学院会员，目前已发表论文300余篇，并担任《IEEE可视化和计算机图形学会刊》等核心期刊或论文集的编辑。2002年获得奥地利科学基金会START Career奖，2012年获得IEEE虚拟现实技术成就奖。
托比亚斯·霍勒尔（Tobias H?llerer） 加州大学圣芭芭拉分校计算机科学系教授，Four Eyes实验室主任。曾获得美国NSF授予的CAREER奖，并于2013年获得ACM杰出科学家称号。他曾担任IEEE VR 2015、ICAT 2013等重要国际会议的程序委员会主席，并多次荣获最佳论文奖。
[奥]迪特尔·施马尔斯蒂格（Dieter Schmalstieg） [美]托比亚斯·霍勒尔（Tobias Höllerer） 著：迪特尔·施马尔斯蒂格（Dieter Schmalstieg） 奥地利格拉茨理工大学教授，计算机图形学和视觉中心主任。他是IEEE高级会员、奥地利科学院会员以及欧洲科学院会员，目前已发表论文300余篇，并担任《IEEE可视化和计算机图形学会刊》等核心期刊或论文集的编辑。2002年获得奥地利科学基金会START Career奖，2012年获得IEEE虚拟现实技术成就奖。
托比亚斯·霍勒尔（Tobias Höllerer） 加州大学圣芭芭拉分校计算机科学系教授，Four Eyes实验室主任。曾获得美国NSF授予的CAREER奖，并于2013年获得ACM杰出科学家称号。他曾担任IEEE VR 2015、ICAT 2013等重要国际会议的程序委员会主席，并多次荣获最佳论文奖。
Contents
1 Introduction to Augmented Reality 1
Definition and Scope 3
A Brief History of Augmented Reality 4
Examples 13
Industry and Construction 13
Maintenance and Training 17
Medical 18
Personal Information Display 20
Navigation 21
Television 22
Advertising and Commerce 25
Games 27
Related Fields 28
Mixed Reality Continuum 28
Virtual Reality 29
Ubiquitous Computing 30
Summary 31
2 Displays 33
Multimodal Displays 34
Audio Displays 34
Haptic, Tactile, and Tangible Displays 35
Olfactory and Gustatory Displays 37
Visual Perception 39
Requirements and Characteristics 40
Method of Augmentation 40
Ocularity and Stereoscopy 42
Focus 45
Occlusion 47
Resolution and Refresh Rate 48
Field of View 50
Viewpoint Offset 51
Brightness and Contrast 53
Distortions and Aberrations 55
Latency 55
Ergonomics 55
Social Acceptance 55
Spatial Display Model 56
Visual Displays 58
Near-Eye Displays 59
Handheld Displays 69
Stationary Displays 72
Projected Displays 78
Summary 84
3 Tracking 85
Tracking, Calibration, and Registration 86
Coordinate Systems 87
Model Transformation 88
View Transformation 88
Projective Transformation 89
Frames of Reference 89
Characteristics of Tracking Technology 90
Physical Phenomena 90
Measurement Principle 91
Measured Geometric Property 91
Sensor Arrangement 91
Signal Sources 92
Degrees of Freedom 92
Measurement Coordinates 92
Spatial Sensor Arrangement 93
Workspace Coverage 94
Measurement Error 94
Temporal Characteristics 95
Stationary Tracking Systems 96
Mechanical Tracking 96
Electromagnetic Tracking 97
Ultrasonic Tracking 98
Mobile Sensors 99
Global Positioning System 99
Wireless Networks 101
Magnetometer 102
Gyroscope 102
Linear Accelerometer 103
Odometer 104
Optical Tracking 105
Model-Based versus Model-Free Tracking 106
Illumination 106
Markers versus Natural Features 109
Target Identification 113
Sensor Fusion 117
Complementary Sensor Fusion 117
Competitive Sensor Fusion 117
Cooperative Sensor Fusion 118
Summary 120
4 Computer Vision for Augmented Reality 121
Marker Tracking 123
Camera Representation 124
Marker Detection 126
Pose Estimation from Homography 128
Pose Refinement 132
Multiple-Camera Infrared Tracking 132
Blob Detection 133
Establishing Point Correspondences 133
Triangulation from Two Cameras 135
Triangulation from More Than Two Cameras 137
Matching Targets Consisting of Spherical Markers 137
Absolute Orientation 137
Natural Feature Tracking by Detection 138
Interest Point Detection 140
Descriptor Creation 144
Descriptor Matching 145
Perspective-n-Point Pose 146
Robust Pose Estimation 148
Incremental Tracking 149
Active Search 150
Kanade-Lucas-Tomasi Tracking 151
Zero-Normalized Cross-Correlation 152
Hierarchical Search 154
Combined Detection and Tracking 155
Simultaneous Localization and Mapping 156
Five-Point Algorithm for Essential Matrix 157
Bundle Adjustment 158
Parallel Tracking and Mapping 159
Relocalization and Loop Closure 160
Dense Mapping 161
Outdoor Tracking 164
Scalable Visual Matching 165
Prior Information from Sensors 167
Prior Information from Geometry 169
Simultaneous Tracking, Mapping, and Localization 170
Summary 176
5 Calibration and Registration 179
Camera Calibration 180
Internal Camera Parameters 180
Correcting Lens Distortion 182
Display Calibration 183
Single Point Active Alignment Method 185
Head-Mounted Display Calibration Using a Pointing Device 186
Hand–Eye Calibration 188
Registration 190
Geometric Measurement Distortions 190
Error Propagation 191
Latency 192
Filtering and Prediction 192
Summary 194
6 Visual Coherence 195
Registration 196
Occlusion 199
Occlusion Refinement 201
Probabilistic Occlusion 202
Model-Free Occlusion 202
Photometric Registration 205
Image-Based Lighting 207
Light Probes 208
Offline Light Capturing 210
Photometric Registration from Static Images 210
Photometric Registration from Specular Reflections 211
Photometric Registration from Diffuse Reflections 212
Photometric Registration from Shadows 214
Outdoor Photometric Registration 214
Reconstructing Explicit Light Sources 215
Common Illumination 216
Differential Rendering 216
Real-Time Global Illumination 218
Shadows 220
Diffuse Global Illumination 223
Specular Global Illumination 225
Diminished Reality 227
Determination of the Region of Interest 228
Observation and Modeling of the Hidden Area 228
Removal of the Region of Interest 229
Projector-Based Diminished Reality 230
Camera Simulation 231
Lens Distortion 231
Blur 232
Noise 234
Vignetting 234
Chromatic Aberrations 234
Bayer Pattern Artifacts 235
Tone Mapping Artifacts 235
Stylized Augmented Reality 236
Summary 237
7 Situated Visualization 239
Challenges 241
Data Overload 242
User Interaction 242
Registration Errors 243
Visual Interference 243
Temporal Coherence 244
Visualization Registration 245
Locally Registered Situated Visualization 245
Globally Registered Situated Visualization 246
Registration Uncertainty 247
Annotations and Labeling 248
Labeling Fundamentals 248
Optimization Techniques 249
Temporal Coherence 250
Image-Guided Placement 252
Legibility 253
X-Ray Visualization 254
Ghostings from Object Space 255
Ghostings from Image Space 256
Implementation with G-Buffers 258
Spatial Manipulation 260
Explosion Diagrams 260
Space Distortion 262
Information Filtering 265
Knowledge-Based Filter 265
Spatial Filter 265
Combined Knowledge-Based and Spatial Filter 267
Summary 270
8 Interaction 271
Output Modalities 272
Augmentation Placement 272
Agile Displays 274
Magic Lenses 276
Input Modalities 279
Tracking and Manipulation of Rigid Objects 279
Body Tracking 281
Gestures 282
Touch 283
Physically Based Interfaces 286
Tangible Interfaces 286
Tangibles on Surfaces 287
Tangibles with Generic Shape 287
Tangibles with Distinct Shapes 289
Transparent Tangibles 293
Virtual User Interfaces on Real Surfaces 294
Augmented Paper 295
Multi-view Interfaces 297
Multi-display Focus+Context 297
Shared Space 298
Multiple Locales 300
Cross-View Interaction 303
Haptic Interaction 304
Multimodal Interaction 304
Conversational Agents 306
Summary 309
9 Modeling and Annotation 311
Specifying Geometry 312
Points 313
Planes 314
Volumes 315
Specifying Appearance 317
Semi-automatic Reconstruction 319
Free-Form Modeling 322
Annotation 325
Summary 328
10 Authoring 329
Requirements of AR Authoring 330
Real-World Interfaces 330
Hardware Abstraction 332
Authoring Workflow 332
Elements of Authoring 333
Actors 333
Story 334
Stages 334
Interactions 334
Setup 335
Stand-Alone Authoring Solutions 335
Desktop Authoring 335
Authoring by Performance 337
Plug-In Approaches 339
Web Technology 341
Summary 342
11 Navigation 345
Foundations of Human Navigation 346
Exploration and Discovery 347
Route Visualization 347
Viewpoint Guidance 350
Guidance Toward a Target Object 350
Guidance Toward a Target Viewpoint 354
Multiple Perspectives 354
Simultaneous Multiple Perspectives 355
Transitional Interfaces 357
Summary 360
12 Collaboration 361
Properties of Collaboration Systems 362
Co-located Collaboration 364
Individual Displays and Views 366
Gaze Awareness 368
Agile Collaboration in Shared Space 368
Remote Collaboration 370
Video Sharing 371
Video Sharing with Virtual Objects 372
Video Sharing with Geometric Reconstruction 374
Pointing and Gestures 375
Remote Collaboration with Agile Users 376
Summary 377
13 Software Architectures 379
AR Application Requirements 380
Environment Control and Scene Dynamics 380
Display Space 381
Real–Virtual Consistency 381
Semantic Knowledge 381
Physical Space 382
Software Engineering Requirements 382
Platform Abstraction 382
User Interface Abstraction 383
Reusability and Extensibility 383
Distributed Computing 384
Decoupled Simulation 384
Distributed Object Systems 385
Object Management 386
Case Study: SHEEP 387
Dataflow 389
Dataflow Graphs 390
Multimodal Interaction 390
Threads and Scheduling 391
Case Study: Wearable Augmented Reality Setup 393
Scene Graphs 395
Fundamentals of Scene Graphs 395
Dependency Graph 397
Scene Graph Integration 397
Distributed Shared Scene Graph 399
Developer Support 400
Parameter Configuration 401
Declarative Scripting 401
Case Study: Augmented Reality Tour Guide 403
Procedural Scripting 405
Mixed-Language Programming 405
Runtime Reconfiguration 405
Choosing an AR Platform 407
Summary 407
14 The Future 409
What May Drive Business Cases 410
Professional Users 410
Consumers 411
An AR Developer’s Wish List 411
Low-Level Camera API 412
Multiple Cameras 412
Wide-Field-of-View Cameras 413
Sensors 413
Unified Memory 413
Parallel Programming on the Mobile GPU 414
Better Displays 414
Taking AR Outdoors 415
Uncooperative Users 415
Limited Device Capabilities 416
Localization Success Rate 416
Interfacing with Smart Objects 417
Confluence of Virtual Reality and Augmented Reality 418
Augmented Humans 419
AR as a Dramatic Medium 420
AR as a Social Computing Platform 421
Summary 422
References 423
目 录
第1章 增强现实简介 1
定义和范围 3
增强现实简史 4
示例 13
工业和建筑业 13
维修和培训 17
医疗 18
个人信息显示 20
导航 21
电视 22
广告和商务 25
游戏 27
相关领域 28
混合现实连续体 28
虚拟现实 29
普适计算 30
小结 31
第2章 显示 33
多模态显示 34
听觉显示 34
触力觉显示 35
嗅觉和味觉显示 37
视觉感知 39
需求和特点 40
增强方法 40
单视和体视 42
焦距 45
遮挡 47
分辨率和刷新率 48
视场 50
视点偏移 51
亮度和对比度 53
畸变和像差 55
延迟 55
工效学 55
社会接受度 55
空间显示模型 56
视觉显示器 58
近眼式显示器 59
手持式显示器 69
固定式显示器 72
投影式显示器 78
小结 84
第3章 跟踪 85
跟踪、校准和注册 86
坐标系 87
模型转换 88
视角转换 88
投影转换 89
参考帧 89
跟踪技术的特点 90
物理现象 90
测量准则 91
测量的几何属性 91
传感器布置 91
信号源 92
自由度 92
测量坐标 92
空间传感器布置 93
工作空间覆盖 94
测量误差 94
时间特性 95
固定跟踪系统 96
机械跟踪 96
电磁跟踪 97
超声波跟踪 98
可移动传感器 99
全球定位系统 99
无线网络 101
磁力计 102
陀螺仪 102
线加速计 103
里程表 104
光学跟踪 105
基于模型的跟踪与无模型跟踪 106
光照 106
标志点与自然特征 109
目标识别 113
传感器融合 117
互补的传感器融合 117
竞争的传感器融合 117
协作的传感器融合 118
小结 120
第4章 增强现实中的计算机视觉 121
标志点跟踪 123
相机表示 124
标志点检测 126
单应位姿估计 128
位姿优化 132
多相机红外跟踪 132
团块检测 133
建立点对应 133
双相机三角测量 135
多相机三角测量 137
基于球形标志点的目标匹配 137
绝对朝向 137
基于检测的自然特征跟踪 138
兴趣点检测 140
描述子创建 144
描述子匹配 145
n点透视位姿 146
鲁棒位姿估计 148
增量跟踪 149
主动跟踪 150
KLT跟踪 151
零归一化互相关 152
分层搜索 154
联合检测和跟踪 155
同时定位与地图构建 156
计算本质矩阵的五点算法 157
集束调整 158
并行跟踪与地图构建 159
再定位与环闭合 160
稠密地图构建 161
户外跟踪 164
可伸缩视觉匹配 165
传感器先验信息 167
几何先验信息 169
同时跟踪、地图构建和定位 170
小结 176
第5章 标定和注册 179
相机标定 180
相机内参数 180
镜头畸变校正 182
显示器标定 183
单点主动对准法 185
基于点击装置的头盔显示器标定 186
手–眼标定 188
注册 190
几何测量失真 190
误差传播 191
延迟 192
滤波和预测 192
小结 194
第6章 视觉一致性 195
注册 196
遮挡 199
遮挡优化 201
概率遮挡 202
无模型遮挡 202
光度注册 205
基于图像的光照 207
光照检测 208
离线光照采集 210
基于静止图像的光度注册 210
基于镜面反射的光度注册 211
基于漫反射的光度注册 212
基于阴影的光度注册 214
户外光度注册 214
重建精确光源 215
光照技术 216
微分渲染 216
实时全局光照 218
阴影 220
散射全局光照 223
高光全局光照 225
消去实境 227
目标区域的确定 228
隐藏区域的观察和建模 228
目标区域的移除 229
基于投影的消去实境 230
相机仿真 231
镜头畸变 231
模糊 232
噪声 234
光晕 234
色差 234
拜耳模式伪影 235
色调映射伪影 235
风格化的增强现实 236
小结 237
第7章 情境可视化 239
挑战 241
数据过载 242
用户交互 242
注册误差 243
视觉干扰 243
时间一致 244
可视化注册 245
本地注册情境可视化 245
全局注册情境可视化 246
注册不确定性 247
注释和标记 248
标记的基础理论 248
优化技术 249
时间一致 250
基于图像的放置 252
易读性 253
X射线可视化 254
物体空间的重影 255
图像空间的重影 256
G缓冲的实现 258
空间操控 260
扩张图 260
空间扭曲 262
信息过滤 265
基于知识的过滤 265
空间过滤 265
基于知识的过滤与空间过滤的结合 267
小结 270
第8章 交互 271
输出模态 272
增强放置 272
灵巧显示 274
神奇棱镜 276
输入模态 279
刚体的追踪及操控 279
人体跟踪 281
手势 282
触摸 283
实物交互接口 286
可触摸界面 286
可触摸表面 287
可触摸通用形状 287
可触摸独特形状 289
透明可触摸 293
真实表面上的虚拟用户界面 294
增强纸 295
多视点交互界面 297
多种显示：焦点+上下文 297
共享空间 298
多区域 300
交叉视点交互 303
触觉交互 304
多通道交互 304
可对话的智能体 306
小结 309
第9章 建模与注释 311
几何结构详述 312
点 313
面 314
体 315
外观详述 317
半自动重建 319
自由曲面建模 322
注释 325
小结 328
第10章 开发 329
增强现实的开发要求 330
真实世界界面 330
硬件抽象 332
开发流程 332
开发要素 333
角色 333
故事 334
舞台 334
交互 334
设置 335
独立开发方法 335
桌面开发 335
表演开发 337
插件方法 339
网络技术 341
小结 342
第11章 导航 345
人类导航的基本原理 346
探索与发现 347
路径可视化 347
视点导引 350
目标对象导引 350
目标视点导引 354
多视角 354
同步多视角 355
过渡界面 357
小结 360
第12章 协作 361
协作系统的特性 362
本地协作 364
个人显示与视图 366
凝视感知 368
共享空间内的灵巧协作 368
远程协作 370
视频共享 371
运用虚拟物体的视频共享 372
运用几何重建的视频共享 374
点击和手势 375
灵巧用户的远程协作 376
小结 377
第13章 软件架构 379
增强现实应用要求 380
环境控制和场景驱动 380
显示空间 381
虚实一致 381
语义知识 381
真实空间 382
软件工程要求 382
平台抽象 382
用户界面抽象 383
重用性和扩展性 383
分布式计算 384
解耦仿真 384
分布式对象系统 385
对象管理 386
案例学习：羊 387
数据流 389
数据流图 390
多模态交互 390
线程和调度 391
案例学习：可穿戴的增强现实开发 393
场景图 395
场景图的基本原理 395
依赖图 397
场景图整合 397
分布式共享场景图 399
开发支持 400
参数配置 401
脚本声明 401
案例学习：增强现实导览 403
程序脚本 405
混合语言程序设计 405
实时重配置 405
选择增强现实平台 407
小结 407
第14章 未来 409
商业案例驱动力 410
专业用户 410
普通消费者 411
AR开发者的愿望清单 411
相机底层API 412
多相机 412
宽视场相机 413
传感器 413
统一内存 413
移动GPU上的并行编程 414
优质显示设备 414
户外AR 415
不配合的用户 415
有限的设备能力 416
定位成功率 416
智能对象接口 417
虚拟现实与增强现实的融合 418
增强人类 419
AR作为戏剧媒介 420
AR作为社交计算平台 421
小结 422
参考文献 423
