这是一本讲解如何使用Intel RealSense摄像头进行交互设计开发的书籍。
英特尔公司与浙江大学专家联袂打造针对Intel R RealSenseTM技术的书籍。
RealSenseTM面向开发手势识别，语音识别以及3D图像建模等智能应用。
配合高性价比Intel R RealSenseTM摄像头，并列有多个案例，具有可操作性。
视觉是人类感知信息最主要的途径，科学研究证明，人类超过80%的信息感知来自视觉。现在人们在社会活动中已经是随时随地利用摄像头来捕捉、获取信息。手机、平板电脑、计算机，基本上每个数字设备都在使用摄像头，无处不在地和人们进行交互。可是，现在绝大部分的摄像头是2D的摄像头，仅可以获取RGB（红、绿、蓝）色彩信息。而我们生活在一个三维的世界里，用普通摄像头获取RGB数字信息的同时却丢失了深度Z的信息，这让数字世界里再也无法还原原有的三维信息。深度摄像头就是通过主动或被动的方式来捕捉深度信息，真实地记录所拍摄的每个像素的深度，以保留现实世界的所有信息。现在，科研和市场上已有一些深度摄像头，而Intel RealSense 实感摄像头突破了尺寸大小、功耗、实时处理、精度等各方面的限制，这就极大地扩大了它的使用模式和场景。它不再局限于客厅里的电视体感游戏，而可以集成在笔记本电脑、平板电脑、手机等各种日常的计算设备里。更主要的是它还可以用于机器人、虚拟现实、增强现实、车舱甚至无人机上，充当这些无人设备的眼睛，使它们可以真正看到并感知到这个真实的三维世界，和人类进行真正的智能交互。
Intel RealSense摄像头能够实时输出深度数据，可是如何运用RGBD（红、绿、蓝和深度）数据牵涉很多计算机视觉方面的算法。这无形中加大了人们运用深度摄像头的难度。Intel RealSense SDK也就应运而生。RealSense SDK作为软件开发工具包，充分利用实时的RGBD信息，提供了手势交互、脸部识别、背景分割、场景感知、三维扫描重建、表情分析等一系列计算机视觉算法，通过极其优化的架构，经过严格的测试，提供给每一位开发者。而且这些SDK都是免费的资源，这样极大地降低了开发难度，使开发者可以将精力集中在擅长的使用模式和场景开发上。本书的目的正是为了帮助开发者更好地使用Intel RealSense SDK。本书不仅对SDK进行了详细的介绍，还提供了非常多的开发实例，让读者可以快速上手。当学习到一定程度时，读者可以拓展到各个新的领域，带来更多意想不到的应用惊喜。
本书第1章从自然人机交互出发介绍Intel RealSense技术概况、应用场景和组成。第2章着重介绍Intel RealSense SDK的架构与编程基础。第3～13章依次介绍3D扫描、团块跟踪、深度增强的摄影和录像、脸部跟踪、手势跟踪、物体识别、物体跟踪、场景解析、语音识别与合成、无接触控制、用户分割等核心算法。第14章和第15章分别介绍SDK算法工具及Unity工具集。第16章以Intel RealSense技术在机器人、虚拟教学、VR方面的实例展示了SDK的应用方法。
在Intel RealSense的推广过程中，产业界、工业界、学术界经常交流合作，大家都认为需要有一本这样的书来帮助开发者更好地使用RealSense SDK。本书由浙江大学王曰海、英特尔实感计算中国区总监汤振宇、英特尔RealSense SDK 的首席架构师吴新天合作写成，希望对读者的开发工作有所帮助。在本书的写作过程中，得到许多朋友的帮助，包括清华大学杨毅老师和电子工程系核心课程媒体与认知课程项目组成员，浙江大学的毛颖、李竹一、韦笠、张佳鹏、华佳燊、胡文学、叶晓丹、张亮、龙阳祺、张宇翔，英特尔工程师赵飞等。本书向开发Intel RealSense SDK的工程师和团队致敬，他们是所有这一切的基石。我们衷心感谢英特尔中国区大学合作部的朱文利女士、王靖琪女士及其团队的大力支持，感谢英特尔副总裁及感知计算事业部总经理Achin Bhowmik博士的鼎力支持，也要感谢张国强先生积极地策划与推动了本书的成稿。
嵌入式
王曰海 汤振宇 吴新天 编著：暂无简介
序
前言
第1章 Intel RealSense技术与自然人机交互 1
1.1 自然人机交互 1
1.2 Intel RealSense技术 1
1.3 Intel RealSense的应用领域 6
1.4 Intel RealSense SDK功能特点 10
第2章 Intel RealSense SDK编程基础 13
2.1 编程准备 13
2.2 Intel RealSense SDK架构 17
2.2.1 SDK架构 17
2.2.2 会话和模块 18
2.2.3 SenseManager中的流 18
2.3 原始数据流获取和处理 21
2.4 I/O设备操作 30
2.5 坐标系统 32
2.6 SDK编程应用举例 35
第3章 3D扫描 43
3.1 扫描过程 44
3.2 面部扫描 44
3.3 物体扫描 46
3.4 头部扫描 47
3.5 身体扫描 48
3.6 扫描选项 49
3.7 3D扫描常见问题 50
3.8 典型3D扫描编程举例 50
3.9 3D扫描应用举例 51
第4章 团块跟踪 54
4.1 初始化Blob模块 55
4.2 配置Blob跟踪模块 55
4.3 提取Blob数据 56
4.4 理解Blob数据 58
4.5 团块跟踪应用举例 58
第5章 深度增强的摄影和录像 60
5.1 增强的拍照功能 60
5.2 增强的录像功能 64
5.3 访问照片 65
5.4 深度增强的摄影和录像应用举例 66
第6章 脸部跟踪算法 73
6.1 脸部跟踪编程 73
6.2 配置和数据获取 75
6.3 脸部位置数据 76
6.4 脸部特征点数据 77
6.5 脸部姿态数据 77
6.6 面部表情 78
6.7 面部识别 79
6.8 脸部跟踪应用举例 81
第7章 手势跟踪算法 87
7.1 初始化和配置手势模块 88
7.1.1 配置跟踪选项 89
7.1.2 配置警报 92
7.1.3 配置手势 92
7.2 手势跟踪主处理循环实现 93
7.3 访问手动跟踪数据 94
7.3.1 坐标系 94
7.3.2 通过索引或ID访问手势数据 95
7.3.3 访问手势ID和时间戳 96
7.3.4 访问图像数据 97
7.3.5 访问手部位置数据 97
7.3.6 访问手势跟踪状态 97
7.3.7 访问手势和手侧 98
7.3.8 访问手指数据 98
7.3.9 访问轮廓数据 98
7.3.10 访问关节数据 99
7.4 处理警报 101
7.5 处理手势 103
7.6 手势跟踪应用举例 106
第8章 物体识别 111
8.1 物体识别编程 111
8.2 配置特征及获取数据 113
8.3 物体识别配置 114
8.4 ROI和绝对ROI 114
8.5 物体识别数据 115
8.6 物体识别应用举例 115
第9章 物体跟踪 117
9.1 3D物体跟踪 117
9.2 Metaio工具箱 119
9.3 通过 SenseManager的物体跟踪 124
9.4 配置特征及检索数据 126
9.5 3D地图创建 127
9.6 物体跟踪应用举例 128
第10章 场景解析 132
10.1 场景解析编程 134
10.2 配置场景解析 135
10.3 检查启动场景的质量 136
10.4 获取跟踪数据 136
10.5 场景解析应用举例 136
第11章 语音识别与合成 143
11.1 语音识别过程 143
11.1.1 命令控制和听写 145
11.1.2 处理识别事件 145
11.1.3 录音级别 146
11.1.4 置信值 147
11.2 语音合成算法编程 148
11.3 语音识别与合成应用举例 150
第12章 无接触控制算法 153
12.1 处理UI控件 153
12.1.1 UI控制 154
12.1.2 启用事件 156
12.1.3 用自动注入和事件处理器处理控制 156
12.1.4 集成无接触控制模块 157
12.2 配置无接触控制模块 158
12.3 处理警报 159
12.4 将手势映射为UI控制 160
12.5 无接触控制应用举例 161
第13章 用户分割算法 164
13.1 概述 164
13.2 用户分割应用举例 166
第14章 算法工具 168
14.1 平滑实用程序 168
14.2 旋转实用程序 171
14.3 点转换工具 174
第15章 Unity工具集 179
15.1 Unity工具集概述 179
15.2 动作 179
15.3 持续动作 181
15.3.1 跟踪动作 182
15.3.2 转换动作 183
15.3.3 旋转动作 184
15.3.4 缩放动作 184
15.3.5 激活/关闭动作 184
15.3.6 启用/禁用行为动作 185
15.3.7 显示/隐藏动作 185
15.3.8 混合形状动画 186
15.3.9 发送信息动作 186
15.4 触发条件和规则 186
15.4.1 事件触发条件和规则 187
15.4.2 跟踪触发条件和触发值 189
15.4.3 旋转触发条件和触发值 189
15.4.4 缩放触发条件和规则 190
15.4.5 转换触发条件和规则 190
15.4.6 动画触发条件和规则 190
15.5 预制件 191
15.6 Unity工具应用举例 192
第16章 Intel RealSense 3D摄像头应用举例 196
16.1 智能宠物机器人 196
16.2 烹饪教学 203
16.3 穿墙虚拟现实游戏 210
参考文献 217
