这是一本讲解如何基于当前主流的智能芯片RK3399Pro与RK3588进行端侧智能开发的著作，它将指导读者如何基于这两款芯片进行算法的设计与实施，瑞芯微官方推荐。
理论部分，以深度学习为主线，针对零基础的读者，不仅讲解了卷积神经网络、循环神经网络等深度神经网络的原理以及它们在计算机视觉、自然语言处理、语音识别等领域的经典算法，还讲解了深度神经网络的训练和模型优化。
实践部分，以基于RK3399Pro与RK3588两款智能芯片的端侧智能开发为主线，讲解了芯片的功能架构、开发板及其开发环境、Rock-X API组件库，以及基于它们的各种端侧智能应用开发，包括各种神经网络的开发、神经网络的运算加速等，让读者掌握深度学习模型从设计、训练、优化到端侧部署的完整流程，快速学会人工智能应用的开发。
人工智能芯片领先企业瑞芯微官方推荐
针对性介绍深度学习算法原理，全面讲解RK3399Pro与RK3588芯片及开发板架构，以及基于开发板的神经网络加速
计算机/人工智能/机器学习
未来的社会是智能的社会，智能体现在各种终端中。终端的智能需要算法和算力结合，本书正是围绕人工智能算法的落地应用而展开的。在人工智能算法部分，本书重点关注算法的具体实现；在算法的嵌入式落地部分，本书以丰富的实践案例展示了瑞芯微人工智能芯片的加速能力。希望本书能够为嵌入式智能应用开发提供帮助。
—— 史治国 浙江大学信息与电子工程学院副院长
在当前的人工智能浪潮下，各类算法越来越需要落地到具体的应用场景中，这都离不开芯片加速的支持。瑞芯微3399Pro和3588是业界主流的人工智能芯片，其RKNN人工智能开发库易于上手。结合这两个芯片进行算法的设计与实施是本书的主旨。本书在介绍人工智能算法基本原理的基础上，重点介绍了这两个芯片的加速库和丰富的应用案例，为相关智能产品的开发提供了较好的引导。
—— 林峥源 瑞芯微电子股份有限公司副总裁
在过去的十年里，云计算虽然缓解了日益增长的数据所带来的存储、管理等问题，但不能满足对响应时间和安全性的高要求，这对嵌入式人工智能发起了挑战。本书理论结合实践，讲述了深度学习模型从设计、训练、优化到端侧部署的完整过程，实属难能可贵。
—— 刘盼盼 某芯片大厂资深系统架构师
王曰海 著：王曰海（博士）
浙江大学副研究员，浙江大学-瑞芯微电子联合技术中心副主任，浙江大学绍兴研究院微电子中心副主任。主要从事信号处理与多媒体智能方向的研究，参与和承担国家重点研发计划、国家自然基金以及企事业单位联合项目20余项，在CVPR、ICASSP、Interspeech等国际顶级会议和期刊上发表相关论文20余篇，授权发明专利10余项。
2016年建立浙江大学-瑞芯微电子联合技术中心，组织开展机器视觉、RGB-IR图像处理、音频降噪、模拟电源、氮化镓功率芯片等信号处理与芯片方向的研发项目，与瑞芯微电子建立了非常深入的研发合作。基于瑞芯微电子RK3399Pro人工智能开发板，开发了布匹瑕疵检测、自动扶梯安全检测、音频降噪、口语评测等AI算法与系统，对人工智能算法特别是音视频智能处理在嵌入式系统上的部署和应用有丰富的经验。
《深度学习嵌入式实战：基于RK3399和RK3588》目录
第1章 深度学习基础 1
1.1 深度学习的现实应用 1
1.1.1 计算机视觉 2
1.1.2 自然语言处理 2
1.1.3 推荐系统 2
1.1.4 语音处理 3
1.1.5 其他领域 3
1.2 回归问题和分类问题 3
1.2.1 线性回归 4
1.2.2 Softmax分类 6
1.3 梯度下降算法 7
1.3.1 优化算法概述 7
1.3.2 随机梯度下降算法 9
1.3.3 Mini-Batch梯度下降算法 12
1.3.4 Momentum梯度下降算法 13
1.3.5 Adam优化算法 14
1.4 神经网络 15
1.4.1 神经网络的表示 15
1.4.2 激活函数及其导数 19
1.4.3 前向传播和反向传播 23
1.4.4 神经网络的梯度下降 27
1.5 本章小结 27
第2章 卷积神经网络 1
2.1 卷积基础知识 1
2.1.1 卷积操作 1
2.1.2 池化 5
2.1.3 卷积的变种 7
2.2 深度卷积神经网络 9
2.2.1 卷积神经网络的整体结构 9
2.2.2 残差结构和1×1 卷积 10
2.2.3 经典卷积网络 13
2.3 卷积神经网络的应用 16
2.3.1 图像分类 16
2.3.2 目标检测 18
2.3.3 其他应用 21
2.4 本章小结 21
第3章 循环神经网络 1
3.1 深度循环神经网络 1
3.1.1 循环神经网络概述 1
3.1.2 通过时间的反向传播 3
3.1.3 循环神经网络的长期依赖问题 5
3.2 循环神经网络变体 6
3.2.1 长短时记忆网络LSTM 6
3.2.2 门控循环神经网络GRU 11
3.3序列模型和注意力机制 12
3.3.1 Seq2Seq序列模型 12
3.3.2 注意力机制 15
3.3.3 Transformer结构 19
3.4 循环神经网络的应用 24
3.4.1 自然语言处理 24
3.4.2 语音识别 33
3.4.3 唤醒词检测 36
3.5 本章小结 37
第4章 深度神经网络的训练 1
4.1 深度学习的学习策略 1
4.1.1 数据集划分和评估指标 1
4.1.2 偏差、方差和误差 4
4.1.3 神经网络的权重初始化 5
4.2深度学习的训练技巧 6
4.2.1 梯度消失和梯度爆炸 6
4.2.2 正则化和Dropout 7
4.2.3 归一化 9
4.2.4 自适应学习率 10
4.3 改善模型表现 12
4.3.1 解决数据不匹配问题 12
4.3.2 迁移学习 13
4.4 动手训练神经网络 14
4.4.1 Jupyter Notebook的使用 14
4.4.2 训练MNIST手写数字识别模型 15
4.4.3 Tensorboard的使用 21
4.5 本章小结 24
第5章 RK3399Pro芯片功能与架构 1
5.1 RK3399Pro芯片的整体架构 1
5.2 神经网络处理单元（NPU） 6
5.2.1 NPU的4大模块 7
5.2.2 RKNN-Toolkit开发套件 8
5.2.3 RKNN-API开发套件 10
5.3 视频处理单元（VPU） 11
5.4 图形处理加速单元（RGA） 13
5.5 本章小结 13
第6章 TB-RK3399Pro开发板平台 1
6.1开发板硬件环境介绍 1
6.1.1 硬件总览 1
6.1.2 硬件规格 2
6.2开发板开发环境搭建 5
6.2.1开发板的启动和网络配置 5
6.2.2终端与软件包安装 9
6.3 本章小结 15
第7章 基于TB-RK3399Pro进行卷积神经网络实践 1
7.1 TB-RK3399Pro图像采集 1
7.1.1 原理 1
7.1.2 实战 1
7.2 TB-RK3399Pro手写数字识别 3
7.2.1 原理 3
7.2.2 实战 6
7.3 TB-RK3399Pro YOLO目标检测 8
7.3.1 原理 8
7.3.2 实战 9
7.4 TB-RK3399Pro人脸识别 12
7.4.1 原理 12
7.4.2 实验 18
7.5 本章小结 19
第8章 TB-RK3399Pro神经网络运算加速 1
8.1神经网络加速引擎介绍 1
8.2 神经网络模型部署和推理 2
8.2.1 模型部署 3
8.2.2 模型推理 4
8.3神经网络模型量化 7
第9章 基于TB-RK3399Pro开发板进行循环神经网络实践 1
9.1 TB-RK3399Pro开发板声音采集 1
9.1.1 必备环境安装 1
9.1.2 声音采集 2
9.2 语音识别模型介绍 3
9.2.1 特征提取 3
9.2.2 语音识别网络 7
9.2.3 评价指标 10
9.3 TB-RK3399语音识别实践 10
9.3.1 实验目的 10
9.3.2 实验数据 10
9.3.3 实验环境 10
9.3.4 实验步骤 11
9.3.5 实验结果 15
9.4 本章小结 17
第10章 基于Rock-X API的深度学习案例 1
10.1 Rock-X SDK 介绍 1
10.2 Rock-X 环境部署 1
10.3 目标检测 2
10.4 车牌识别 7
10.5 身体关键点检测 11
10.6 人脸关键点检测 13
10.7 手指关键点检测 18
10.8 人脸识别 21
10.9 本章小结 25
第11章 TB-RK3588X开发板平台 1
11.1 开发板硬件环境介绍 1
11.1.1 产品简介 1
11.1.2 芯片架构 2
11.1.3 系统框图 3
11.1.4 硬件规格 4
11.2 开发板软件开发介绍 6
11.2.1 开机启动 6
11.2.2 固件升级 7
11.2.3 搭建系统环境 9
11.2.4 编译配置 10
11.2.5 镜像编译 13
11.2.6 LINUX烧写镜像 14
11.2.7 Windows烧写镜像 15
11.2.8 常见问题 15
11.2.9 RKNN开发指南 15
11.3 本章小结 16
