本书系统性地阐述智能语音处理技术，并重点以机器学习等技术及其在语音处理中的典型应用，理论与实践联系紧密。
十余年深耕智能语音处理的研究结晶
人工智能在语音处理领域的应用成果
语音是人类相互交流和通信的最方便快捷的手段。如何智能高效地实现语音传输、增强、识别、合成、存储、转换或通过语音实现人机交互，是现代语音信息处理领域的重要研究课题。智能语音处理涉及人工智能、数字信号处理、语音学、语言学、生理学、计算机科学等诸多学科，是目前智能科学与技术和信号与信息处理学科中发展最为迅速的一个研究领域。
近二十年来，随着人工智能技术的快速发展，智能语音处理技术及应用取得了一系列重大进展，语音编码、语音识别、语音合成、语音增强、说话人识别等方向的研究成果不断涌现，语音理解、语音转换、语音情感分析等新应用进展顺利。同时，迅猛发展的高性能计算设备（CPU、GPU等）、高性能数字信号处理（DSP）芯片为实时地实现更高复杂度的智能语音处理算法提供了可能。目前，市场上已有不少智能语音处理的应用产品，并且还在不断推出新产品。以智能手机为代表的智能终端产品以及以人机语音交互为代表的语音应用场景给智能语音处理提出了新的要求，智能语音处理技术的应用前景和市场潜力十分巨大。
本书以作者近十年来指导博士研究生开展语音信息智能处理研究取得的成果为基础，结合主持开展的国家自然科学基金、江苏省自然科学基金和江苏省优秀青年科学基金等语音处理科研项目，并参考相关文献资料编著而成。全书系统地介绍了智能语音处理的基本理论、方法和典型应用，并介绍了研究现状和发展趋势。
本书是按照导论—基础理论—应用实践的主线展开的，系统地介绍了智能语音处理涉及的基础理论、方法、技术以及典型的智能语音处理应用。
本书共11章，可分为四个部分。
第一部分是导论，对应第1章，概要介绍了经典语音处理与智能语音处理的基本概念以及语音处理的典型应用。
第二部分是基础理论，包括第2～5章。第2章介绍了稀疏和稀疏表示、冗余字典以及压缩感知的基本原理和方法；第3章介绍了隐变量模型，包括高斯混合模型、隐马尔可夫模型和高斯过程隐变量模型等；第4章主要介绍主成分分析和非负矩阵分解两种典型的组合模型；第5章主要介绍人工神经网络和深度学习的基础知识以及深度神经网络的典型结构。
第三部分是应用实践，包括第6～10章。第6章综合利用稀疏表示、字典学习、深度学习等智能处理技术，分别介绍基于K-L展开的字典学习的语音压缩感知、基于梅尔倒谱系数重构的抗噪低速率语音编码以及基于深度自编码器的抗噪低速率语音编码这三种方案；第7章重点介绍了基于非负矩阵分解和基于深度学习的智能语音增强方法；第8章在介绍语音转换的基本原理的基础上，重点介绍了基于非负矩阵分解和基于深度神经网络的谱转换方法；第9章首先介绍了说话人识别系统的框架和模型，然后分别介绍了基于i-vector和基于深度神经网络的说话人识别方法；第10章在介绍骨导语音特性和骨导语音盲增强的基本原理的基础上，分别介绍了基于长短时记忆网络和基于均衡-生成组合谱映射的骨导语音盲增强方法。
第四部分是结束语，对应第11章，对全书进行了总结，并对智能语音处理的未来发展进行展望。
本书的内容组织结构如下图所示。
张雄伟构建了全书的内容架构，并重点编写了第1章及第11章部分内容，孙蒙编写了第4、5、8、9章，杨吉斌编写了第2、3、6、7、10章及第11章部分内容。本书编写过程中，曾理、陈栩杉博士参与了第2章的编写，孙新建博士参与了第3章的编写，陈栩杉博士参与了第4章的编写，韩伟博士参与了第5章的编写，曾理、闵刚博士参与了第6章的编写，周彬、黄建军、韩伟博士参与了第7章的编写，孙健博士和博士生苗晓孔参与了第8章的编写，吴海佳博士以及博士生李嘉康、张星昱参与了第9章的编写，曹铁勇教授和郑昌艳博士参与了第10章的编写。
全书由张雄伟、杨吉斌、孙蒙审校，张雄伟对全书进行统校。
由于作者研究范围和水平所限，疏漏和错误之处在所难免，恳请广大读者批评指正。
作 者
2020年5月于陆军工程大学（南京）
计算机\语音处理
本书从智能化社会对语音处理提出的新要求出发，系统地介绍了智能语音处理涉及的基础理论、基本技术、主要方法以及典型的智能语音处理应用，理论与实际紧密结合，适合作为高等院校人工智能、电子信息工程、物联网工程、数据科学与大数据技术、通信工程等专业高年级本科生以及智能科学与技术、信号与信息处理、网络空间安全、通信与信息系统等学科研究生的参考教材，也可供从事语音处理技术研究与应用的科研及工程技术人员参考。
前言
第1章 智能语音处理导论1
1.1 概述1
1.2 经典语音处理2
1.2.1 语音处理的发展2
1.2.2 语音基本表示方法3
1.2.3 语音处理基本方法3
1.2.4 经典语音处理方法的不足4
1.3 智能语音处理5
1.3.1 智能语音处理的基本概念5
1.3.2 智能语音处理的基本框架5
1.3.3 智能语音处理的基本模型6
1.4 语音处理的应用7
1.4.1 语音处理的传统应用领域8
1.4.2 语音处理的新应用领域11
1.5 小结14
参考文献14
第2章 稀疏和压缩感知15
2.1 引言15
2.2 稀疏和稀疏表示16
2.2.1 稀疏16
2.2.2 稀疏表示18
2.3 冗余字典19
2.3.1 基本概念19
2.3.2 字典学习20
2.3.3 字典学习算法22
2.3.4 原子选择算法25
2.4 压缩感知27
2.4.1 基本概念27
2.4.2 压缩感知模型29
2.4.3 观测矩阵30
2.4.4 信号重构32
2.5 小结33
参考文献33
第3章 隐变量模型36
3.1 引言36
3.2 高斯混合模型36
3.2.1 基本概念37
3.2.2 GMM参数估计37
3.3 隐马尔可夫模型39
3.3.1 基本概念39
3.3.2 HMM关键问题42
3.4 高斯过程隐变量模型48
3.4.1 基本模型48
3.4.2 GPLVM的理论来源49
3.4.3 GPLVM模型训练50
3.5 小结51
参考文献51
第4章 组合模型52
4.1 引言52
4.2 主成分分析53
4.2.1 基本模型53
4.2.2 求解算法54
4.3 非负矩阵分解56
4.3.1 基本模型56
4.3.2 求解算法57
4.3.3 NMF与其他数据表示模型的关系58
4.4 鲁棒组合模型60
4.4.1 组合模型的鲁棒性分析61
4.4.2 鲁棒主成分分析61
4.4.3 鲁棒非负矩阵分解63
4.5 小结64
参考文献64
第5章 人工神经网络和深度学习65
5.1 引言65
5.2 神经网络基础66
5.2.1 神经元模型66
5.2.2 浅层神经网络67
5.2.3 深度神经网络68
5.3 深度学习69
5.3.1 基本概念和形式69
5.3.2 深度网络的学习方法70
5.4 深度神经网络的典型结构71
5.4.1 深度置信网络71
5.4.2 自动编码器与栈式自动编码器72
5.4.3 卷积神经网络74
5.4.4 循环神经网络75
5.4.5 生成式对抗网络77
5.5 小结79
参考文献79
第6章 语音压缩编码81
6.1 引言81
6.2 基于字典学习的语音信号压缩感知82
6.2.1 语音信号的稀疏性82
6.2.2 语音在常见变换域的稀疏化83
6.2.3 基于K-L展开的语音非相干字典84
6.2.4 基于K-L非相干字典的语音压缩重构87
6.2.5 实验仿真与性能分析88
6.3 基于梅尔倒谱系数重构的语音压缩编码93
6.3.1 基于梅尔倒谱分析的抗噪语音编码模型94
6.3.2 基于稀疏约束的梅尔倒谱合成96
6.3.3 梅尔倒谱系数的量化算法99
6.3.4 实验仿真与性能分析103
6.4 基于深度学习的语音压缩编码107
6.4.1 基于DAE的幅度谱编码和量化107
6.4.2 基于DAE的低速率语音编码110
6.4.3 实验仿真与性能分析111
6.5 小结113
参考文献113
第7章 语音增强115
7.1 引言115
7.2 语音增强技术基础116
7.2.1 语音增强的估计参数116
7.2.2 智能语音增强的语音特征117
7.2.3 性能评价118
7.3 基于非负矩阵分解的语音增强120
7.3.1 基本模型121
7.3.2 基于不相交约束非负矩阵分解的语音增强122
7.3.3 基于CNMF字典学习的语音增强127
7.4 基于深度学习的语音增强136
7.4.1 基于听觉感知加权的深度神经网络语音增强方法136
7.4.2 基于听觉感知掩蔽的深度神经网络语音增强方法141
7.5 小结151
参考文献152
第8章 语音转换155
8.1 引言155
8.2 语音转换基本原理155
8.3 语音转换模型与评价156
8.3.1 语音分析/合成模型156
8.3.2 语音参数的选择157
8.3.3 时间对齐157
8.3.4 转换模型和规则158
8.3.5 转换性能评价159
8.4 基于非负矩阵分解的谱转换160
8.4.1 概述160
8.4.2 基于卷积非负矩阵分解的谱转换161
8.4.3 声道谱转换效果164
8.5 基于深度神经网络的谱转换168
8.5.1 深度学习驱动下的语音转换168
8.5.2 面向谱转换的神经网络模型选择168
8.5.3 基于BLSTM和神经网络声码器交替训练的语音转换171
8.6 小结176
参考文献176
第9章 说话人识别178
9.1 引言178
9.2 说话人识别基础179
9.2.1 说话人识别系统框架179
9.2.2 典型的说话人识别模型180
9.3 基于i-vector的说话人识别及其改进181
9.3.1 基于i-vector的说话人识别概述181
9.3.2 用于提高i-vector鲁棒性的帧加权方法182
9.3.3 实验结果与分析187
9.4 基于深度神经网络的说话人识别187
9.4.1 基于深度神经网络的说话人识别概述187
9.4.2 基于对比度损失函数优化说话人矢量189
9.4.3 实验结果与分析191
9.5 说话人识别系统的攻击与防御192
9.5.1 攻击和防御的背景192
9.5.2 说话人识别系统的攻击方法192
9.5.3 说话人识别攻击的检测方法194
9.5.4 实验结果与分析196
9.6 小结196
参考文献197
第10章 骨导语音增强200
10.1 引言200
10.2 骨导语音增强基础201
10.2.1 骨导语音的产生与特性201
10.2.2 骨导语音盲增强的特点202
10.2.3 骨导语音盲增强的典型方法203
10.3 基于长短时记忆网络的骨导语音盲增强205
10.3.1 骨导/气导语音的谱映射206
10.3.2 基于深度残差BLSTM的骨导语音盲增强方法207
10.3.3 实验仿真及性能分析211
10.4 基于均衡-生成组合谱映射的骨导语音盲增强215
10.4.1 均衡法215
10.4.2 基于均衡-生成组合谱映射的骨导语音盲增强方法216
10.4.3 实验仿真及性能分析218
10.5 小结222
参考文献223
第11章 智能语音处理展望224
11.1 智能语音处理的未来224
11.2 有待解决的关键技术225
11.2.1 语音识别226
11.2.2 语音合成228
11.2.3 语音增强229
11.2.4 语音处理中的安全问题230
11.3 小结230
参考文献230
缩略语232
