本书系统全面地阐述了对偶学习，使得相关研究人员和从业者能够更好地了解该领域的前沿技术。全书分为五部分。第1部分简要介绍机器学习和深度学习的基础知识。第2部分以机器翻译、图像翻译、语音处理及其他自然语言处理/计算机视觉为例，详细介绍了基于对偶重构准则的算法。第3部分是基于概率准则的若干工作，包括基于联合概率的对偶有监督学习和对偶推断，以及基于边缘概率的对偶半监督学习。第4部分从理论角度解读了对偶学习，并且讨论了和其他学习范式的关联。第5部分总结全书并给出若干未来研究方向。

无

在过去的十几年中，深度神经网络已经成为人工智能（Artificial Intelligence，AI）的主导模式。深度学习极大地推动了从计算机视觉、自然语言和语音处理到游戏等人工智能各领域的发展。深度学习成功的关键要素之一在于大量有标数据的获取。与此对应的一个挑战（也是研究热点）是如何从有限的、不充分的数据上有效地学习。对偶学习是一种新的学习范式，通过人工智能任务之间的结构对偶性来解决这一挑战。
本书系统地总结了对偶学习的进展，涵盖对偶学习的基本准则（包括对偶重构准则、联合概率准则、边缘概率准则）和多种机器学习设定及算法（包括对偶半监督学习、对偶无监督学习、对偶有监督学习、对偶推断）。对每种设定，我们会依据实际场景介绍多种应用，例如机器翻译、图像到图像的翻译、语音合成和识别、问题回答和问题生成、图像分类和生成、代码摘要和代码生成，以及情感分析等。
本书主要面向机器学习、计算机视觉、自然语言和语音领域的研究人员和研究生、本科生。掌握这些领域的背景知识对阅读本书会有帮助，但不是必需的。为了方便阅读，本书第 2 章和第 3 章简要介绍了机器学习和深度学习的基本概念。

秦 涛
2020 年 7 月
北京

计算机\人工智能

许多人工智能（和机器学习）任务具有对偶形式，例如，英语到汉语的翻译和汉语到英语的翻译、语音识别和语音合成、问题回答和问题生成、图像分类和图像生成。对偶学习是一种新的学习框架，它利用人工智能任务的原始-对偶结构获取有效的反馈或者正则信号来加强学习/推断过程。对偶学习的概念在几年前就被提出，它已经在多个领域引起了关注并且在多个任务——例如机器翻译、图像翻译、语音合成和语音识别、（视觉）问题回答和问题生成、图像描述和图像生成、代码摘要和代码生成——上验证了有效性。

本书系统全面地阐述了对偶学习，可以帮助相关研究人员和从业者更好地了解该领域的前沿技术。全书分为五部分。第一部分简要介绍机器学习和深度学习的基础知识。第二部分以机器翻译、图像翻译、语音处理及其他自然语言处理/计算机视觉任务为例，详细介绍了基于对偶重构准则的算法。算法包括对偶半监督学习、对偶无监督学习、多智能体对偶学习等。关于图像翻译，介绍了包括CycleGAN、DualGAN、DiscoGAN、cdGAN在内的算法以及近期发展。第三部分介绍基于概率准则的若干研究，包括基于联合概率准则的对偶有监督学习和对偶推断，以及基于边缘概率准则的对偶半监督学习。第四部分从理论角度解读了对偶学习，并且讨论了和其他学习范式的联系。第五部分总结了全书内容并给出若干未来研究方向。本书还就进一步阅读提供了建议，给出了相关文献，以帮助读者深入了解该领域、推动该领域的发展。

对偶学习是一种新的学习范式，它在学术界和工业界都得到了广泛应用。对偶学习的核心思想是利用两个任务之间的结构对偶性建立反馈信号并以此提升模型性能。希望本书能让更多读者了解这种范式。
本书的翻译离不开众多老师和同学的帮助。感谢秦涛老师对本书翻译工作的大力支持，也感谢他在我们近 10 年的合作中给予我悉心的指导。感谢中国科学技术大学的祝金华、范阳和吴可寒三位同学的辛苦付出，他们对本书第 5～7 章的翻译提供了帮助，感谢秦涛、王蕊、吴郦军、解曙方、汪跃、刘国庆、祝金华、吴可寒、冷燚冲对本书的审校，使本书的语言更加流畅。
鉴于译者水平，译稿中错误和不足在所难免。若有发现，烦请反馈给我们，我们将及时更正。

夏应策
2021 年 12 月

译者序
前言
致谢
第 1 章 绪论 1
1.1 引言 1
1.2 人工智能任务中的结构对偶性 3
1.3 对偶学习的划分 4
1.3.1 依照使用数据划分 4
1.3.2 依照对偶信号构造准则划分 4
1.4 全书总览 5
参考文献 6
第 2 章 机器学习基础 10
2.1 机器学习范式 10
2.1.1 有监督学习 11
2.1.2 无监督学习 12
2.1.3 强化学习 13
2.1.4 其他学习范式 14
2.2 机器学习算法核心组成部分 14
2.3 泛化和正则化 16
2.4 搭建机器学习模型 17
2.4.1 数据收集和特征工程 18
2.4.2 算法选择、模型训练、超参数调优 18
参考文献 19
第 3 章 深度学习基础 24
3.1 神经网络 24
3.2 卷积神经网络 27
3.3 序列建模 29
3.3.1 递归神经网络及其变种 30
3.3.2 编码器解码器架构 31
3.3.3 Transformer 网络 34
3.4 深度模型训练 36
3.4.1 随机梯度下降法 37
3.4.2 正则化 38
3.5 为什么选择深度神经网络 39
参考文献 41
第 4 章 对偶学习在机器翻译中的应用及拓展 48
4.1 机器翻译简介 48
4.1.1 神经机器翻译 49
4.1.2 回译技术 50
4.2 对偶重构准则 51
4.3 对偶半监督学习 52
4.4 对偶无监督学习 56
4.4.1 基本思想 56
4.4.2 系统架构和训练算法 57
4.5 多智能体对偶学习 60
4.5.1 模型架构 61
4.5.2 拓展和比较 62
4.5.3 多智能体对偶机器翻译 63
4.6 拓展 65
4.6.1 语义解析 65
4.6.2 文本风格迁移 66
4.6.3 对话 67
参考文献 68
第 5 章 对偶学习在图像翻译中的应用及拓展 72
5.1 简介 72
5.2 无监督图像翻译的基本思想 74
5.3 图像翻译 75
5.3.1 DualGAN 75
5.3.2 CycleGAN 77
5.3.3 DiscoGAN 80
5.4 细粒度图像翻译 80
5.4.1 细粒度图像翻译中的问题 81
5.4.2 条件 DualGAN 82
5.4.3 讨论 84
5.5 具有多路径一致性的多域图像翻译 84
5.6 拓展 86
5.6.1 人脸相关任务 86
5.6.2 视觉语言任务 87
5.6.3 其他图像相关任务 88
参考文献 88
第 6 章 对偶学习在语音处理中的应用及拓展 93
6.1 神经语音合成和识别 93
6.2 语音链的对偶学习 94
6.3 低资源语音处理的对偶学习 97
6.3.1 使用双向序列建模的去噪自编码 97
6.3.2 使用双向序列建模的对偶重构 99
6.3.3 模型训练 100
6.4 极低资源语音处理的对偶学习 101
6.4.1 预训练和微调 103
6.4.2 对偶重构 103
6.4.3 知识蒸馏 104
6.4.4 LRSpeech 的性能 105
6.5 非母语语音识别的对偶学习 106
6.5.1 非母语语音识别的难点 106
6.5.2 基于对偶重构准则的方法 106
6.6 拓展 108
参考文献 109
第 7 章 对偶有监督学习 114
7.1 联合概率准则 114
7.2 对偶有监督学习算法 115
7.3 应用 117
7.3.1 神经机器翻译 117
7.3.2 图像分类和生成 118
7.3.3 情感分析 119
7.3.4 问题回答和问题生成 120
7.3.5 代码摘要和代码生成 121
7.3.6 自然语言理解和生成 125
7.4 理论分析 126
参考文献 127
第 8 章 对偶推断 131
8.1 基本架构 131
8.2 应用 133
8.3 理论分析 134
参考文献 136
第 9 章 基于边缘概率的对偶半监督学习 138
9.1 边缘概率的高效估计 138
9.2 以边缘概率为约束 140
9.3 无标数据的似然最大化 141
9.4 讨论 143
参考文献 144
第 10 章 对偶重构的理论解读 148
10.1 概述 148
10.2 对偶重构准则在无监督学习中的解读 149
10.2.1 对偶无监督映射的建模 149
10.2.2 存在的问题和简单性假设 151
10.2.3 最小复杂度 152
10.3 对偶重构准则在半监督学习中的解读 154
10.3.1 算法和符号说明 155
10.3.2 双语翻译 156
10.3.3 多域对偶学习 160
参考文献 161
第 11 章 对偶学习和其他学习范式的联系 164
11.1 对偶半监督学习和协同训练 164
11.2 对偶学习和多任务学习 166
11.3 对偶学习、GAN 和自编码器 166
11.4 对偶有监督学习和贝叶斯阴阳学习 167
11.5 对偶重构及相关概念 168
参考文献 169
第 12 章 总结和展望 174
12.1 总结 174
12.2 未来研究方向 175
12.2.1 更多的学习环境和应用 175
12.2.2 提升训练效率 177
12.2.3 理论研究 178
参考文献 178