本书初步探索了将深度学习应用于自然语言处理的方法。概述了自然语言处理的一般概念，介绍了如何将深度学习技术应用于自然语言处理。通过具体实例说明了如何提取自然语言文本的特征以及如何考虑上下文关系来生成文本。本书中，自然语言文本的特征提取是通过卷积神经网络来实现的，而根据上下文关系来生成文本则利用了循环神经网络。这两个网络是深度学习领域中常用的基础技术.

本书详细介绍了将深度学习应用于自然语言处理的方法，并概述了自然语言处理的一般概念，通过具体实例说明了如何提取自然语言文本的特征以及如何考虑上下文关系来生成文本。书中自然语言文本的特征提取是通过卷积神经网络来实现的，而根据上下文关系来生成文本则利用了循环神经网络。这两个网络是深度学习领域中常用的基础技术。
本书通过实现C语言程序来具体讲解自然语言处理与深度学习的相关技术。本书给出的程序都能在普通个人电脑上执行。通过实际执行这些C语言程序，确认其运行过程，并根据需要对程序进行修改，读者能够更深刻地理解自然语言处理与深度学习技术。

前
小高知宏　日本福井大学工学研究科教授。其主要著作有日本欧姆社出版的《从基础开始学会TCP/IP Java网络程序设计 第2版》《初学AI程序设计——用C语言制作人工智能和人工无能》《初学机器学习》《基于AI的大规模数据处理入门》等。

后
申富饶 南京大学计算机科学与技术系教授，博士生导师。主要研究方向包括神经网络、数据分析、机器人智能等, 在国内外发表学术论文80余篇。

于 僡 毕业于日本德岛大学电气电子专业。现于日本从事机器人及电子制作教育教材开发、中小学生程序设计与机器人竞赛培训工作。

深度学习技术在计算机图像识别领域取得了重大成果，这一技术目前已经逐渐应用于机器学习的多个不同领域，使人工智能发展到了过去所不能达到的能力层次。同样，深度学习也能应用于自然语言处理领域，能够解决过去不能处理的各种自然语言处理问题。
本书初步探索了将深度学习应用于自然语言处理的方法，概述了自然语言处理的常见概念，通过具体实例说明了如何提取自然语言文本的特征以及如何考虑上下文关系来生成文本。本书中，自然语言文本的特征提取是通过卷积神经网络来实现的，根据上下文关系来生成文本则利用了循环神经网络。这两个网络是深度学习领域中常用的基础技术。
本书通过实现C语言程序来具体讲解自然语言处理与深度学习的相关技术，所给出的程序都能在普通的个人电脑上执行。通过实际执行这些C语言程序，确认其运行过程，并根据需要对程序进行修改，读者能够更深刻地理解自然语言处理与深度学习技术。
本书的完成离不开作者在福井大学从事科研活动积累的经验，在此特别感谢提供这样机会的福井大学教职员和学生。此外，特别感谢Ohmsha出版社提供了出版本书的机会。最后，感谢支持我完成本书的家人洋子、研太郎、桃子以及优。

小高知宏
2017年2月

计算机\人工智能

本书初步探索了将深度学习应用于自然语言处理的方法。概述了自然语言处理的一般概念，通过具体实例说明了如何提取自然语言文本的特征以及如何考虑上下文关系来生成文本。书中自然语言文本的特征提取是通过卷积神经网络来实现的，而根据上下文关系来生成文本则利用了循环神经网络。这两个网络是深度学习领域中常用的基础技术。
本书通过实现C语言程序来具体讲解自然语言处理与深度学习的相关技术。本书给出的程序都能在普通个人电脑上执行。通过实际执行这些C语言程序，确认其运行过程，并根据需要对程序进行修改，能够更深刻地理解自然语言处理与深度学习技术。

[日]小高知宏：小高知宏 日本福井大学大学院工学研究科教授。其主要著作有《计算机系统》《从基础开始学会TCP/IP Java网络程序设计 第2版》《初学AI程序设计——用C语言制作人工智能和人工无能》《初学机器学习》《基于AI的大规模数据处理入门》《人工智能入门》等。

这是一本自然语言处理与深度学习的入门书，适合对自然语言处理与深度学习感兴趣的初学者阅读。书中不涉及高深的数学理论，读者仅需要掌握C语言的基础知识和高中程度的数学知识即可进行学习。本书也可供相关专业人士参考。
译者在Microsoft Visual Studio Professional 2013下编译执行了本书涉及的所有程序和实例，书中给出的结果为译者实际执行的结果，和原书略有不同，但都是正确的。读者可以从如下网址下载所有程序代码和实例的数据：http://cs.nju.edu.cn/rinc/book2017。
因为本书涉及的实例数据是用Shift_JIS汉字编码表示的日语文本，在中文环境下测试时需要将“非Unicode程序的语言”调整为“日语（日本）”，即做如下操作：
“控制面板”→“时钟、语言和区域”→“区域和语言”→“管理”→“更改系统区域设置”→日语（日本）”。
在完成测试后，可以按上述方法将“非Unicode程序的语言”调整回“中文（简体，中国）”。即便执行结果和书中报告的结果不一致，也是正确的，因为神经网络中用随机数来初始化权重，每次执行可能会带来不同的结果。

译者序
前言
第1章　自然语言处理与深度学习1
1.1　自然语言处理1
1.1.1　什么是自然语言处理1
1.1.2　自然语言处理基础4
1.2　深度学习13
1.2.1　人工智能与机器学习13
1.2.2　神经网络16
1.2.3　卷积神经网络和自编码器22
1.3　与自然语言处理相关的深度学习27
1.3.1　自然语言处理与神经网络、深度学习27
1.3.2　用神经网络来表达单词意义29
1.3.3　深度学习应用于自然语言处理31
第2章　基于文本处理的自然语言处理32
2.1　自然语言文本的文本处理32
2.1.1　文字处理32
2.1.2　单词处理45
2.1.3　1-of-N表示的处理54
2.2　基于单词2-gram的文本生成68
第3章　深度学习应用于自然语言文本分析77
3.1　基于CNN的文本分类77
3.2　准备1：卷积运算和池化处理81
3.2.1　卷积运算81
3.2.2　池化处理90
3.3　准备2：全连接型神经网络96
3.3.1　基于层次结构的全连接型神经网络的构造及学习方法96
3.3.2　全连接型神经网络的实现99
3.4　卷积神经网络的实现102
3.4.1　卷积神经网络的结构102
3.4.2　由卷积神经网络学习1-of-N表示数据103
3.4.3　基于CNN的单词序列评估118
第4章　文本生成与深度学习133
4.1　基于循环神经网络的文本生成133
4.1.1　神经网络和文本生成133
4.1.2　循环神经网络136
4.2　RNN的实现139
4.2.1　RNN程序的设计139
4.2.2　RNN程序的实现141
4.3　基于RNN的文本生成154
4.3.1　基于RNN的文本生成框架154
4.3.2　文本生成实验的实例160
附录A　将行的重复次数添加到行首的程序uniqc.c167
附录B　按照行首的数值对行进行排序的程序sortn.c169
附录C　全连接型神经网络的程序bp.c171
参考文献178