本书是一本建立在零基础的，以介绍对话机器人领域为目的，通过书中的内容介绍让更多对对话机器人感兴趣的初级读者，可以由浅入深，了解和学习对话机器人的发展现状，用途，原理和技术。
主要内容：
第一部分 数学与统计学基础
数学与统计学是现代机器学习理论的基础，本书会对机器学习中重点涉及的数学与统计学知识做一下整理，方便读者了解和掌握，以便可以顺利的过渡到后面专业知识的理解。
第二部分 自然语言处理模型与技术
对话机器人是以自然语言处理为发展的一个专业领域，基础的自然语言处理模型与技术对于学习后面的专业知识是必要的。本书通过先介绍自然语言处理模型，然后对依赖这个模型所扩展出的自然语言处理技术做详细介绍。使得初学者可以从数学理论到模型，从模型到技术的理论结合实际的方式，学好本书的内容
第三部分 对话机器人的核心技术
在对话机器人的核心技术章节，我们先介绍
1.对话机器人的发展综述。
2.自然语言理解NLU的部分，让读者可以更加清晰的认识到Intent (目的)识别和 Entities （命名实体）识别的重要性。为了更加了解一句话中各个实体间的形容和被形容关系，我们引入句法树和依存句法分析的概念。这样机器人就可以简单的弄清一句话说的是什么，和各个实体间的关系。
3.为了让机器像人类一样可以有更多的知识积累和进行简单的逻辑推理，我们接下来要介绍知识图谱。这里我们重点介绍知识图谱的模型，知识抽取，知识图谱数据库的搭建和存储，以及在简单的了解到Intent和各个实体间关系后，如何根据知识图谱进行推理计算和理解
4.在对句子有了一定的深入理解后，我们需要介绍预测会话和答复生成。在机器理解了问题的内容后，如何给出精确的答复。这里会介绍用于客服机器人的Question to Question 的匹配来得到预先准备好的标准答案。也会介绍通话自然语言理解利用知识图谱得到生成答案，以及通过互联网检索的方式，得到置信度较高的问题答案。最后还会了解如何存储我们学到的问题和答案的配对。
5.在机器学会了一问一答后，我们需要介绍
1.根据上下文理解的对话生成。
2.多轮对话的控制和生成。
3.多主题多轮对话的切换。
6.人机对话过程中的情感计算
1.设计情感计算的对话场景
2.情感计算的建模与识别
3.根据情感计算生成带情感色彩的回复

第四部分 对话机器人实战
本书的第四个部分会详细分以下三个方面阐述
1.实战对话机器人的架构
2.对话机器人的开发流程和方案
3.对话机器人的开发案例
在对话机器人的开发案例里面，我们会介绍：
1.垂直领域的客服机器人
2.开放领域的知识问答类型机器人
3.闲聊型的情感机器人
第五部分 附录
附录里会有我们总结的机器学习的模型列表，自然语言模型列表，深度学习的模型列表以及每一章的实战代码

Opus Research创始人Dan Miller与前Oracle自然语言技术总监Jan van Sas联袂推荐

为什么要写这本书
2015年我跳出一家传统的软件公司，重新做回文本挖掘的相关工作。那个时候心中的执念是想把自己读硕士时的研究方向继续下去。跳出人生的舒适区，发现周围的技术真的是日新月异，从而感叹自己的落伍和脱节。于是开始从最简单的分词做起，职业生涯起起伏伏，在那段岁月中依然保持着心中的执念和对求知的渴望。有幸的是，在这个过程中结识了一些业内的好友，在他们的不断指引下，感觉每天都小有进步。在学习的过程中，我正好也赶上了自然语言处理技术的浪潮，在AI技术深入人心的阶段入行实是我人生的一大幸事！
对话系统是自然语言处理（NLP）领域的一颗璀璨明珠，它源于专家库系统。从技术的角度讲，它集结了自然语言理解（NLU）技术和自然语言生成（NLG）技术,而自然语言处理又恰恰是人工智能（AI）最难破解的领域。就是在那段时间里，我萌发了要做对话系统的想法。万事开头难，在这个过程中翻阅了不少参考资料，但是发现一个问题，市场上专门写对话系统的书寥寥无几，
介绍自然语言处理的专业
书籍也特别少。所以只能翻看一些论文，但论文的理论性很强，实操性又太差，对初学者和基础薄弱者来讲很不友好。
当时市场上流行的自然语言处理的书籍
可以分以下几种类型：第一，经典的教材，如宗成庆老师的《统计自然语言处理》；第二，经典实操教材，如《Python自然语言处理》；第三，经典的翻译教材，如《统计自然语言处理基础》。而
讲解中文自然语言处理的实操性的书籍着实太少了。
2018年冬天的一个午后，我和郭师光几个人一起吃饭，茶余饭后聊起聊天机器人，大家有很多共同的想法。在自然语言处理、深度学习以及人工智能领域，大家都积累了一些经验，所以我就提议：大家能不能围绕自然语言处理和对话系统写一本书，
写写大家对自然语言处理技术以及对话系统的认识，帮初学者归纳总结一些在中文文本挖掘方面的知识点和成功经验。我的提议很快得到了崔燕红博士的响应和支持,就这样，本书的创作团队正式成立。不过，在创作过程中也遇到了很多问题。对话系统本身要求技术人员对算法和工程都要有一个清晰和完整的认识，而且需要有很强的工程实践能力。我在书中这部分的讲解过程中提到，在不同公司的应用场景和数据集上做优化就会诞生不同的对话系统。但是，对话系统也有一些共同的部分，比如通用的自然语言处理方法、通用的架构，以及针对不同业务场景
所采用的相同的解决方法。所以本书旨在帮助读者梳理相关知识点和思考问题的方式。许多个不眠之夜的奋笔疾书，许多个节假日的思考和资料的查阅，将我们的分享像涓涓细流，浇灌在每一个读者心间，我想我们的这些努力就是最大的价值。
读者对象
自然语言处理入门者和爱好者
初中级自然语言处理工程师
AI技术入门者和爱好者
开设相关课程的大专院校的师生
如何阅读本书
本书按内容可分为三大部分。
第一部分（第1章）为基础篇，简单地介绍数学和统计的基本相关理论，帮助读者了解一些基础背景知识，并熟悉一些基础的数学理论知识。
第二部分（第2~9章）为自然语言处理的技术篇，着重讲解自然语言处理的模型和技术。它们是构成对话系统的基础。一些模型可以用在自然语言理解模块（NLU）和自然语言生成模块（NLG）。同时帮助读者整理对话系统的工程和架构知识。
第三部分（第10~12章）为实例篇，通过对三个对话系统典型案例的讲解，让读者完整了解一个架构、设计和实现对话系统的流程。
勘误和支持
由于作者的水平有限，编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。你可以将书中的错误或宝贵意见发送至邮箱yfc@hzbook.com，期待能够得到你们的真挚反馈。
致谢
首先要感谢伟大的人工智能之父艾伦·麦席森·图灵，是他开创了整个AI领域。
感谢清华大学对我的培养。
感谢崔燕红、郭师光、党习歌对本书付出的巨大努力。
感谢机械工业出版社华章分社的编辑杨福川，在这一年的时间中始终支持着我的写作，你的鼓励和帮助引导我顺利完成全部书稿。
感谢唯品会的黄惠燕女士对我的支持和帮助。
最后感谢我的老婆和两位可爱的女儿，感谢你们时时刻刻为我灌输着信心和力量！
谨以此书献给我最亲爱的家人，以及众多热爱人工智能和自然语言处理的朋友们！

刘宇

计算机\人工智能

本书作者巧妙地指出了聊天机器人的技术难点，即需要迅速识别到每次谈话的目的以及发话者的意图。最受欢迎的聊天机器人往往会使用它们的训练数据和分析引擎来达到预测沟通和交流的目的，通过持续反馈循环，不断改进，完善知识库信息，最终得到量身定制的答案和富有情绪化的沟通框架。
如果你要在各种场景和用例中，实现聊天机器人的自然流畅对话，那没有比这本书更适合你阅读的了，它可以帮助你的聊天机器人全面履行和实现真正的智能会话的愿景，在此郑重推荐。
——Dan Miller Opus Research首席分析师/创始人

第一次与作者团队见面是在2016年，那时他们刚提出用NLP和人工智能提升用户体验的项目。后来我与作者团队的沟通逐渐深入，话题涉及“聊天机器人性能优化”和“聊天机器人内容管理的技巧”等领域。很显然，他们富有创造力的工作得到了回报，后来他们的项目取得了巨大的成功，智能客服项目解决了数以亿计的客户问题，并将现场呼叫中心从大量的负荷中解救了出来。
再后来，我得知他们在业余时间完成了本书的创作。将业内一流聊天机器人的经验转化为这本先进的“传道书”。读过本书，我意识到作者们已经对聊天机器人的各个方面都有了深刻的理解，我多么希望我当年进入聊天机器人这个领域时能拥有这样一本好书。
感谢作者们的辛勤付出，我对他们的创造力赞叹不已，同时强烈推荐这本书给任何对聊天机器人开发感兴趣的人。
——Jan van Sas 比利时安特卫普大学 AI专业教授/前Oracle自然语言技术总监
本书围绕对话机器人主题进行了深度剖析，从实战角度结合多业务场景对对话机器人相关技术进行详细讲解。通过本书的学习可以系统地掌握如何搭建一套完整的对话机器人系统，以及所需要的理论知识和技能。作者对自然语言处理、对话机器人理解透彻，实战经验丰富，推荐读者品读。
——肖冠宇 小象科技合伙人
近年来聊天机器人受到了学术界和工业界的广泛关注，本书详细讲解了聊天机器人涉及的自然语言处理、深度学习、知识图谱等多领域技术，既把理论基础讲得系统通透，又易于初学者实战上手，适合有志于从事这个领域的工程师阅读
——石晶 猎聘数据分析总监

推荐序一
Chatbots are redefining“self-service”for the customers of thousands of companies around the world because they make it possible for people to use their own words to explain what they want to do or what question they want answered.Growth in their use will rely on constant improvement in their ability to understand and respond to what people want，which means that their future relies on developers who are well versed in what chatbots are capable of doing and，more importantly，what they ought to be doing.
As you will learn by reading this excellent resource，advances in Natural Language Understanding make it possible for a computer system to capture what a person says or types into a smartphone，understand the individual’s intent and provide the right answers or recommended actions with great consistency.Next will come the ability to carry on longer conversations，covering several topics or“intents”in the same session.
As the authors of this excellent book so ably point out，it all starts with rapid recognition of the purpose of each conversation and the intent of the individual that initiated.There is a lot of math and data crunching involved，but the real difference is the human factor.The most loved chatbots use their training data and analytical engines to anticipate the purpose of a contact.They rely on human input to create conversation models that are pleasant，as well as effective.And they are the product of an ongoing feedback loop that enables subject matter experts to step in to improve answers when necessary and determine the best course to take when the automated agent finds itself in unfamiliar territory.
As chatbots become more efficient，we expect a majority of individuals to prefer to carry on business with them rather than people.As long as the chatbot has been provided with information from the proper knowledge bases，is trained on appropriate conversation models and continues to refine its answers based on supervised machine learning that makes it possible for them to continuously improve responses based on understanding new words and terminology.
This book is a fantastic starting point for people to learn what they need to build the best chatbots possible.You will have a chance to understand the basic math and statistics that make natural language understanding possible.But that is just a starting point.You will learn how to build dialogs between people and chatbots that are tailored to specific industries and use cases.And you will also become familiar with ways for your chatbots to recognize and accommodate a person’s emotional state or to engage in a multi-turn conversation that addresses multiple topics or objectives.
There is a long way to go for chatbots to fulfill the challenge of carrying on human-like conversations for multiple use cases.There is no better book for developers，like yourself，to help chatbots fulfill on the promise of true Conversational Commerce.
Dan Miller founded Opus Research in 1985 and has made the company a global provider of market intelligence and analysis of software and services that support multimodal customer care and improved customer experiences.Opus Research is focused on“Conversational Commerce”，the merging of intelligent assistant technologies，conversational intelligence，intelligent authentication，enterprise collaboration and digital commerce.


Dan Miller Lead Analyst/Founder Opus Research
dmiller@opusresearch.net
http://about.me/DanMillerOpus
www.opusresearch.net
www.iaconference.net




推荐序二
My acquaintance with the authors of this book can be summed up as: 3 workshops and 1 Karaoke night.
I first met them in 2016 when I was invited to give a talk on“Imagination & Creativity”.VIPShop had just started assembling a chatbot team，in a bold attempt to lift their customer experience to a new level with the assistance of state-of-the-art NLP/AI technology.
The following year we met twice，and the workshop topics show how much progress the team had made: we talked about“Performance Optimization”，and“FAQs and Chatbots: Content Management Tips and Tricks”.Clearly their creative and imaginative work had paid off，and they were now dealing with the grim reality of operating an actual chatbot ecosystem in the real world.
The project was a great success，and the chatbots of VIPShop are doing a better job than ever，answering billions of customer questions，ensuring a great user experience and offloading a mountain of work from the overtaxed live agent call centers.And so，my latest meeting with the authors was a celebration，when they invited me to join them in a Karaoke bar in Beijing at the end of 2018 for a night of drinks and singing.
It was then that they told me about their after-hours project of writing“Chatbots in Action”.They haven’t just built a world-class product，they have turned their experience into a new textbook for the field，sharing their knowledge with the next generation of chatbot craftsmen.
I surely cannot take credit for the achievements of the team.In fact，now that I’m perusing the outline of the book，in the summer of 2019，I realize the authors have gained a profound understanding of the chatbot world in all its dimensions，and I could only wish I had a book such as this to guide me as I entered the field.
I sincerely congratulate the authors with the fruits of their labor，I commend them for their creativity，and I warmly recommend this book to anyone interested in the world of Chatbot development.
Sincerely,
Jan van Sas
Jan van Sas has over 30 years of industry experience as a NLP/AI expert working for and consulting to multinationals as well as start-ups
From 2012 to 2017 as Oracle Director of Natural Language Solutions，he managed Oracle’s Virtual Assistant/Chatbot development teams across the world
Jan lives in Karlsruhe，Germany and is AI Professor at Karel de Grote University College in Antwerp，Belgium

推荐序一
推荐序二
前言
第1章概率统计与应用数学的基础知识
1.1概率的定义
1.2条件概率与贝叶斯公式
1.3随机变量与分布函数
1.4概率分布与参数估计
1.5随机过程与马尔可夫模型
1.6信息熵
1.7本章小结
第2章语言模型与多元文法
2.1词袋模型
2.2N-Gram模型
2.2.1N-Gram简介
2.2.2N-Gram算法
2.2.3N-Gram用途
2.3数据平滑
2.3.1加法平滑方法
2.3.2Good-Turing估计法
2.3.3组合平滑方法
第3章序列标注模型
3.1中文分词
3.1.1条件随机场
3.1.2条件随机场进行中文分词
3.2词性标注
3.2.1词性标注的标准
3.2.2利用隐马尔可夫进行词性标注
3.3命名实体识别
3.3.1利用条件随机场模型进行命名实体识别
3.3.2命名实体识别在对话系统中的作用
3.4序列标注模型
3.5本章小结
第4章文本分析
4.1关键词抽取
4.1.1词频-逆文档频次算法
4.1.2Text Rank
4.2文本分类
4.2.1贝叶斯文本分类模型
4.2.2决策树文本分类模型
4.2.3SVM文本分类模型
4.3主题模型
4.3.1基础知识回顾
4.3.2吉布斯采样
4.3.3隐狄利克雷分配模型
4.4本章小结
第5章深度学习模型
5.1基于深度学习的自然语言模型
5.1.1神经网络自然语言模型与词向量
5.1.2A Neural Probabilistic Language Model
5.1.3CBOW和Skip-Gram
5.1.4Huffman编码与Huffman tree
5.1.5CBOW-Hierarchical Softmax
5.1.6Skip-Gram-Hierarchical Softmax
5.1.7FastText
5.1.8词的全局向量表示
5.2卷积网络CNN
5.2.1卷积网络CNN理论
5.2.2利用CNN进行文本分类
5.3循环网络RNN
5.3.1循环网络RNN（LSTM，GRU）理论
5.3.2利用RNN 进行情感分析
5.3.3Sequence-to-Sequence with Attention Model
5.4Transformer
5.4.1ResNet（Residual Network）残差网络模型
5.4.2Attention is all you need（Transformer）
5.5预训练模型
5.5.1Embeddings from Language Models（ELMo）
5.5.2BERT
第6章对话机器人的发展综述
6.1对话机器人发展史
6.1.1对话机器人的近况
6.1.2开放域
6.1.3垂直领域
6.1.4对话机器人的未来发展趋势
6.2人工智能在对话机器人中的应用
6.2.1深度学习在机器人方面的应用
6.2.2强化学习在机器人方面的应用
6.2.3知识图谱在机器人方面的应用
第7章自然语言理解与知识图谱
7.1知识图谱的表示：三元组模型
7.2知识抽取
7.2.1知识抽取-命名实体识别
7.2.2利用CRF模型识别 NER
7.2.3利用BiLSTM+CRF模型进行命名实体识别
7.3知识抽取-实体关系抽取：Relation Extraction
7.4知识图谱的构建
第8章答案生成与多轮对话
8.1预测会话与答案生成
8.1.1信息检索：利用搜索来预测答案
8.1.2句型模板匹配标准问题生成答案
8.1.3根据知识图谱推理得到答案
8.2多轮对话
8.2.1多轮对话概述
8.2.2任务型多轮对话的控制和生成
8.2.3多主题多轮对话
第9章对话系统的工程架构
9.1对话系统的工程技术
9.1.1常用技术
9.1.2对话系统的分类
9.1.3主要系统软件介绍
9.1.4系统运维相关
9.2对话系统的架构实现
9.2.1阿里小蜜
9.2.2百度对话系统
9.2.3垂直领域对话系统的架构
9.2.4开放领域对话系统的架构
9.3本章小结
第10章实战场景之一——客服机器人
10.1客服机器人架构
10.1.1功能需求
10.1.2系统逻辑架构图
10.2客服机器人设计
10.2.1FAQ的设计
10.2.2导购机器人的设计
10.2.3实例分析
10.3本章小结
第11章实战场景之二——开放域的QA问答
11.1开放领域问答机器人的架构
11.2开放领域问答机器人的开发流程和方案
11.3开放领域问答机器人的开发案例
第12章实战场景之三——聊天机器人
12.1Seq2Seq以及Attention机制
12.2Beam Search
12.3基于Seq2Seq的聊天机器人开发流程
12.3.1语料准备
12.3.2定义Encoder和Decoder
12.3.3模型训练和评估模块
12.3.4模型预测和Beam Search模块
12.4本章小结