这是一本在AI大模型技术背景下深入讲解内容理解的技术原理、算法实现与业务实践的著作，由腾讯的高级总监和资深内容专家领衔撰写，全面融入了工业界在内容业务方面积累的先进技术和成熟经验。
全书围绕内容理解、内容生成、内容质量3大关键领域展开，从内容产业的发展趋势与挑战到各种技术和算法，从行业的先进的研究成果到各种典型的应用案例，应有尽有。
第一部分 内容理解（第1~7章）
首先，详细介绍了内容理解的各个模块，包括文本、图像、语音等单模态内容的理解以及多场景文本、视频等多模态内容的理解，帮助读者全面了解内容理解的核心概念、技术细节和研究进展。接着，讲解了多模态学习在内容理解中的应用、多模态内容理解的理论框架和大规模预训练技术。最后，介绍了两个主流的内容理解框架，并结合一个自研的多模态内容理解框架，阐述了解决内容理解问题的流程和具体方案。
第二部分 内容生成（第8~11章）
详细讲解了内容生成的技术细节，结合作者团队在业务实践中探索的应用案例，从图片生成、文本生成、AI素材合成到AI创作，介绍了内容创作的全栈技术，能帮助读者由浅入深地理解内容生成的技术原理与业务实践。
第三部分 内容质量（第12~14章）
详细讲解了信息流产品常见的内容质量问题，比如标题党、假新闻、低俗图片等，介绍了如何对这些与内容质量相关的业务场景进行拆解和定义，将抽象的业务场景转化为可以建模的问题。此外，还介绍了作者团队采用的业务建模流程以及业界常用的解决方案和研究进展。
大模型时代，理解和应用多模态技术的标准性著作
BAT资深专家领衔，多位高校教师/技术专家/博士撰写，
全面介绍内容业务方面的落地技术和实践经验
计算机\程序设计
近年来，信息流产品发展迅猛，人工智能在内容创作、审核、推荐等场景中发挥着重要作用。本书详细介绍了内容理解、内容生成、内容质量三方面的内容，将理论和实践相结合，为内容算法领域的从业者提供了技术方案和应用案例的参考。
——李洪波 极智嘉联合创始人兼CTO/多智能体机器人系统专家
AIGC技术日新月异，开源社区生态繁荣，各互联网大厂纷纷入局，为内容理解、内容生成和应用开创了新的范式。本书比较系统地阐述了文本、图像、语音、视频各模态内容的技术演进和场景应用，值得内容领域的研发人员学习和参考。
——霍承富 淘天集团1688事业部CTO
这本书以企业实践经验为基础，探讨了内容产业中的关键领域——内容理解、内容生成和内容质量。它提供了全面的实践指南，无论对于从业者，还是对于对内容产业感兴趣的读者，都是一本优秀的参考书。相信读者能够从本书中获得启发和帮助。
——熊辉 香港科技大学（广州）协理副校长兼人工智能学域主任/AAAS Fellow/
IEEE Fellow/ACM杰出科学家
这本书深入探讨了内容理解、内容生成和内容质量的核心技术，并详细解析了多模态技术在内容产业中的关键应用。本书特别注重融合视觉、语音、文本等多元领域的知识和信息，为读者提供了一份实践指南。相信读者可以从本书中获得灵感，并将其应用到实际工作中。
——张娟娟 MIT（麻省理工学院）市场学终身教授兼斯隆管理学院全球项目教务主席
本书是一位跳跃于理论与实践之间的优秀“舞者”，将技术与业务场景巧妙结合，为我们揭示了AI在内容产业中的魔力。本书知识点全面，为渴望深入探索内容技术的读者提供了珍贵的导航图。不仅如此，它更是一个窗口，让我们一窥工业界的先进实践与思考。
——何盛烽 新加坡管理大学计算机学院副教授/IEEE Senior Member/CCF Senior Member
孙子荀 等著：核心作者简介
孙子荀
内容理解与生成领域的资深专家，腾讯高级总监和专家研究员，负责腾讯游戏用户增长与内容生态技术相关的工作。
2012年加入腾讯，十多年来一直从事内容理解、内容生成以及数据科学技术的研究和落地工作，带领团队获得十几项公司级业务奖和技术奖。在内容生态增长、创意营销等领域有丰富的落地经验。带领团队从0到1构建了首个内容技术中台；打造了腾讯游戏全域营销科学体系，帮助多个业务实现降本增效。
与团队一起在人工智能顶级学术会议上发表了多篇论文和报告，在相关领域拥有几十项发明专利。（同后勒口）
《信息流内容与AI：技术、算法与实战》目录
前言
为何写作本书
本书读者定位
本书主要内容
本书主要特色
如何阅读本书
资源和勘误
致谢
第一部分 内容理解
第1章 内容特征表示
1.1 文本特征
1.1.1 常用文本特征提取算法
1.1.2 文本特征提取框架
1.2 图片特征
1.2.1 图片特征提取算法
1.2.1.1 基于传统视觉描述子
1.2.1.2 基于深度学习
1.2.2图片特征提取框架
1.3 视频特征
1.3.1视频特征提取综述
1.3.2视频提取实战
1.4 语音特征
1.4.1语音特征提取综述
1.4.2语音特征提取实践
第2章 内容标签
2.1 图片标签
2.1.1 低级图片标签
2.1.2 深度图片标签
2.2 视频标签
2.2.1 基于跟踪标签
2.2.2 基于检测标签
2.2.3 基于序列标签
2.3 文本标签
2.3.1 文本分类算法
2.3.1.1文本分类算法
2.3.1.2文本分类实战
2.3.2文本关键词
2.3.3文本主题词
2.3.3.1文本主题词模型
2.3.3.2文本主题词实践
2.4 多维度内容标签
第3章 内容特征的应用
3.1 内容排重
3.1.1 图文排重
3.1.1.1图文排重算法
3.1.1.2图片排重工程
3.1.2 视频排重
3.1.2.1视频排重算法
3.1.2.2视频排重工程
3.1.3 多样性与同质化
3.2 推荐与运营
3.2.1 推荐召回
3.2.1.1基于标签的召回
3.2.1.2基于向量的召回
3.2.2 推荐画像
3.2.2.1推荐画像算法
3.2.2.2推荐画像系统建设
3.2.3 运营标签
第二部分 内容质量
第4章 质量模型
4.1 标题党问题
4.1.1标题党算法综述
4.1.2标题党实战
4.2 假新闻问题
4.2.1假新闻算法综述
4.2.2假新闻实战
4.4 色情图片问题
4.5 低俗文本问题
4.6 评论内容质量
4.6.1 短文本算法综述
4.6.1 评论算法模型
4.6.2 评论质量工程
4.7 低质图文问题
第5章 质量框架
5.1 多模态统一框架
5.2.1 特征抽取层
5.2.2 特征组合层
5.2.3 算法任务层
5.2.4 统一框架实践
5.2 多任务框架
5.2.1 多任务算法
5.2.1 多任务内容问题实践
5.3 AutoML
第三部分 内容加工创作
第6章 内容加工
6.1 封面（海报）图的裁剪与生成
6.1.1 显著区域检测
6.1.2 区域裁剪
6.1.3 排版布局
6.1.4 色彩调整
6.2 语音风格迁移
6.2.1 小样本语音训练
6.3 视频摘要技术
6.3.1 无监督视频摘要
6.3.2 深度学习多模态视频摘要
6.3.3 基于视频理解的摘要技术
6.4 图片风格变换
6.4.1 基于GAN的风格迁移
6.4.2 基于VAE的风格迁移
6.4.3 实战动漫头像风格迁移
6.4.4 换脸技术
第7章 内容创作
7.1 NLG文本生成
7.1.1 文本生存综述
7.1.2 基于文法规则的文本生成
7.1.3 基于检索的文本生成
7.1.4 基于深度学习的文本生成
7.1.4.1 GPT
7.2 动捉的CG动画生成
7.2.1 姿态捕捉
7.2.2 坐标系变换
7.2.3 游戏引擎联动
7.3 视频目标植入
7.3.1 植入场景区域判定
7.3.2 无缝植入技术
第四部分 内容算法工程
第8章 内容模型
8.1 模型压缩
8.2 模型评价
8.2.1 技术评价指标
8.2.2 业务评价指标
8.3 模型调优实践
第9章 内容架构
9.1 内容处理框架
9.2 内容模型分层
9.3 内容处理调度框架
9.4 内容存储
9.4.1 统一特征存储
9.4.2 内容特征仓库设计
