书中先介绍大数据商业架构需要的各种技术知识，然后通过介绍一个虚拟的（如有雷同存属巧合）互联网创业案例（暂定社区O2O），逐步展开介绍各个阶段可能遇到的业务需求，以及相对应的技术方案，甚至是技术难度。为了达到深入浅出，通俗易懂的效果，实战章节一般是从业务需求的描述入手，然后进行需求分析，根据需求的特点，对备选技术方案进行科普、概述和探讨，最后是技术方案确定和结论。

作者荣获美国政府颁发的“美国杰出人才”称号。大润发中国区董事长、飞牛网首席执行董事黄明端先生与eBay全球零售科学高级总监逄伟先生作序力荐！
将技术与商业需求相结合，深入剖析大数据商业应用中的困惑与难题，帮助读者更好地掌握技术支撑业务高速发展的方案！

作者在1号店的三年（2012-2014年），正是1号店系统快速发展的三年，即从大型电商系统转向巨型电商系统的阶段。而作者在此期间的贡献，对1号店搜索系统的变革起到了关键的作用，他和他的团队也藉此获得了“总裁特别奖”。通读全书，我发现该书不仅是大数据技术的探讨，也是技术和业务结合的心路历程。对大数据感兴趣的同行，定能从中获得全新的认识。
——　韩军　原1号店CTO 现欧电云科技董事长

我和作者曾经一起负责过eBay全球的数据挖掘项目，他的商业敏感度和创新精神让我记忆犹新。不过没有想到，对于写书，他也是个好手。此书既讲述大数据的理论知识，也介绍实际经验，适合不同层次的读者，并能帮助他们解决商业应用中的困惑与难题。
—— Yongzheng Zhang　LinkedIn（领英） 商务分析经理

我曾经负责整个1号商城的运营，同作者有过不少项目上的对接。对于我们提出的运营相关问题，作者都能运用合适的技术方案，顺利地解决。当得知他要撰写一本与大数据技术相关的图书，我已经迫不及待地想一探究竟，感受业务和技术融合的神奇。希望广大读者在读完此书后也能收获颇丰。
—— 吴海泉　原1号店副总裁 现美的集团电商总经理

作为互联网企业，通常面临的难题是大数据相关的产品设计门槛较高，缺乏专业的人才。当作者向我介绍这本书的时候，我没有想到他竟能将种种复杂的技术问题，说得如此生动、易懂、易学。相信这样的书籍，对数据产品经理的培养、大数据技术的产品化都有不小的促进作用。
——　王欣磊　百度LBS新业务产品总监

作者对业务运营具有深刻理解，他加盟1号店的阶段，公司在搜索、数据处理技术方面的实力猛增，相关体验和口碑大幅提升。这次他将其宝贵的实战经验在此书中和大家分享，相信对于广大读者而言实在是非常棒的福利，不容错过。
——黄志雄
原1号店副总裁 现永辉集团电商总经理

我和作者有过不少项目合作，其敏锐的业务洞察力给我留下了深刻的印象。从他提供的书稿中，我确实体会到其深厚的专业功力和精心的全文构思。对于每位大数据产品经理而言，这样深入浅出的书籍必不可少。
——张旭强
原1号店产品负责人 现阿里巴巴高级产品专家

本书作者对大数据以及互联网技术有着自己独特的见解。相信本书会给大家带来更为完整和详细的技术剖析，帮助读者更好地理解技术如何支撑业务的高速发展。
——刘尚堃
京东商城 推荐搜索部总监

在与作者的探讨中，我深刻感受到了他在挖掘算法和大数据处理方面的专业素养。这本书秉承了他一贯严谨、务实的做事风格，将需求和技术紧密结合，仔细阅读一定会深受启发。
——诸超
唯品会 云计算高级总监
目前大数据技术已经日趋成熟，但是业界发现与大数据相关的产品设计和研发仍然非常困难，技术、产品和商业的结合度还远远不够。这主要是因为大数据涉及范围广、技术含量高、更新换代快，门槛也比其他大多数IT行业更高。人们要么使用昂贵的商业解决方案，要么花费巨大的精力摸索。本书通过一个虚拟的互联网O2O创业故事，来逐步展开介绍创业各个阶段可能遇到的大数据课题、业务需求，以及相对应的技术方案，甚至是实践解析；让读者身临其境，一起来探寻大数据的奥秘。书中会覆盖较广泛的技术点，并提供相应的背景知识介绍，对于想进一步深入研究细节的读者，也可轻松获得继续阅读的方向和指导性建议。

作者简介
黄申　博士，毕业于上海交通大学计算机科学与工程专业，师从俞勇教授。微软学者，IBM ExtremeBlue天才计划成员。长期专注于大数据相关的搜索、推荐、广告以及用户精准化领域。曾在微软亚洲研究院、eBay中国、沃尔玛1号店和大润发飞牛网担任要职，带队完成了若干公司级的战略项目。同时著有20多篇国际论文和10多项国际专利，兼任《计算机工程》期刊特邀审稿专家。因其对业界的卓越贡献，2015年获得美国政府颁发的“美国杰出人才”称号。

为什么要写这本书
李克强总理提出“大众创业，万众创新”。在如此美好的大环境下，互联网创业如火如荼。各种模式的O2O，各种精彩的移动App，突然之间都冒了出来，正所谓“忽如一夜春风来，千树万树梨花开”。而在其中，大数据因为蕴含着巨大的商业价值，成为这个时代的趋势之一。众人都希望利用好这个“魔棒”，为自己的事业开疆扩土。可是，就笔者在业界的经历来看，真正能挖掘大数据潜力的公司少之又少。笔者一直很好奇，中国的相关人才如此之多，商业市场又如此之大，何以至如此境地呢？为了找到答案，笔者阅读了不少观察性文章，也走访了一些业内的从业者，发现目前的一大窘境是：大数据技术、产品和商业的结合度还远远不够。导致这个现状的原因有很多，具体分析主要有以下几点：
涉及范围广：“大数据”本身是一个比较抽象的概念，任何关乎大规模数据的处理，都可以称为“大数据”。因此它既包括了很多已有的技术，如数据挖掘、机器学习、商业智能等，又包括了近几年诞生的新技术，如NoSQL相关的生态系统。而且，一个商业需求也可能会涉及多个相关技术。
技术含量高：数据挖掘和机器学习之类的算法和大规模数据处理的架构，相对于普通的应用开发而言，需要更多的理论知识和实践经验积累。而商业价值的挖掘程度却往往取决于使用的技术深度。越是钻研得深入，所产生的价值就会越大。
发展速度快：最近几年，算法方面有不少的创新，如深度学习（Deep Learning）；系统架构也在不断升级，如Hadoop的第二代框架Yarn、Storm、Spark等实时流式计算，技术的更新换代非常频繁。但是，商业的发展需要技术系统能够随时应变，快速响应，这与技术的飞速发展本身又存在冲突。
成熟方案少：大数据的技术多数是免费的，这对于盈利模式而言无疑是有利的，不过代价就是存在一定的稳定性和易用性问题。现在有一些大型的技术公司提供了更成熟的解决方案，但是价格不菲，对于经费并不宽裕的初创公司而言选择余地太少。
以上这些因素都会形成进入大数据领域的门槛，而高门槛势必会导致大数据在工业界应用的步伐放缓。为了解决这个问题，企业需要培养自己的复合型人才，要求业务人员懂技术、技术人员懂业务。只有如此才能让公司使用合适的工具、获得准确的数据、制定合理的方案。
然而，激烈的市场竞争，膨胀的用户需求，不会给创业公司太多的时间去挥霍。在黑夜之中不断摸索的人们，需要明灯指引前进的方向。虽然目前市面上已有一些相关图书做了不错的尝试，但是它们大多数偏向两个极端：一端是面向金融、经济、社会和管理类等非技术型读者，讲述概念、定义、背景和业界的成功案例等；另一端是面向程序员、算法工程师、架构师和数据科学家等纯技术型读者，讲述具体的技术框架、编程范例、系统调试等。能同时覆盖两者的图书可谓凤毛麟角。因此，笔者萌生了通过一本书来帮助企业快速地建立复合型团队，将合理的业务需求尽快转化为实际产品的想法。笔者在写作过程中，力求：
易读易懂。通过生动的案例和形象的比喻来解读难点，降低技术理解的门槛。这样就能够让偏向业务的人员更容易理解大数据背后的运作原理，促进他们和技术人员的沟通及协作。
可实践性强。通过分享需要大量实践才能积累的宝贵经验，最大程度地针对业务需求和技术方案之间的空白进行弥补。这将有利于技术人员针对不同的业务需求，规划更为合理的技术方案。
本书通过讲述一个虚拟的（如有雷同纯属巧合）互联网O2O创业故事，逐步展开介绍各个阶段可能遇到的大数据课题、业务需求，以及相对应的技术方案，甚至是实践解析。让读者身临其境，一起来探寻大数据的奥秘。对于想进一步深入研究技术实现细节的读者，也给出了继续阅读的方向和指导性建议。笔者衷心希望，无论是技术专家、产品经理，还是业务人员，只要阅读了本书便都能愉快地遨游在大数据的海洋中。
读者对象
根据本书撰写的起心动念，笔者觉得其内容适合如下读者：
中小互联网创业公司的CIO、CTO和技术骨干。他们可以获知常见的互联网公司从创业初期到中期这个阶段里，数据平台需要满足怎样的业务需求（当然，也包括业务方和产品经理所说的“XXOO”了），技术上通常会面临哪些挑战，以及如何解决。
中小互联网创业公司的产品经理和项目经理。个人认为，在不久的将来，最炙手可热的产品经理或项目经理一定是懂一些技术的。技术背景将帮助产品经理和项目经理更好地理解哪些是技术上可以实现的，如果可以实现又大致需要多少开发资源。此外，本书所提及的案例也许能提供一些产品设计上的灵感和启发。
中小互联网创业公司的CEO、合伙人。读懂这本书， CIO、CTO和产品VP的招募，不用靠第三方和人力资源，因为你可以自己来选。这绝对可以帮助公司少走弯路，加速发展。
刚刚起步的算法和架构工程师。很多刚刚毕业或工作没多久的朋友，学了一身本领，对新技术也很有热情，苦于没有太多实践的机会。书中的故事浓缩了不少业界实践的经验和心得，如能融会贯通对他们将很有裨益。同时，覆盖面较广的技术课题概述也为他们继续深入研究提供了方向和指导。
梦想家。最后的最后，本书也献给那些希望通过大数据技术进行互联网创业的人们。也许现在你既不是“CXO”（CEO、CIO、CTO、CPO、COO等的统称），也不是产品经理或项目经理，可是你有自己的创业梦想，那么这本书也献给你。
当然，由于侧重点不同，因此本书并不适合钻研技术细节的程序员和编程专家，不过仍然可以在书中找到重要的参考图书指导。同时，本书也不适合关注宏观行业发展的商务人士。
如何阅读本书
为了达到深入浅出、通俗易懂的效果，本书的第一大部分概述了大数据的主要技术，包括大数据的获取、存储、处理，还有架构设计的基本理念，以及常用的消息和缓存机制。这一部分你会发现关于Nutch、Flume、Hadoop、HBase、Redis、Hive、Kafka、Spark、Storm等的简介。对于数据处理的高级技术，本书着墨不少，但不乏对于信息检索和数据挖掘课题的探讨。例如站内搜索引擎、推荐系统、广告系统、聚类、分类和线性回归等。由于商业需求尤其看重实际产出，因此第一部分的最后还会分析常见的效果和性能评估。相信这部分对于构建读者的大数据知识体系会很有帮助。在每一章的最后，我们还会给出重要的参考图书，以便于读者继续深入学习。
第二大部分的每个章节都是从业务需求的描述入手，然后进行需求分析，根据需求的特点，对第一大部分所涉及的备选技术进行筛选，最后是技术方案和架构的确定。不同的商业需求可能会使用类似的技术点。但是具体使用方式不会雷同，根据不同的数据集合、不同的应用场景和不同的进阶难度，我们为读者提供了反复温习和加深印象的机会。
勘误和支持
正如前文所述，大数据发展得实在是太快了。可能就在你阅读这段文字的同时，又有一项新的技术诞生了，N项技术升级了，M项技术被淘汰了。再加之笔者的水平有限，编写的时间也较仓促，书中难免会出现一些不够准确或有遗漏的地方，不妥之处在所难免，恳请读者通过如下渠道积极建议和斧正，我们很期待能够听到你们的真挚反馈。
QQ：36638279
微信：18616692855
邮箱：s_huang790228@hotmail.com
LinkedIn：https://cn.linkedin.com/in/shuang790228
扫一扫就能联系作者：
致谢
首先要感谢上海交通大学尤其是俞勇教授，你们给予我不断学习的机会，带领我进入了大数据的世界。同时，感谢阿里云的高级总监薛贵荣，你的指导让我树立了良好的科研态度。
还要感谢微软亚洲研究院、eBay中国研发中心、沃尔玛1号店、大润发飞牛网和IBM中国研发中心，在这些公司十多年的实战经验让我收获颇丰，也为本书的铸就打下了坚实的基础。
感谢曾经的微软战友陈正、孙建涛、Ling Bao、曾华军、张本宇、沈抖、刘宁、严峻、曹云波、王琼华、康亚滨、胡健、季蕾等，eBay的战友逄伟、王强、王骁、沈丹、Yongzheng Zhang、Catherine Baudin、Alvaro Bolivar、Xiaodi Zhang、吴晓元、周洋、胡文彦、宋荣、刘文、Lily Yu等，沃尔玛1号店的战友韩军、王欣磊、胡茂华、付艳超、张旭强、黄哲铿、沙燕霖、郭占星、聂巍、邵汉成、张珺、胡毅、邱仔松、孙灵飞、凌昱、王善良、廖川、杨平、余迁、周航、吴敏、李峰等，大润发飞牛网的战友王俊杰、陈俞安、蔡伯璟、陈慧文、夏吉吉、文燕军、杨立生、张飞、代伟、陈静、赵瑜、李航等，IBM的战友李伟、谢欣、周健、马坚、刘钧、唐显莉等。要感谢的同仁太多，如有遗漏敬请谅解，很怀念和你们并肩作战的日子，你们让我学到了很多。
感谢机械工业出版社华章分社的编辑杨绣国（Lisa）老师，感谢你的魄力和远见，在最近的3个月中始终支持我的写作，你的鼓励和帮助引导我顺利地完成了全部书稿。也要感谢凌云为我引荐了如此优秀的出版社和编辑。
衷心感谢大润发、飞牛网董事长黄明端先生和eBay全球高级总监逄伟先生，在百忙之中为本书作序。也衷心感谢欧电云的董事长韩军先生、永辉集团电商总经理黄志雄先生、美的集团电商总经理吴海泉先生、百度LBS新业务产品总监王欣磊先生、阿里巴巴高级产品专家张旭强先生、LinkedIn（领英）的商务分析经理Yongzheng Zhang先生、京东商城推荐搜索部总监刘尚堃先生和唯品会云计算高级总监诸超先生为本书撰写推荐语。
还要感谢我的爸爸、妈妈、岳父、岳母，感谢你们对我写书的理解和支持。
最后我一定要谢谢我的太太Stephanie和宝贝儿子Polaris，为了此书我周末陪伴你们的时间更少了。你们不仅没有怨言，而且时时刻刻为我灌输着信心和力量，感谢你们！
谨以此书，献给我最亲爱的家人，以及众多热爱大数据的朋友。

黄　申
美国，硅谷
2016年3月

计算机\程序设计

作者在1号店的三年（2012-2014年），正是1号店技术系统从大型电商向巨型电商转变的阶段。而作者在此期间的贡献，对1号店搜索系统的变革起到了关键的作用，他和他的团队也藉此获得了总裁特别奖。通读全书，我发现该书不仅是大数据技术的探讨，也是技术和业务结合的心路历程。对于大数据感兴趣的同行而言，定能从中获得全新的认识。
——韩军 原1号店CTO 现欧电云科技董事长

我和作者曾经一起负责过eBay全球的数据挖掘项目，他的商业敏感度和创新精神让我记忆犹新。不过没有想到，对于写书，他也是个好手。此书既包括大数据的理论知识、也包括实际经验，适合不同层次的读者，并能帮助他们解决商业应用中的困惑与难题。
——Yongzheng Zhang LinkedIn（领英） 商务分析经理

我曾经负责整个1号商城的运营，和作者有过不少项目上的对接。对于我们提出的运营相关问题，作者都能运用合适的技术方案，顺利地解决。当得知他要撰写一本大数据的图书时，我已经迫不及待的想一探究竟，感受业务和技术融合的神奇。希望广大的读者在读完此书后也能收获颇丰。
——吴海泉 原1号店副总裁 现美的集团电商总经理

作为互联网企业，通常面临的难题是，大数据相关的产品设计门槛较高，缺乏专业的人才。当作者向我介绍这本书的时候，我没有想到他竟能将种种复杂的技术问题，说得如此生动、易懂、易学。相信这样的书籍，对于数据产品经理的培养、大数据技术的产品化都有不小的促进作用。
——王欣磊 百度LBS新业务产品总监

黄申 编著：暂无简介

Foreword　推荐序一
大润发是1998年成立的，到了2008年已是中国最具规模的大卖场，那时候电子商务刚在萌芽阶段，而实体店也还在快速发展，加上2010年公司忙于筹备上市，准备于2011年在香港挂牌，所以我们并没有花太多时间研究电子商务，而且在那个时间段大部分电子商务公司都处于亏损状态。
后来我们惊觉电子商务已快速发展，办公室很多同事都开始在网上购物了，加上“双11”的天量交易额，逼得我们不得不认真地研究电子商务的发展趋势。到2012年，我们发现电子商务越做越好，尤其进入移动互联网时代后，想要满足顾客随时随地的购物需求，电商发展必然是未来消费的新渠道与趋势。所以我们在2013年决定进军电子商务并成立飞牛网（Feiniu.com）。
经过两年多的实践，我认为实体零售跟电子商务还是存在很大差异，其中最主要的差异有两点。
顾客忠诚度差异：对于线下卖场而言，选址是关键。地点位置正确，就会有稳定的客流，也容易培养顾客忠诚度。然而，对于线上而言，它不受地域的限制，顾客切换不同的网站是一件十分轻松的事情，因此忠诚度普遍不高。
顾客行为数据的获取成本差异：线下卖场很难跟踪顾客的行为，如果要安装各种复杂的信息采集设备，运营成本就会很昂贵。而到了线上，顾客浏览网站时“凡走过必留下痕迹”，电商要收集顾客的行为只需要读取站点的访问日志，可以说相对容易。
正是因为顾客忠诚度不高，对于忠诚顾客的培养成为电商的必争之地。我相信，要实现这个目标，基于顾客行为的大数据和精准化营销就显得更为重要。我们需要充分利用数据挖掘，并快速反馈到整个电商系统。
至于如何做到个性化的搜索和推荐，如何做好客户关系管理（CRM），以及如何做到精准的推送和营销，一直是我们探索的内容。飞牛网从成立之初到现在，碰到了很多与搜索和大数据相关的问题和困难，一年半以前，黄申博士加入了飞牛网的技术团队，他的技术和经验对于我们的帮助很大，在他的指导下我们快速建立了专业的搜索、推荐及用户画像系统。这些都是我们分析顾客、理解顾客、提升顾客在线体验的核心，使得飞牛网和行业先锋之间的距离在短时间内大幅缩小。关注飞牛的读者，你们可以到飞牛网体验一下个人喜欢的商品，然后你就能细细品味到我们搜索、推荐等大数据相关的功能给你带来的便捷和惊喜。
当然，这些成绩和黄申博士丰富的业界经验分不开。在日常的工作中，他总是有独到的见解。如果你有幸阅读本书，一定能从他的分享中了解大数据是如何运作的，了解大数据是如何支持业务的，以及了解技术是如何满足业务需求的。对于还处在大数据摸索中的人而言，他的思路和探讨非常宝贵，这是一本讲述搜索和大数据领域实践经验的好书，值得推荐。

飞牛网CEO黄明端
2016年3月




Foreword　推荐序二
最近的十年中，我一直在eBay从事数据相关的项目，领导了包括零售科学和搜索科学在内的研发团队。如今eBay在全球已有1亿多注册用户，每天都有数以百万的家具、收藏品、电脑、车辆在eBay上被刊登、贩售、卖出，每年的营业额高达数千亿美元。
但是我们非常清楚，对于eBay而言，更为珍贵的财富是网站上每时每刻都会产生的海量数据。通过对这些数据的分析，我们可以指导卖家进行更好的搜索引擎优化、制定更好的价格、控制合理的库存；还可以帮助买家找到更合适自己的商品和更优质的服务。当然，大数据的分析还能帮助eBay有效地防范作弊和欺诈，保证整个平台和渠道的健康发展。
正是意识到数据的关键性，eBay非常重视挖掘和利用它们的潜在价值。本书作者曾经在eBay的研究院和搜索科学部门工作，专门从事机器学习的研究和应用。他协助eBay构建了数项核心算法及其相关产品，包括基于机器学习的搜索排序、高质量用户评价的发现和摘要、相似和相关商品推荐栏位等。在此过程中，他和各个技术同仁、产品经理、业务部门紧密合作，而这本著作就融入了作者在这些实战项目中所积累的丰富经验。所以，本书最大的闪光点在于，它的内容不仅仅局限于技术本身，而是考虑到了在不同的应用场景下，这些技术应该怎样合理运用。例如，对于基于学习的搜索排序，通常要考虑哪些因素以及怎样的学习模型？对于智能推荐的栏位而言，相似和相关商品又有怎样的区别？分别都应该使用怎样的推荐模型？
除了与业务应用紧密结合，此书还具有覆盖面广和通俗易懂的特点。全书涉及的主题包括大数据的获取、存取、处理、检索、挖掘和评估中的多数主流技术。同时，作者从自己独特的视角出发，对深奥的技术进行了深入浅出的阐述，大幅降低了大数据知识理解的难度。因此，本书也非常适合大数据产品设计者、产品经理或者架构师进行阅读。我相信，对于希望利用大数据解决业务痛点的读者而言，此书是不可或缺的良师益友。

eBay全球高级总监　逄伟
2016年3月

推荐序一
推荐序二
前　　言
第1章　抉择 1
第2章　数据收集 4
2.1　互联网数据收集 4
2.1.1　网络爬虫 5
2.1.2　Apache Nutch简介 11
2.1.3　Heritrix简介 14
2.2　内部数据收集 15
2.2.1　Apache Flume简介 17
2.2.2　Facebook Scribe和Logstash 21
2.3　本章心得 21
2.4　参考资料 22
第3章　数据存储 23
3.1　持久化存储 23
3.1.1　Hadoop和HDFS 25
3.1.2　HBase简介 28
3.1.3　MongoDB 35
3.2　非持久化存储 37
3.2.1　缓存和散列 37
3.2.2　Memcached和Berkeley DB简介 41
3.2.3　Redis简介 41
3.3　本章心得 44
3.4　参考资料 44
第4章　数据处理 46
4.1　离线批量处理 46
4.1.1　Hadoop的MapReduce 47
4.1.2　Spark简介 52
4.1.3　Hive简介 53
4.1.4　Pig、Impala和Spark SQL 56
4.2　提升及时性：消息机制 58
4.2.1　ActiveMQ简介 60
4.2.2　Kafka简介 61
4.3　在线实时处理 63
4.3.1　Storm简介 63
4.3.2　Spark Streaming简介 66
4.4　本章心得 66
4.5　参考资料 67
第5章　信息检索 69
5.1　基本理念 70
5.2　相关性 70
5.2.1　布尔模型 70
5.2.2　基于排序的布尔模型 71
5.2.3　向量空间模型 74
5.2.4　语言模型 75
5.3　及时性 77
5.4　与数据库查询的对比 81
5.5　搜索引擎 82
5.5.1　Web搜索中的链接分析 83
5.5.2　电子商务中的商品排序 86
5.5.3　多因素和基于学习的排序 88
5.5.4　系统框架 89
5.5.5　Lucene简介 93
5.5.6　Solr简介 98
5.5.7　Elasticsearch简介 104
5.6　推荐系统 108
5.6.1　推荐的核心要素 109
5.6.2　推荐系统的分类 110
5.6.3　混合模型 115
5.6.4　系统架构 116
5.6.5　Mahout 116
5.7　在线广告 119
5.7.1　在线广告的类型 120
5.7.2　广告投放机制 124
5.7.3　广告的拍卖机制 125
5.7.4　广告系统架构 126
5.8　本章心得 127
5.9　参考资料 128
第6章　数据挖掘 130
6.1　基本理念 131
6.2　数据的表示和预处理 133
6.2.1　数据的表示 133
6.2.2　数据的预处理 135
6.3　机器学习算法 136
6.3.1　监督学习—分类 137
6.3.2　监督学习—回归 152
6.3.3　非监督学习—聚类 153
6.4　挖掘工具 157
6.4.1　Mahout简介 157
6.4.2　R简介 159
6.5　本章心得 165
6.6　参考资料 165
第7章　效能评估 167
7.1　效果评估 168
7.1.1　离线评估 169
7.1.2　非离线的评估 183
7.2　性能评估 190
7.2.1　计算复杂度 191
7.2.2　应用系统性能 193
7.2.3　JMeter工具 197
7.3　本章心得 202
7.4　参考资料 202
第8章　大数据技术全景 204
第9章　商品太多啦！需要搜索引擎 207
9.1　业务需求 207
9.2　产品设计和技术选型 208
9.3　实现方案 211
9.3.1　数据定义和配置 211
9.3.2　集群搭建 213
9.3.3　DIH配置 216
第10章　能否更主动？还需要推荐引擎 223
10.1　业务需求 223
10.2　产品设计和技术选型 225
10.3　实现方案 230
10.3.1　基于内容特征的衡量 230
10.3.2　基于行为特征的衡量 233
10.3.3　提供在线服务 236
第11章　这样做的效果如何 241
11.1　业务需求 241
11.2　产品设计和技术选型 242
11.3　实现方案 243
11.3.1　行为数据的定义和记录 243
11.3.2　Flume和HDFS的集成 246
11.3.3　通过Hive进行分析 252
11.3.4　Kafka和Storm的集成 254
第12章　这个搜索有点逊 258
12.1　业务需求：还要搜得更多 258
12.2　“还要搜得更多”：产品设计和技术选型 259
12.3　“还要搜得更多”的方案实现 261
12.3.1　HBase的部署 261
12.3.2　HBase和Solr的集成 264
12.4　业务需求：还要搜得更准 265
12.5　“还要搜得更准”：产品设计和技术选型 266
12.5.1　提升搜索排序的相关性 266
12.5.2　提升搜索排序的整体效果 268
12.6　“还要搜得更准”的方案实现 271
12.7　业务需求：还要更快 273
12.8　还要“变”得更快：产品设计和技术选型 274
12.9　还要“搜”得更快：产品设计和技术选型 275
12.10　业务需求：给点提示吧 280
12.11　给点提示吧：产品设计和技术选型 282
第13章　支持更高效的运营 287
13.1　业务需求：互联网时代的CRM 287
13.2　互联网时代的CRM：产品设计和技术选型 288
13.3　业务需求：抓住捣蛋鬼 291
13.4　抓住捣蛋鬼：产品设计和技术选型 292
13.4.1　识别分类错放 292
13.4.2　识别SEO作弊 294
13.5　业务需求：销售之战 295
13.6　销售之战：产品设计和技术选型 296
13.6.1　设置合理的价格 296
13.6.2　识别黄牛 298
后记 299