内容翔实，案例丰富，全方位讲解Splunk大数据开发与应用的各种技术细节、方法和最佳实践
既详细讲解搜索语言的基本知识，以及表格、图表、指示板的构建，又深入讨论高级搜索案例、应用程序构建和更多的Splunk特性等，为快速掌握并灵活运用Splunk深入挖掘机器数据价值提供最佳指导

面向爆炸式增长的服务器日志数据，Splunk是一款融数据收集、储存、研究和可视化于一体的强大软件工具。Splunk提供的灵活且可扩展的解决方案能够帮助数据分析人员和IT系统管理人员更高效地完成数据分析、故障诊断、报警监控等任务。Splunk的文档和社区资源非常庞大，从中寻找有价值的信息有时候会是一件令人生畏的事情。因此，本书旨在以尽可能简洁的方式为读者提供Splunk的操作指南。

本书将为您展示如何利用Splunk挖掘海量机器数据的价值。根据不同的需求，您可以学习到如何搜索、转化和展示数据，学习管理不同规模的Splunk安装。
无论您是按部就班地阅读本书内容，或者是直接挑选您所需要的内容阅读，本书都将帮助您更迅速地完成工作。新用户和有经验的用户都将从本书中获得极具价值的信息。

通过阅读本书，您将学到：
如何编写简洁和高效的搜索语句
如何在无结构的数据中创建字段
如何使用查找操作和命令丰富数据
如何将数据转换为有用且漂亮的报表
如何构建外观专业且信息量大的指示板
如何制作应用程序以组织和分享您的搜索结果和指示板
如何为一个或者众多的Splunk实例管理配置
如何与企业系统集成
如何使用脚本和高级配置扩展Splunk

内容简介
Splunk是一个收集、存储、报警、制表和研究机器数据的强有力工具。本书从理解Splunk交互界面的基本元素入手，详细讲解搜索语言的基本知识，对表格、图表、指示板等具体内容进行了细致的描述.通过对高级搜索案例和应用程序的逐步分析，本书向读者展示了构建用户自定义的应用程序的方法，为读者快速学习和掌握Splunk大数据开发与应用提供了系统指导。
本书共12章。第1章介绍Splunk交互界面的基本元素和一些重要概念；第2章详细介绍搜索语言的基础，讨论Splunk中的搜索功能，并讲解如何对搜索结果进行一些有用的再加工；第3章展示如何使用字段生成报表，以及如何构建自定义字段；第4章介绍如何通过使用Splunk提供的向导界面构建指示板；第5章深入讨论一些搜索的高级案例，展示搜索语句的若干强大特性；第6章展示更多的Splunk特性以帮助扩展查询语句，并在搜索时丰富数据；第7章深入讨论安装、构建、定制和分享应用程序；第8章介绍高级XML指示板的概念，以及简单XML指示板转换为高级XML指示板的实用方法；第9章讨论摘要索引及其在提高系统性能方面所发挥的作用；第10章深入讲解驱动Splunk的配置文件；第11章深入介绍关于分布式部署的相关内容，以及如何高效地对其进行配置；第12章阐述在输入数据、外部查询、渲染、定制命令和定制行为等方面扩展Splunk的方法。

作者简介
Vincent Bumgarner　资深软件设计与开发专家，在多种平台从事软件设计近20年，有丰富的从业经验。他于2007年起开始使用Splunk，并一直关注该产品历年的更新和进展，并帮助许多公司培训了众多Splunk的用户，指导他们驾驭、扩展、管理这一极具灵活性的软件产品。

译者简介
杨甲东　毕业于清华大学，获计算机科学与技术工学博士学位，现任北京搜狐新媒体信息技术有限公司移动应用探索中心高级研发工程师，擅长领域为大规模数据处理、数据挖掘、信息检索、机器学习等。他已发表高水平学术论文10余篇，其中SCI检索论文5篇；获得国家发明专利2项；参与完成国家科技支撑计划项目1项，国家自然科学基金项目2项。

Splunk是一个强有力的收集、存储、报警、制表和研究机器数据的工具。机器数据通常来源于服务器的日志，也可以从其他来源收集得到。面对挖掘机器数据价值这一个巨大的问题，Splunk是目前最灵活且可扩展的解决方案。
本书旨在为4.3版的Splunk提供系统的辅助性的指南。由于Splunk的文档和社区资源非常庞大，从中寻找有价值的线索与信息有时候是一件令人生畏的事情。本书的目的在于以尽可能简洁和有益的形式展示如何有效实现Splunk。
本书主要内容
第1章Splunk交互界面，将带领读者了解用户交互界面的基本元素。
第2章理解搜索，将涉及搜索语言的基础，同时将特别关注编写高效查询。
第3章表格、图表和字段，将展示如何使用字段生成报表，进而介绍如何构建自定义字段。
第4章简单的XML指示板，将首先介绍使用Splunk的Web交互界面构建第一个指示板，然后将查看如何构建表格和更高效的指示板。
第5章高级搜索案例，将通过若干案例向读者介绍使用Splunk搜索语言的有趣方式。
第6章扩展搜索，将展示Splunk的许多特性，以帮助大家以强有力的方式对事件进行分类和对搜索结果采取行动。
第7章使用应用程序，将涉及应用程序的概念，帮助大家安装若干流行的应用程序，同时帮助大家构建属于自己的应用程序。
第8章构建高级指示板，将解释高级XML指示板的概念，并介绍将简单XML转换为高级XML指示板的实用方法。
第9章摘要索引和CSV文件，将介绍摘要索引的概念，以及摘要索引在提高系统性能方面如何发挥作用。该章也将讨论CSV文件使用的其他有趣形式。
第10章配置Splunk，将解释Splunk一般配置的结构和意义。该章也将详细介绍合并配置的过程。
第11章高级部署，将涉及在多台机器上部署Splunk的一般问题，包括数据输入、系统日志、配置管理和系统扩容等问题。
第12章扩展Splunk，将阐述在输入数据、外部查询、渲染、定制命令和定制行为等方面扩展Splunk的方法。
阅读本书的准备工作
为了浏览本书所提供的案例，需要安装Splunk，该Splunk最好部署在非生产环境下。如果你已经在使用Splunk，那么案例中所提及的概念可以直接应用到你自己的数据上。
对于当前普遍使用的系统平台，可从http://www.splunk.com/download 免费下载获得Splunk。
由于样例代码是在UNIX系统上开发的，因此使用运行在UNIX操作系统的Splunk安装版可以更好地理解本书内容。在本书后几章中，需要Python相关的背景知识来理解其中所涉及的案例。
本书的目标读者
对于Splunk的各级别用户、指示板的设计者和系统管理员等读者，本书都将提供有益的帮助。需要指出的是，本书并非作为Splunk官方手册的替代品，而是作为理解相关概念的捷径。
理解和掌握正则表达式，以及拥有阅读Python代码的能力，对阅读本书的许多章节都有极大的帮助。

计算机\应用软件

面向爆炸式增长的服务器日志数据，Splunk是一款融数据收集、储存（indexing）、研究和可视化于一体的强有力软件工具。Splunk提供的灵活且可扩展的解决方案能够帮助数据分析人员和IT系统管理人员更高效地完成数据分析、故障诊断、报警监控等任务。由于Splunk的文档和社区资源非常庞大，从中寻找有价值线索与信息有时候将会是一件令人生畏的事情。本书旨在以尽可能简洁的方式为读者提供Splunk的操作指南。

本书将为您展示如何利用Splunk挖掘海量机器数据的价值。根据不同的需要，您可以学习到如何搜索、转化和展示数据，学习管理大规模或者小规模的Splunk安装。
无论你是按部就班地阅读本书内容，或者是直接挑选您所需要的内容阅读，本书都将帮助您更迅速地完成工作。新用户和有经验的用户都将从中获得极具价值的信息。




通过阅读本书，你将学到：
 如何编写简洁和高效的搜索语句
 如何在无结构的数据中创建字段
 如何使用查找操作和命令丰富数据
 如何将数据转换为有用且漂亮的报表
 如何构建外观专业且信息量大的指示板
 如何制作应用程序以组织和分享你的搜索结果和指示板
 如何为一个或者众多的Splunk实例管理配置
 如何与企业系统集成
 如何使用脚本和高级配置扩展Splunk

（美）Vincent Bumgarner 著：暂无简介

杨甲东 译：暂无简介

随着科学技术的迅猛发展、互联网技术的快速普及和云计算的广泛应用，每天我们身边都会产生浩如烟海的非结构化数据。这些数据渗透到世界的各个行业及各个业务领域，其数量正在以几何级数的方式增长。它们表面看似杂乱无章，毫无规律，但其中蕴含着巨量的有价值的信息。在互联网时代，数据本身就是资产，从海量数据中提纯有用信息的需求不可估量。大数据技术的应用则意味着这些资产能量的有效释放。面对爆炸式增长的数据，企业迫切需要挖掘数据中的潜在价值。采用大数据技术，对海量数据进行开发和应用，将有效提升企业的创新能力并催生新的商业模式，为企业解决传统业务问题带来新的变革机遇。如何盘活已经存在或正在生成的数据资源，使其为科技进步、企业决策及个人服务创造更多的价值，这是大数据技术所要解决的核心问题。
Splunk是一家提供大数据分析服务的智能软件提供商。它成立于2003年，总部位于美国旧金山。2012年Splunk在纳斯达克成功上市，进而成为第一家上市的大数据处理公司。其业务范围覆盖北美、亚太、欧洲、非洲及中东等地区。中国市场目前主要集中在电信、保险和银行业。Splunk软件平台可以实时对任何APP、服务器和网络设备的机器数据进行索引、监控与分析，并将结果生成图形化报表。这些机器数据既可以来自本地，也可以来自云；既可以是日志、配置文件，也可以是消息和警告等。本书作者Vincent Bumgarner先生是一位拥有20多年从业经验的资深软件设计师，一直在多种不同语言的平台上从事软件设计与应用，他从2007年起使用Splunk，在长期从事应用培训工作的同时始终关注该技术的进展。本书内容翔实，案例丰富，循序渐进，实用性强，为新老用户提供了学习、掌握大数据开发的基本手段和有效方法。
本书从理解用户交互界面的基本元素入手，介绍了搜索语言的基本知识，对表格、图表、指示板等具体内容进行了细致描述。通过对高级搜索案例和应用程序的逐步分析，向读者展示了构建属于用户自己的应用程序的方法，并用适当的篇幅阐述了配置和扩展Splunk等相关内容。本书是学习大数据开发与应用的实用教材。
海量数据是一座金矿，大数据分析软件就是淘金的工具，学习和掌握大数据分析应用技术，就如同掌握黄金的提纯方法。译者作为在数据挖掘领域工作的一名技术人员，深知海量数据中蕴藏的巨大价值，深知数据分析软件在大数据开发中所起的重要作用，深知大数据开发应用将对各行各业带来的创新和变化。本书的翻译旨在为同行从业人员和国内用户学习大数据处理技术提供具体的、有益的帮助。但由于本人水平有限，如翻译内容有不当之处，恳请各位指正。

杨甲东
2014年10月于北京

译者序
前言
第1章　Splunk交互界面1
1.1　登录Splunk1
1.2　首页应用程序2
1.3　顶栏4
1.4　搜索应用程序6
1.4.1　数据生成器6
1.4.2　概要视图6
1.4.3　搜索8
1.4.4　动作9
1.4.5　时间轴10
1.4.6　字段选择器11
1.4.7　搜索结果 11
1.5　使用时间选择器15
1.6　使用字段选择器16
1.7　使用管理器17
1.8　总结19
第2章　理解搜索20
2.1　有效地使用搜索词20
2.2　布尔和分组操作符21
2.3　点击修改你的搜索22
2.3.1　事件分割22
2.3.2　字段组件23
2.3.3　时间23
2.4　使用字段进行查询23
2.5　有效地使用通配符24
2.5.1　仅仅尾部通配符是有效的25
2.5.2　通配符最后测试25
2.5.3　在字段中补充通配符25
2.6　关于时间25
2.6.1　Splunk如何解析时间25
2.6.2　Splunk如何存储时间26
2.6.3　Splunk如何显示时间26
2.6.4　确定时区的方法及原因26
2.6.5　搜索时间的不同方式27
2.6.6　在搜索中嵌入式地指定时间29
2.6.7　_indextime 与 _time 对比29
2.7　加速搜索 29
2.8　分享结果30
2.9　保存结果供再次使用32
2.10　根据搜索创建报警34
2.10.1　定时计划34
2.10.2　动作36
2.11　总结37
第3章　表格、图表和字段38
3.1　关于管道符号38
3.2　使用top命令显示常见字段数值39
3.3　使用stats命令聚合数值42
3.4　使用图表转换数据45
3.5使用时间图显示数值在时间上的变化46
3.6　使用字段49
3.6.1　正则表达式49
3.6.2　创建字段的命令51
3.6.3　抽取日志级别52
3.7　总结60
第4章　简单XML指示板61
4.1　指示板的作用61
4.2　使用向导构建指示板62
4.3　定时生成指示板69
4.4　直接编辑XML69
4.5　用户交互案例应用程序69
4.6　构建表单70
4.6.1　根据指示板创建表单70
4.6.2　从一个表单中产生多个面板74
4.6.3　后处理的搜索结果79
4.6.4　后处理的限制80
4.7总结84
第5章　高级搜索案例85
5.1使用子查询寻找松散相关的事件85
5.1.1子查询85
5.1.2子查询使用的注意事项86
5.1.3嵌套子查询86
5.2使用事务命令87
5.2.1使用事务计算会话时长88
5.2.2合计事务统计信息90
5.2.3用事务组合子搜索90
5.3计算并发量94
5.3.1使用带并发的事务94
5.3.2使用并发量估计服务器负载95
5.3.3　使用by字句计算并发量96
5.4　计算每个时间片段的事务100
5.4.1　使用timechart命令100
5.4.2计算每分钟内的平均请求量101
5.4.3计算每分钟、每小时内的平均事件103
5.5重构top命令105
5.6总结110
第6章　扩展搜索111
6.1使用标签简化搜索111
6.2使用事件类型对结果分类113
6.3　通过查找操作丰富数据116
6.3.1　定义查找操作的表格文件117
6.3.2　定义一个查找操作的表格文件118
6.3.3　定义自动查找操作120
6.3.4在查找操作中排除故障122
6.4　使用宏以重复使用逻辑123
6.4.1　创建一个简单的宏123
6.4.2　创建带有参数的宏124
6.4.3　使用eval命令构建一个宏125
6.5　创建工作流动作125
6.5.1　使用事件中的数值运行查询125
6.5.2　链接到外部站点127
6.5.3　构建工作流动作以展示字段上下文128
6.6　使用外部命令132
6.6.1　从XML中抽取数值133
6.6.2　使用Google生成结果134
6.7　总结135
第7章　使用应用程序136
7.1定义应用程序136
7.2　自带的应用程序137
7.3　安装应用程序137
7.3.1　从Splunk库中安装应用程序138
7.3.2　从文件安装应用程序141
7.4　构建第一个应用程序141
7.5　编辑导航143
7.6　定制应用程序外观146
7.6.1　定制启动图标146
7.6.2　使用定制CSS146
7.6.3使用定制HTML147
7.7　对象权限151
7.7.1　权限如何影响导航151
7.7.2　权限如何影响其他对象152
7.7.3　纠正权限问题153
7.8　应用程序目录结构154
7.9　将应用程序添加到Splunk库中155
7.9.1　准备你的应用程序155
7.9.2　打包应用程序157
7.9.3　上传应用程序158
7.10总结158
第8章　构建高级指示板159
8.1　使用高级XML的原因159
8.2　不使用高级XML的原因159
8.3　开发过程160
8.4　高级XML结构160
8.5　将简单XML转换为高级XML162
8.6　模块逻辑流166
8.7理解布局面板168
8.8再次使用查询170
8.9　使用意图171
8.9.1　字符串替换172
8.9.2　添加查询词（addterm）173
8.10　创建定制的细化查询173
8.10.1　根据定制查询语句构建明细查询173
8.10.2　为另一个面板构建细化查询175
8.10.3　对多面板使用HiddenPost- Process模块构建细化查询　 177
8.11　第三方插件181
8.11.1　Google地图181
8.11.2　边视图工具（Sideview Utils）183
8.12总结191
第9章　摘要索引和CSV文件192
9.1理解摘要索引192
9.2何时使用摘要索引193
9.3何时不使用摘要索引194
9.4利用保存的查询生成摘要索引195
9.5在查询中使用摘要索引事件196
9.6使用sistats、sitop和sitimechart命令198
9.7延迟如何影响摘要查询201
9.8如何以及何时回填摘要数据202
9.8.1使用fill_summary_index.py回填202
9.8.2使用collect命令生成定制的摘要索引203
9.9减少摘要索引的规模206
9.9.1使用eval和rex命令定义分组字段206
9.9.2使用带有通配符的查找操作208
9.9.3使用事件类型对结果分组210
9.10大跨度的时间范围内计算排名靠前的结果212
9.11在摘要索引中存储原始事件215
9.12使用CSV文件存储暂态数据217
9.12.1预填充下拉菜单217
9.12.2计算一天的数据218
9.13总结219
第10章　配置Splunk220
10.1Splunk配置文件的位置220
10.2Splunk配置文件的结构221
10.3配置合并逻辑222
10.3.1合并顺序222
10.3.2配置合并逻辑223
10.3.3使用btool229
10.4Splunk中的.conf文件概览230
10.4.1props.conf230
10.4.2inputs.conf236
10.4.3transforms.conf243
10.4.4fields.conf252
10.4.5outputs.conf253
10.4.6indexes.conf253
10.4.7authorize.conf255
10.4.8savedsearches.conf255
10.4.9times.conf256
10.4.10commands.conf256
10.4.11web.conf256
10.5用户交互资源256
10.5.1视图与导航256
10.5.2应用程序服务器资源257
10.5.3元数据257
10.6总结259
第11章　高级部署260
11.1制定安装计划260
11.2Splunk实例类型261
11.2.1Splunk转发器261
11.2.2　Splunk索引器262
11.2.3Splunk搜索263
11.3常见数据来源263
11.3.1监视服务器日志263
11.3.2监视共享驱动器日志264
11.3.3批量处理日志264
11.3.4接收系统日志事件265
11.3.5处理数据库日志268
11.3.6使用脚本收集数据269
11.4计算索引器规模269
11.5制定冗余计划271
11.5.1索引器负载均衡271
11.5.2理解典型的系统中断272
11.6使用多个索引273
11.6.1索引的目录结构273
11.6.2创建更多索引的时机274
11.6.3桶的生命周期275
11.6.4计算索引规模276
11.6.5使用卷管理多个索引277
11.7部署Splunk二进制文件279
11.7.1根据压缩文件部署280
11.7.2使用msiexec命令部署280
11.7.3添加基本配置280
11.7.4配置Splunk以实现开机时启动281
11.8　使用应用程序组织配置281
11.9配置分布285
11.9.1　使用你自己的部署系统285
11.9.2　使用Splunk部署服务器286
11.10　为授权使用LDAP291
11.11　使用单点登录 292
11.12　负载均衡与Splunk292
11.12.1　Web292
11.12.2　splunktcp293
11.12.3　部署服务器293
11.13　多搜索头部293
11.14总结294
第12章　扩展Splunk295
12.1　书写脚本化的输入以收集数据295
12.1.1　 捕获不带日期的脚本输出295
12.1.2　捕获脚本输出作为单独事件298
12.1.3　编写长时间运行的脚本输入299
12.2在命令行中使用Splunk300
12.3　通过REST命令查询Splunk301
12.4编写命令304
12.4.1　何时不编写命令304
12.4.2　何时编写命令305
12.4.3　配置命令305
12.4.4　添加字段306
12.4.5操作数据307
12.4.6　转换数据308
12.4.7产生数据313
12.5编写脚本化的查找操作以丰富数据314
12.6编写事件渲染器316
12.6.1　使用特殊字段317
12.6.2　基于字段数值的字段表格318
12.6.3　打印XML320
12.7　编写脚本化的报警动作以处理结果322
12.8　总结324