网站上每天都生成大量各类日志，给安全管理带来挑战，本书作者是国际公认的日志管理领域技术专家，详细介绍如何简化复杂的日志监控过程，提供了大量真实案例与最佳实践。详细介绍系统、网络的日志管理与日志分析方法的方法，包括创建对系统、应用有用的日志，日志搜索，日志回顾等。日志管理包括分析、可视化、报告等。日志信息的不同使用方法，从系统操作到日常管理。syslog-ng的使用案例，特别是事故状态的应急反应。日志报告、日志分析选项、计划日志分析系统，日志数据标准化和相关性的分析等。
作者向我们介绍了一种方法，它可以简化分析大规模日志数据的复杂过程，并且作者在书中对其推荐的日志管理和日志数据分析方法进行了详细的阐述。
—— Reference and Research Book News
三位作者通过本书向读者分享了他们在日志管理与分析方面的重要工作经验……对于那些希望从日志中寻找重要信息的读者，本书是一个巨大的资源，它展示了如何从大量日志数据中获得隐藏的信息，挖掘你需要的重要信息。
—— RSA Conference
对不同种类的日志进行高效管理与分析可能会面临很多难题，本书提供了大量最佳实践帮助你简化这个复杂的过程，包含系统、网络和安全日志中必须知道的信息，同时也详细地介绍了日志管理和日志分析方法，包括如何在系统和应用程序上创建实用的日志、日志搜索和日志审核。
本书主要内容
全面介绍日志管理，包括分析、可视化、报告等。
讲解了使用日志的各种信息——从系统运营到监管依从性。
包含日志在事故响应中的真实案例分析。
针对报告、日志分析系统选择、日志分析系统规划、日志数据规范化和关联等提供实用指南。
作者简介
Anton A. Chuvakin 国际资深安全专家、Security Warrior公司创始人，专注于为安全软件供应商和世界500强企业提供日志管理解决方案等咨询服务。他发表了数十篇有关日志管理、关联分析、数据分析、PCI DSS、安全管理等主题的文章，其博客是行业中最受欢迎的博客之一。他曾在许多国际安全会议上发表演讲，并且参与新兴安全标准的制定，担任安全领域多家创业公司的顾问。
Kevin J. Schmidt 戴尔SecureWorks公司高级经理，负责公司SIEM平台主要部分的设计和开发，包括数据获取、相关分析和日志数据分析。他之前曾在GuradedNet公司担任首席软件开发工程师和架构师，在Reflex Security公司从事IPS引擎和反病毒软件方面的工作，有近20年的软件开发和设计经验。
Christopher Phillips 戴尔SecureWorks经理、高级软件开发工程师，负责公司Threat Intelligence服务平台的设计和开发。此外，他还负责管理一个团队，来集成许多第三方提供商的日志和事件信息，帮助客户通过公司的系统和安全专家来分析信息。
内容简介
日志是计算机系统中一个非常广泛的概念，磁盘系统、内核操作系统、应用服务器等任何设备和程序都可能输出日志，其内容、形式、规模和用途等各不相同。面对如此庞大的日志，我们如何处理和分析日志数据，从中获取有用信息？
本书由日志管理与分析领域资深安全专家亲笔撰写，从日志的基本概念开始，循序渐进讲解整个日志生命期的详细过程，涵盖日志数据收集、存储分析和法规依从性等主题，并通过丰富的实例，系统阐释日志管理与日志数据分析的实用技术和工具，既包括传统的syslog，也涵盖云计算和大数据环境下新兴的日志分析技术。此外，本书从整个运营规程、策略上形成完整的系统，突破行业和具体软硬件配置的限制，不管读者身处何种规模、何种软硬件配置，均能从本书介绍的概念和思路中获益，并通过自己的努力，形成基于标准、适合自身特点的日志运营架构。
欢迎阅读本书。本书的目标是向信息技术（IT）专业人士提供理解和处理日志数据的入门知识。各种形式的日志数据是由许多类型的系统生成的。如何处理和分析日志数据是长期存在的一个问题。本书介绍能够帮助你分析日志数据和寻找恶意活动的技术和工具。
过去，系统管理员审阅日志文件，寻找磁盘错误或者内核问题。现在的系统管理员往往还要兼任安全管理员。更好地理解如何处理安全日志数据的需求从未像今天那么重要。安全性分析人员是IT专家组中负责跟踪日志分析技术的人。许多经验丰富的人曾经在“压力测试”的模式下进行学习。本书的目标是提供帮助你快速理解各种概念的材料，提取许多人曾经花费多年学习的知识。
我们先来谈谈最近的一个重要问题：法规依从性。随着安能公司和其他企业的垮台，法规依从性现在成为了许多企业的核心主题，焦点现在集中在政策和规程。作为IT工程师，你能说明，Bob在被解雇之后无法访问自己的企业电子邮件账户吗？这些事情需要公司提出规程。系统和网络日志的框架正在以这样那样的方式变化。
目标读者
本书面向任何对学习日志记录和日志管理感兴趣的人。下面介绍一些应该阅读本书的人士。
系统管理员：承担企业日志数据监控任务。
初级安全工程师：网络安全的新手，希望学习日志分析技术。
应用程序开发人员：对从头构建一个日志分析系统感兴趣的人，本书提供了这方面的示例代码。但是，全书为日志分析的重要性提供了很好的背景资料，这些领域也不应该忽略。
管理人员：想深入理解日志数据收集、存储、分析和法规依从性等主题的人。如前所述，这些问题在企业中越来越多地出现，并将持续地成为IT专业人士需要更多关注的领域。
所需基础知识
我们假定读者对网络、操作系统和网络安全等概念有基本的了解。但是，理解本书中的素材并不要求读者是计算机科学家或者网络高手。需要背景信息的主题提供了必要的细节。大部分代码示例采用Perl和Java编程语言。理解或者使用这些代码示例并不要求读者是Java高手，所以我鼓励每个人都仔细地阅读这些例子。
本书的组织
本书的每一章内容都建立在前一章的基础上。尽管如此，许多章节可以独立阅读。本书共有22章。
第1章：木材、树木、森林
该章提供了日志系统的背景信息。如果你熟悉了syslog、SNMP、安全日志、日志数据收集、存储等概念，就可以跳过本章。
第2章：日志是什么
该章描述日志消息，包括日志重要性的讨论。
第3章：日志数据来源
该章描述syslog协议、SNMP和Windows事件日志。此外，介绍了日志数据源的分类。
第4章：日志存储技术
如果你想要学习有关日志保留、存储格式和在关系数据库管理系统（RDBM）中存储日志的知识，那么请详读该章。我们甚至提供了使用Hadoop进行这方面工作的例子。
第5章：syslog-ng案例研究
该章深入介绍了如何在实际环境中部署syslog-ng进行日志收集，还讨论了syslog-ng的一些较为高级的功能。
第6章：隐蔽日志
如果你需要以隐蔽的方式使用日志，该章提供了完成这一任务的许多细节。
第7章：分析日志的目标、规划和准备
在你开始分析日志数据之前，首先需要设定目标、规划并为任务做准备。该章介绍的主题包括寻找过去的问题、未来的问题和从未见过的情况。
第8章：简单分析技术
在讨论高级分析技术之前，需要介绍基础知识，这包括人工日志分析及其工具。除此之外，我们讨论一个可以使Windows事件日志的阅读更为简单的高级工具。当然，我们还讨论了响应日志分析结果的过程。
第9章：过滤、规范化和关联
该章是激动人心的一章，介绍了相关的技术和工具，能够帮助你执行关联分析，找出简单的人工日志分析可能忽视的问题。该章介绍的主题包括过滤、规范化、分类学、关联和一些常见的搜索模式。该章中有两节是为对构建自己的关联分析引擎感兴趣的开发人员而写的。该章还介绍了Jess和Esper，说明如何构建基于规则和基于流的引擎。
第10章：统计分析
该章讨论如何使用统计执行分析，介绍了频率统计、基线、阈值和异常检测。我们甚至提供了使用机器学习进行分析的方法。
第11章：日志数据挖掘
该章专门介绍日志挖掘或者日志知识发现——不同类型的日志分析，它不依赖于对所要寻找的内容的了解。这打破了日志搜索中对字符串列表或者模式的依赖，将日志分析的“高级艺术”提高到一个新的水平。
第12章：报告和总结
该章关注作为日志分析手段的报告，我们特别重视对日志数据最佳报告的定义。
第13章：日志数据可视化
日志数据的可视化往往很有用。我们的意思不是查看警报、电子邮件或者特定日志分析系统的输出。我们更感兴趣的是讨论在有向图和其他可视化工具中查看日志数据。
第14章：日志法则和日志错误
该章介绍各类组织在日志上常见的错误（以及正在犯的错误），还介绍一些组织处理日志中常见的规则和相关性，“法则”的叫法可能过于严格了。
第15章：日志分析和收集工具
该章提供了用于日志数据分析和收集的开源和商用工具的评论，这些评论可为读者在选择日常数据管理工具时提供一些参考信息，包括使用这些工具进行日志分析的例子，并且包含了使用这些工具审核常见日志任务和场景的实例。该章将帮助读者评估可用的工具集，以便确定自己组织中分析日志的合适工具。
第16章：日志管理规程
该章对日志管理中的日志审核、响应和升级做了介绍。使用支付卡行业（Payment Card Industry，PCI）数据安全性标准（Data Security Standard，DSS）的例子是该章的主题。思路是阐述如何在现实中应用概念。这意味着，示例针对PCI标准，但是它们很容易经过改编，扩展到任何环境中。本质上，该章开发了你可以使用的一组步骤和规程。额外的一个好处是对日志管理中解读和应用标准的深入了解。
第17章：对日志系统的攻击
该章介绍了对日志记录、日志分析系统的攻击，甚至日志分析人员对日志安全、操作和依从性的破坏。
第18章：供程序员使用的日志
该章对于各种程序员都是实用的。这包括系统管理员、Perl程序员、C/C++程序员、Java程序员及其他编程人员。本质上，任何编写脚本、程序或者软件系统的人都将从该章的内容中获益。人们常说，糟糕的日志消息是糟糕的程序员造成的。虽然这不完全对，但该章的目的就是通过向程序员和其他人提供如何生成更好的日志消息的指导和概念，进而改变这一看法。最终，这些方法将对调试、信息收集和解析能力带来帮助，并且增进软件生成的日志消息的整体实用性。
第19章：日志和依从性
该章介绍日志记录和法规及政策的依从性，该章对于任何苦于应付法规依从性的人来说都是有价值的。
第20章：规划自己的日志分析系统
该章为日志分析系统的部署规划提供实用的指南。该章的目的不是提供安装特定日志分析系统的详细蓝图，而是提供素材，使你能够将概念应用到任何自己所处的日志分析部署中。该章将告诉你在这一过程中所要询问的问题和考虑的项目。
第21章：云日志
云计算是现在的热门话题，并将越来越热门。我们目睹了传统的紧缩型套装产品从公司所属的数据中心移植到云中（这一切正在发生），IT管理员在硬件、交换机、机架、软件上花费较少的资本性支出（CAPEX），控制日志数据收集、集中和存储甚至安全信息及事件管理（SIEM）的机会将会大大减少。该章介绍云计算和云日志，还介绍与云环境相关的法规和安全问题、云中的大数据、云中的SIEM、优缺点以及几个关键云日志提供商的详细清单。
第22章：日志标准和未来的趋势
该章提供了日志标准的未来和日志记录及日志分析未来发展的专业意见。
致谢
Dr.Anton A.Chuvakin
首先，也是最重要的：感谢我的妻子Olga，她是我所有作品永恒的灵感源泉，感谢她提供的宝贵的项目管理建议，感谢她容忍（是的，几乎总是在容忍……）我将本可以共度的夜晚用在本书上。
接下来，我特别感谢Marcus Ranum为本书所作的序。
最后，感谢Syngress/Elsevier的全体人员，感谢他们对我们未能按照承诺的时间交稿的宽容。
Kevin J.Schmidt
首先，我要感谢美丽的妻子Michelle。她给我的鼓励和支持帮助我完成了本书。当然，感谢我的雇主Dell，为我完成这一项目提供了支持。接下来必须感谢提供宝贵意见的同事们：Rob Scudiere、Wayne Haber、Raj Bandyopadhyay、Emily Friese、Rafael Guerrero-Platero和Maro Arguedas。来自BalaBit IT Security的Robert Fekete在syslog-ng的有关章节上提供了杰出的意见。Ernest Friedman-Hill为第9章中关于Jess的小节提供了宝贵的建议。我过去的同事Jimmy Alderson慷慨地为第13章提供了代码示例。最后，我要感谢合著者Anton和Chris，感谢他们为这本出色的书籍提供了杰出的内容。
Christopher Phillips
我要感谢美丽的妻子Inna和可爱的孩子们，Jacqueline和Josephine。她们的亲切、幽默和爱，在我编写本书和经历生活中所有努力和冒险的时候提供了灵感和支持。我还要感谢我的父亲一如既往地支持和鼓励我从事工程和科技。感谢Rob Scudiere、Wayne Haber和我的雇主Dell提供的宝贵意见。我还要特别感谢合著者Kevin提供机会，让我成为这本出色书籍的作者之一。Kevin在Dell SecureWorks和我共事的许多年中提供了很好的指导和鼓励，帮助我在职业生涯中变得更为专业。他的领导能力和安全知识是我、我们的客户和每天在一起的许多人灵感的源泉。
计算机\安全
“作者向我们介绍了一种方法，它可以简化分析大规模日志数据的复杂过程，并且作者在书中对其推荐的日志管理和日志数据分析方法进行了详细的阐述”
——Reference and Research Book News
“三位作者通过本书向读者分享了其在日志管理与分析方面的重要工作经验，……对于那些希望从日志中寻找重要信息的读者，本书是一个巨大的资源，它展示了如何从大量日志数据中获得隐藏的信息，挖掘你需要的重要信息。”
——RSA Conference
对不同种类的日志进行高效管理与分析可能会面临很多难题，本书提供了大量最佳实践帮助你简化这个复杂的过程，包含系统、网络和安全日志中必需知道的信息，同时也详细地介绍了日志管里和日志分析方法，包括如何在系统和应用程序上创建实用的日志、日志搜索和日志审核。
本书主要内容
? 全面介绍日志管理，包括分析、可视化、报告等。
? 讲解了使用日志的各种信息——从系统运营到监管依从性。
? 包含日志在事故响应中的真实案例分析。
? 针对报告、日志分析系统选择、日志分析系统规划、日志数据规范化和关联等提供实用指南。
从我第一次遇到syslog算起已经有25年了。当时我是由围绕一台Sun-3新组建的Sun-2小型群集系统的管理员，试图通过电话和一位朋友一起调试UUCP连接，这位朋友告诉我“检查日志”。观察syslog有时令我昏昏欲睡，但我发现，这是查看计算机实际上“做了什么”的最好办法。分屏系统可以在屏幕的上角打开一个窗口运行“tail–f/usr/spool/messages”命令，这展示了其价值；我可以观察电子邮件的工作、USENET新闻流、进程启动和停止，我可以看到自己的计算机实际在做什么！直到几年之后我第一次遇到安全事故，我才发现日志对于观察过去和当前的情况都很有用。之后，系统管理员在屏幕的一角观察其日志的时代已经一去不复返，现在，这一切已经很模糊了。
为什么我们当中的有些人痴迷于日志，而其他人则对其漠不关心？我认为这是因为，系统管理员有可能认为“日志记录了某些事情”因而“计算机做了某些事情”以及“一切正常，所以我很高兴”。我的第一个日志分析算法很简单：
如果日志工具能够一次又一次地帮助你摆脱困境，你就会不断地使用它。25年来，我从syslog开始，用日志工具完成了如下工作：
搜寻对某个主要电子商务零售商发动“购物车穷举攻击”的痕迹。
找出1000多个系统中恶意软件自动投放的位置。
将我暑假中的一些时光花费在分析一家超级计算机中心10年的日志，偶然地发现只通过日志的体积就能够检测主要的Linux发行版本。
构建一个网站数据复制系统，使用syslog作为原子事务记录。
确认谁向President Clinton @whitehouse.gov发送了一封危险电子邮件。
计算我的软件工程师在DiabloⅡ游戏上花了多少时间。
解析和重放6个月的日志中的事务，重新构造一个损坏的数据库。
除此之外，我还用syslog做许多“日常工作”，例如确保系统一切正常，寻找不寻常的活动，以及找出故障点及其原因。和计算机中的其他系统不同，我们可以用系统日志对过去的工作进行限制性查看，限制来自我们收集的信息，以及保存的时长，这是一个有用的视图。因此我总是说：“如果你看到一个系统的日志是关闭的，就说明系统管理员对其工作毫不在乎。”。我不知道曾经有多少次听到在事故响应中，关键的系统“因为性能的原因”关闭了日志。对于我这样痴迷于日志的人来说，那样的做法完全没有经过深思：性能问题很容易用更快的处理器或者一个闪存盘来解决，而没有了日志，你就是在“盲飞”。
奇怪的是，关于系统日志的好书并不多。你可能以为，有许多的书籍能够告诉你有用的日志是什么样的，但是实际上没有，这可能是因为该主题有些枯燥，而且这个主题太过广泛，需要覆盖从获取数据到如何处理所获取数据的所有细节。而且还有一个大问题：如何处理日志本身没有简单的方法。“在星期天需要对syslog做的前10种处理”这样的简单规则是没有的，因为每个人的日志都不相同，需求也各不相同。写一本从本质上说明“重点，查看你的日志并且思考你所看到的内容”的书籍是很困难的。安全人员想要看的是入侵的企图；系统管理员看到的是表示系统正常运行的特征；CIO将会查看使用情况指标和业务证据；审计人员将会查看可以选择的复选框，凡此种种。窍门就是向所有这些人解释：系统日志是一种集地板蜡、甜点配料和足底按摩器为一体的全能产品，哦，顺便提一句：它只适用于自己动手解决问题的人。
日志需要自己动手这种特性可能是日志难以令人喜欢的原因。而这本书正是你们所要寻找的日志“菜谱”，但是没有简单的“通用”技巧。你必须思考每一种思路，然后对其进行改编，应用到你的特殊情况中。当我教授系统日志分析课程（很久以前的事了！）时，我总是发现班上的有些学生很不愉快地离开了：他们期待在离开时带走“真正能揭示一切的饼状图”或者“具备强大查找功能的日志分析Perl脚本”。与此相反，我讲的是通过数据思考分析和分类的框架。我曾经在课程的先决条件中要求“必须了解某种编程方法”，还记得有一位学生最喜欢的日志分析编程语言是MATLAB。不管你得到什么数据，你所要寻找的就是工作的最佳工具。
在序言中加入我自己的建议可能不太合适，但是无论如何我还是要这么做。对日志进行有效操作的最佳途径是召集3～4位能干的人一起开会，买一些披萨和啤酒，花上两个小时审视你的日志。将日志的内容投影到大屏幕上，让每个人都能看见，并且来回滚动，查看你所得到的结果。然后，当你觉得厌倦的时候开始问自己：你从日志中得到了哪些想要知道的信息，你想要生成哪些方面的摘要，哪些内容能够组成系统工作完成的有用指标，哪些内容可能指出关键的错误。本书对于如何做到这些提供了更多有用的细节，但是相信我，买些披萨和啤酒是没错的。
我可能已经说了太多你已经知道的事情，所以该到此为止了。现在，翻过这一页，开始阅读本书吧！
Marcus J.Ranum
Tenable Network Security公司CSO
（美）Anton A. Chuvakin，Kevin J. Schmidt，Christopher Phillips著：暂无简介
姚军 简于涵 刘晖 等译：暂无简介
对于广大IT工作者（尤其是负责运维工作的人）来说，日志是一个熟悉的名词，机房中的各种系统、防火墙、交换机、路由器，都在不断地产生日志，而在我们的规章制度上，还有着手工记录或者由某些代理程序采集的运维日志。但是，就是这个天天伴随我们的概念，我们真的熟悉吗？我们是否天天都会去查看重要系统的日志，在系统出现问题或者问题隐患的时候，我们是否能从日志的分析中看出端倪？当系统遭受严重的攻击和破坏时，我们的日志记录系统是否能够幸免于难，帮助我们一步步走出泥淖？
IT安全业界的无数实践告诉我们，健全的日志记录和分析系统是系统正常运营与优化以及安全事故响应的基础，虽然安全系统供应商为我们提供了五花八门的解决方案，但是最终的基础仍是具有充足性、可用性、安全性的日志记录系统。作为运维人员，以及为企业开发应用程序（日志生产者）的开发人员，能不能回答上述的问题，正是对我们实际工作能力的一个考验。
在实际工作中，我们可以看到，许多单位内部对日志并没有充分的认识，安全工作更多地投入设备，比如防火墙、IDS、IPS、防病毒软件等，被动地希望这些系统帮助我们完成一切工作，但是俗话说得好：“道高一尺，魔高一丈”，以特征码和预定义规则为基础的上述设备，在防护方面永远落在攻击者的后面，防微杜渐才是真正的出路。作为一名合格的运维人员，了解日志的概念，了解日志的配置和分析方法，是发现威胁、抵御攻击的重要技能，有了这方面的深刻认识，各种自动化安全解决方案才能真正地发挥效能。
多年以来，许多安全书籍都会或多或少地提及日志的作用，但是我们都苦于没有一本全面介绍日志的书籍，这也给人们在日常工作中开发有效的日志记录、分析、响应系统，以及运营中相关的规程带来了困难。
本书是由三位业界资深的安全专家编撰，从日志的基本概念开始，由浅入深地讲述了整个日志生命期的详细过程，书中以大量实例介绍了许多日志方面的最佳实践，从传统的syslog，一直到正在不断兴起的云计算和大数据，涵盖了这一重要领域中的各项法则，并结合业界中最为常见的监管规章。不仅从详细的技术及工具上，而且从整个运营规程、策略上形成了完整的系统，从而突破了行业和具体软硬件配置的限制，不管读者身处何种规模、何种软硬件配置，均能从本书介绍的概念和思路中获益，并通过自己的努力，形成基于标准、适合自身特点的日志运营架构。
本书涵盖的内容极广，给翻译工作带来了很大的挑战，同时也让译者受益匪浅，我们衷心地希望书中的内容能给广大读者带来帮助，由于译者水平所限，错误在所难免，期待读者朋友们的指正。本书的翻译工作主要由姚军完成，简于涵、刘晖、徐锋、陈绍继、郑端、吴兰陟、施游、林起浪、陈志勇、刘建林、白龙、林耀成、陈霞、方翊、宁懿等人也为本书的翻译工作做出了贡献，在此衷心感谢机械工业出版社华章分社的编辑们对翻译工作提出的中肯意见，以及其他工作人员对本书付出的艰辛努力。
译者序
作者简介
序言
前言
第1章 木材、树木、森林 1
1.1 概述 1
1.2 日志数据基础 2
1.2.1 什么是日志数据 2
1.2.2 日志数据是如何传输和收集的 3
1.2.3 什么是日志消息 5
1.2.4 日志生态系统 6
1.3 看看接下来的事情 12
1.4 被低估的日志 13
1.5 日志会很有用 14
1.5.1 资源管理 14
1.5.2 入侵检测 14
1.5.3 故障排除 17
1.5.4 取证 17
1.5.5 无聊的审计，有趣的发现 18
1.6 人、过程和技术 19
1.7 安全信息和事件管理（SIEM） 19
1.8 小结 22
参考文献 22
第2章 日志是什么 23
2.1 概述 23
2.2 日志的概念 25
2.2.1 日志格式和类型 27
2.2.2 日志语法 32
2.2.3 日志内容 35
2.3 良好日志记录的标准 36
2.4 小结 38
参考文献 38
第3章 日志数据来源 39
3.1 概述 39
3.2 日志来源 39
3.2.1 syslog 40
3.2.2 SNMP 45
3.2.3 Windows事件日志 48
3.3 日志来源分类 50
3.3.1 安全相关主机日志 50
3.3.2 安全相关的网络日志 52
3.3.3 安全主机日志 52
3.4 小结 54
第4章 日志存储技术 55
4.1 概述 55
4.2 日志留存策略 55
4.3 日志存储格式 57
4.3.1 基于文本的日志文件 57
4.3.2 二进制文件 59
4.3.3 压缩文件 59
4.4 日志文件的数据库存储 60
4.4.1 优点 61
4.4.2 缺点 61
4.4.3 定义数据库存储目标 61
4.5 Hadoop日志存储 63
4.5.1 优点 63
4.5.2 缺点 64
4.6 云和Hadoop 64
4.6.1 Amazon Elastic MapReduce入门 64
4.6.2 浏览Amazon 64
4.6.3 上传日志到Amazon简单存储服务（S3） 65
4.6.4 创建一个Pig脚本分析Apache访问日志 67
4.6.5 在Amazon Elastic MapReduce (EMR)中处理日志数据 68
4.7 日志数据检索和存档 70
4.7.1 在线存储 70
4.7.2 近线存储 70
4.7.3 离线存储 70
4.8 小结 70
参考文献 71
第5章 syslog-ng案例研究 72
5.1 概述 72
5.2 获取syslog-ng 72
5.3 什么是syslog-ng 73
5.4 部署示例 74
5.5 syslog-ng故障排除 77
5.6 小结 79
参考文献 79
第6章 隐蔽日志 80
6.1 概述 80
6.2 完全隐藏日志设置 82
6.2.1 隐藏日志生成 82
6.2.2 隐藏日志采集 82
6.2.3 IDS日志源 83
6.2.4 日志收集服务器 83
6.2.5 “伪”服务器或“蜜罐” 85
6.3 在“蜜罐”中的日志记录 85
6.3.1 蜜罐网络的隐蔽shell击键记录器 86
6.3.2 蜜罐网络的Sebek2案例研究 87
6.4 隐蔽日志通道简述 88
6.5 小结 89
参考文献 89
第7章 分析日志的目标、规划和准备 90
7.1 概述 90
7.2 目标 90
7.2.1 过去的问题 91
7.2.2 未来的问题 92
7.3 规划 92
7.3.1 准确性 92
7.3.2 完整性 93
7.3.3 可信性 93
7.3.4 保管 94
7.3.5 清理 94
7.3.6 规范化 94
7.3.7 时间的挑战 95
7.4 准备 96
7.4.1 分解日志消息 96
7.4.2 解析 96
7.4.3 数据精简 96
7.5 小结 98
第8章 简单分析技术 99
8.1 概述 99
8.2 一行接一行：绝望之路 100
8.3 简单日志查看器 101
8.3.1 实时审核 101
8.3.2 历史日志审核 102
8.3.3 简单日志操纵 103
8.4 人工日志审核的局限性 105
8.5 对分析结果做出响应 105
8.5.1 根据关键日志采取行动 106
8.5.2 根据非关键日志的摘要采取行动 107
8.5.3 开发行动计划 109
8.5.4 自动化的行动 109
8.6 示例 110
8.6.1 事故响应的场景 110
8.6.2 例行日志审核 110
8.7 小结 111
参考文献 111
第9章 过滤、规范化和关联 112
9.1 概述 112
9.2 过滤 114
9.3 规范化 115
9.3.1 IP地址验证 116
9.3.2 Snort 116
9.3.3 Windows Snare 117
9.3.4 通用Cisco IOS消息 117
9.3.5 正则表达式性能考虑因素 118
9.4 关联 119
9.4.1 微观关联 121
9.4.2 宏观关联 122
9.4.3 使用环境中的数据 125
9.4.4 简单事件关联器 126
9.4.5 状态型规则示例 127
9.4.6 构建自己的规则引擎 132
9.5 常见搜索模式 139
9.6 未来 140
9.7 小结 140
参考文献 140
第10章 统计分析 141
10.1 概述 141
10.2 频率 141
10.3 基线 142
10.3.1 阈值 145
10.3.2 异常检测 145
10.3.3 开窗 145
10.4 机器学习 146
10.4.1 kNN算法 146
10.4.2 将kNN算法应用到日志 146
10.5 结合统计分析和基于规则的关联 147
10.6 小结 148
参考文献 148
第11章 日志数据挖掘 149
11.1 概述 149
11.2 数据挖掘简介 150
11.3 日志数据挖掘简介 153
11.4 日志数据挖掘需求 155
11.5 挖掘什么 155
11.6 深入感兴趣的领域 157
11.7 小结 158
参考文献 158
第12章 报告和总结 159
12.1 概述 159
12.2 定义最佳报告 160
12.3 身份认证和授权报告 160
12.4 变更报告 161
12.5 网络活动报告 163
12.6 资源访问报告 164
12.7 恶意软件活动报告 165
12.8 关键错误和故障报告 166
12.9 小结 167
第13章 日志数据可视化 168
13.1 概述 168
13.2 视觉关联 168
13.3 实时可视化 169
13.4 树图 169
13.5 日志数据合成 170
13.6 传统日志数据图表 175
13.7 小结 176
参考文献 176
第14章 日志法则和日志错误 177
14.1 概述 177
14.2 日志法则 177
14.2.1 法则1——收集法则 178
14.2.2 法则2——留存法则 178
14.2.3 法则3——监控法则 178
14.2.4 法则4——可用性法则 179
14.2.5 法则5——安全性法则 179
14.2.6 法则6——不断变化法则 179
14.3 日志错误 179
14.3.1 完全没有日志 180
14.3.2 不查看日志数据 181
14.3.3 保存时间太短 182
14.3.4 在收集之前排定优先顺序 183
14.3.5 忽略应用程序日志 184
14.3.6 只搜索已知的不良条目 184
14.4 小结 185
参考文献 185
第15章 日志分析和收集工具 186
15.1 概述 186
15.2 外包、构建或者购买 186
15.2.1 构建一个解决方案 187
15.2.2 购买 187
15.2.3 外包 188
15.2.4 问题 189
15.3 日志分析基本工具 189
15.3.1 grep 189
15.3.2 awk 191
15.3.3 Microsoft日志解析器 192
15.3.4 其他可以考虑的基本工具 193
15.3.5 基本工具在日志分析中的作用 194
15.4 用于集中化日志分析的实用工具 195
15.4.1 syslog 195
15.4.2 Rsyslog 196
15.4.3 Snare 197
15.5 日志分析专业工具 197
15.5.1 OSSEC 198
15.5.2 OSSIM 200
15.5.3 其他值得考虑的分析工具 201
15.6 商业化日志工具 202
15.6.1 Splunk 202
15.6.2 NetIQ Sentinel 203
15.6.3 IBM q1Labs 203
15.6.4 Loggly 204
15.7 小结 204
参考文献 204
第16章 日志管理规程 205
16.1 概述 205
16.2 假设、需求和预防措施 206
16.2.1 需求 206
16.2.2 预防措施 207
16.3 常见角色和职责 207
16.4 PCI和日志数据 208
16.4.1 关键需求10 208
16.4.2 与日志记录相关的其他需求 211
16.5 日志记录策略 213
16.6 审核、响应、升级规程 初始基线 217
16.6.3 人工构建初始基线 219
16.6.4 主要工作流程：每天日志审核 220
16.6.5 异常调查与分析 222
16.6.6 事故响应和升级 225
16.7 日志审核的验证 225
16.7.1 日志记录的证据 226
16.7.2 日志审核的证据 226
16.7.3 异常处理的证据 226
16.8 日志簿——异常调查的证据 227
16.8.1 日志簿推荐格式 227
16.8.2 日志簿条目示例 228
16.9 PCI依从性证据包 230
16.10 管理报告 230
16.11 定期运营任务 231
16.11.1 每日任务 231
16.11.2 每周任务 232
16.11.3 每月任务 232
16.11.4 季度任务 233
16.11.5 年度任务 233
16.12 其他资源 233
16.13 小结 233
参考文献 234
第17章 对日志系统的攻击 235
17.1 概述 235
17.2 各类攻击 235
17.2.1 攻击什么 236
17.2.2 对机密性的攻击 236
17.2.3 对完整性的攻击 241
17.2.4 对可用性的攻击 245
17.3 小结 252
参考文献 252
第18章 供程序员使用的日志 253
18.1 概述 253
18.2 角色与职责 253
18.3 程序员所用的日志记录 254
18.3.1 日志应该记录哪些信息 255
18.3.2 程序员使用的日志记录API 256
18.3.3 日志轮转 257
18.3.4 不好的日志消息 259
18.3.5 日志消息格式 259
18.4 安全考虑因素 261
18.5 性能考虑因素 262
18.6 小结 263
参考文献 263
第19章 日志和依从性 264
19.1 概述 264
19.2 PCI DSS 265
19.3 ISO 2700X系列 269
19.4 HIPAA 271
19.5 FISMA 276
19.6 小结 281
第20章 规划自己的日志分析系统 282
20.1 概述 282
20.2 规划 282
20.2.1 角色和职责 283
20.2.2 资源 284
20.2.3 目标 284
20.2.4 选择日志记录的系统和设备 285
20.3 软件选择 285
20.3.1 开源软件 285
20.3.2 商业化软件 286
20.4 策略定义 287
20.4.1 日志记录策略 287
20.4.2 日志文件轮转 288
20.4.3 日志数据收集 288
20.4.4 留存/存储 288
20.4.5 响应 289
20.5 架构 289
20.5.1 基本模型 289
20.5.2 日志服务器和日志收集器 290
20.5.3 日志服务器和具备长期存储的日志收集器 290
20.5.4 分布式部署 290
20.6 扩展 291
20.7 小结 291
第21章 云日志 292
21.1 概述 292
21.2 云计算 293
21.2.1 服务交付模型 293
21.2.2 云部署模型 294
21.2.3 云基础设施特性 295
21.2.4 标准？我们不需要讨厌的标准 295
21.3 云日志 296
21.4 监管、依从性和安全问题 300
21.5 云中的大数据 301
21.6 云中的SIEM 303
21.7 云日志的优缺点 304
21.8 云日志提供者目录 305
21.9 其他资源 305
21.10 小结 305
参考文献 306
第22章 日志标准和未来的趋势 307
22.1 概述 307
22.2 从今天推知未来 308
22.2.1 更多的日志数据 308
22.2.2 更多动力 309
22.2.3 更多分析 310
22.3 日志的未来和标准 310
22.4 渴望的未来 314
22.5 小结 314
