企业每天都处于数据海洋中。企业网络、服务器、个人计算设备、应用程序都要产生大量的日志和数据，但这些数据给安全团队带来极大的挑战，在数据的海洋中，IT并不知道哪些重要。即，IT被淹没在了汹涌的数据中。企业和安全团队更渴望可操作的数据。
本文将推荐一些供安全专家挖掘日志数据、安全事件信息及其它监视数据的方法，帮助企业和安全专家利用工具和最佳方法来更有效地分析安全信息，从而识别并阻止威胁或损害。
恐怕将来也不可能存在测试攻击的“秘技”，也不可能简单地按下一个按钮就可以从日志文件中获得有价值的信息。事实上，安全信息和事件管理（SIEM）工具自动完成的任务是相当复杂的，而且这种工具可以监视的系统和数据范围使得检测攻击和故障就像是大海捞针一样困难。
企业并不缺乏工具去监视和分析由大量IT系统产生的数据。然而，充分利用这些工具的资源和专业技术可能非常困难。事实上，如果没有高度的自动化和对SIEM、日志管理系统的正确配置，安全团队有可能永远无法跟得上恶意攻击者。
安全信息和事件管理（SIEM）及日志管理系统已经存在很长时间了。这种系统常用于中型和大型企业的IT部门进行数据分析。然而，在过去的十年中，这种技术的主要应用已经发生了变化。
安全信息和事件管理（SIEM）及日志管理最初用于安全目的，即为了检测进入系统的木马、系统探测、未经批准的变更等。IT专业人员认为SIEM和日志管理可用于改进运营；他们利用日志文件和数据来定位问题，并帮助运营团队更有效地管理环境。然后，SIEM使用的重点被从运营转向了合规，使用SIEM和日志管理来帮助保障企业与法律法规保持统一。
如今，SIEM和日志管理系统被用于上述所有的应用，但该技术还被用于查找恶意软件、僵尸网络、高级持续威胁（APT），以及任何数量的与数据相关的安全问题。而且，不但用该技术来分析“事后”数据，还可以进行快速的实时检测。
为跟得上企业日益增长的更为复杂的数据分析需要，厂商们已经调整了其产品。例如，为了满足企业关于合规的需要，平台必须在设置策略和审查信息两个方面能够被非技术人员访问和理解。期望审计人员学会一门编程语言或者设置系统日志的微妙细节是不现实的。而且，信息审计者的需要水平和类型也不同于其它人员的信息需要：审计者需要关于配置数据和控制设置的详细信息，在许多情况下，合规团队需要完整的审计线索，用以提供具体的来龙去脉，并验证采取的一系列操作与所建立的规则策略保持一致。
安全威胁的变化引起安全产品的变化。如今，在进行深入分析之前，通过冗长的集中、汇总、标准化、索引等手段来处理事件已经不合时宜。企业需要适时的或接近适时的分析和应对攻击。有时，为了取证评估而对获取的相关事件进行归档，并在恢复上个月的备份磁带之前使其无法访问，这也是不可接受的。
为了满足当今的需要，安全信息和事件管理工具已经发生了演变，但是，由于这些平台要服务于多个方面，而每个方面都要依赖不同的信息源，所以收集的信息数量也是海量的。该市场已经达到了一种产品升级就能够满足需求的成熟水平，但是却缺乏高效的分析和检测能力，或者缺乏将数据转换成可操作信息的能力。
那么，如何成功地从日志和事件系统中挖掘、分析、应用信息呢？
1、更快地分析
IT必须理解，几乎没有哪家公司能够阻止针对性的攻击或高级持续性威胁（APT）。在遭受这类攻击的企业中，黑手有可能已经进入。所以，企业的检测系统能够快速地识别威胁并阻止信息离开公司是至关重要的。
为应对安全事件，你需要实时分析。这意味着在收集数据以检测是否有违反策略的问题时，能够快速地检测日志数据。为此，平台必须支持在终端进行分析，也就是说需要智能代理，用以与中央管理服务器的强化规则保持同步。如今，市场上许多平台都宣称拥有此功能，但并非所有的平台都真正这样做。任何宣称实时分析却通过汇聚和关联所有事件进行分析的厂商都是在“忽悠”。有些策略只有在关联了相关事件后才真正有意义，但大量的事件包含了足够的信息，可以决定是否发生了攻击，或者至少可以决定是否可疑活动正在发生。
2、过滤噪音
在一个需要监视10到2000个设备的环境中，每个设备每天都会生成大量的日志事件或者警告，企业需要管理大量的数据。分析人员必须将这些数据转换成真正可操作的信息，但要应对如此多的数据，分析人员有可能仅调查最明显的攻击。企业必须使用一种或多种方法来减少警告的数量。否则，就会出现太多的误报，影响工作效率，并减少有效范围。
高效过滤要求IT理解威胁，从而引起对相关数据的重视。IT需要花时间理解哪些资源会成为攻击者的目标，并且理解攻击者可能进入的途径，给特定活动分配一个相对风险值，并且编制测试可疑条件的策略。在整合海量数据时，能够突出模式和异常值的可视化工具是特别有益的，所以请花些时间来将警告和报告集成到这些工具中。
3、理解业务
过滤噪音的一种方法是真正理解业务。在安全业界，有一个相对较新的词语叫做“背景意识”，即如果不考虑更大的商业背景，异常问题就会迷失于细节的汪洋中。对攻击的检测，或者对误报情况的避免，都可以通过更好地理解业务来实现。这意味着认识到合法的业务看似什么，并且理解常见的事件归类和分组，并且将异常的数据发布与正常情况区分开来。
4、关联和浓缩
多数平台都提供事件关联，并提供某种程度的灵活性，将来自不同源的事件连接起来。能够在特定窗口中查看所有事件，或者查看特定用户的所有事件，提供调查安全事件的有效方法。在如何使用关联技术来集成不同的源这个问题上，你拥有某种灵活性，但该技术要求你考虑好什么才是最好的选择。
5、借助并利用合规
合规已经成为安全信息和事件管理的驱动因素。用于合规的许多控制可被利用来检测配置问题、补丁问题等。许多由合规目的而生成的报告、视图、策略等都可用于满足安全目标。与合规部门的领导密切合作可以获得这些资源的访问，也可以学习其减少误报和重复警告的策略。行动小组可能没有时间和预算来修正策略，但合规团队常常拥有这种资源。
6、信息汇总与重复数据删除：
许多日志文件包含大量的重复信息。系统登录的某个系统日志登录项目看起来与下一个登录项目极其相似，与邮件服务器的连接也是如此。如今，在多数安全信息和事件管理（SIEM）以及日志管理平台上有一个常常被忽视使用的功能，即日志项目的重复数据删除。本质上，该功能所做是就是将普通的重复性的系统消息保存为一个参考值，从而丢弃大量的重复信息。
7、关闭系统
关闭系统是一个不错的注意。但是，企业拥有许多重复的关键业务应用，每一种应用都在不同的业务单元中起到相同的功能。例如，在企业收购另外一家企业时就会发生这种情况：业务应用程序在两企业中都存在，而IT必须支持多种平台。对这些应用程序的整合以及迁移到单独一个平台可以减少复杂性和合规负担。这就要求在用户培训、性能规划、许可证成本等方面的前期费用，但从长远来看却能节省时间和金钱。
8、自动化并整合管理任务
SIEM和日志管理系统可以很好地检测配置错误的系统、遗漏的补丁等。而这些平台的设计目的是为了与其它多种系统（包括工作流程、补丁管理、配置管理等系统）相集成，有助于许多基本任务的自动化。在做好准备工作之后，许多日常的数据监视和分析程序可以实现自动化并过滤，交给一系列可管理的任务。
9、可视化
有人说，管理部门只在出问题时才注意到IT，所以IT最好能够快速确定问题，只有这样多数终端用户才不会注意到这些问题。而事件的图形化表示就有助于此，因为在看图形而非原始数字时更容易注意到异常。更为重要的是，事件类型与预定视图建立逻辑连接对于快速识别性能问题和攻击是极有益的。最新一代平台可以提供可视化工具，可以映射企业网络、识别漏洞、并向IT展示风险与系统如何相关。这些工具不但可以提供对正在发生事件的可视化线索，而且可以深度挖掘特定数据的数据流。通过对IT系统与正在发生事件的交互方式的可视化表示，就可以使检测和数据分析更简单。
10、监视更多的应用程序
执行业务功能的应用程序正是审计人员最感兴趣的，而有效的应用程序控制需要进行验证。从数据库活动监视、Web应用程序防火墙、文件活动监视、数据丢失预防系统等非传统源头对警告和规则进行合并，可以更好地显示数据是如何被访问的。这些安全工具专注于应用层，因而可以从整体上提供更多的业务背景，清楚地显出业务的连续性和控制。
11、聪明对待数据归档
在很大程度上讲，需要分析的数据越少越好。有些业务信息必须保持存档和多年的可审计性，而有些信息必须无限期地保存。有些公司在一年后发现遭到了损害，或者发现攻击者大量地探查其系统并植入后门和破坏性代码。不过，你必须在某处划定界限，借助于多数合规报告，可以在生成报告后立即归档事件数据。你也许没有相关安全事件的优越条件，但你可以在将数据保存到长期存储器时寻求积极的方法。需要管理的信息量越少，你的报告和分析生成得就越快。
12、预构建合规报告和策略
每一个安全信息和事件管理（SIEM）和日志管理平台都有为合规目的而编制的报告和策略。多数客户需要为其操作定制这些报告。建议IT尽量与厂商保持同步，看其将什么新策略和报告放到了产品中，并利用你能够运用的一切。在许多情况下，为让客户满意，厂商将会帮助企业定制策略和调整系统，特别是在最初的购买和产品部署阶段。
13、合并报告
审计是一个烦琐的过程，它通常需要人工检查总结性的报告数据，并深入研究详细报告，检查所部署的控制是否正在如宣称那样运行。为减少总数据量并重点关注报告的任何东西都可以减少内部人员和外部人员的时间。IT应当寻求优化报告的方法，用以更快地检查。有时，两个小型的报告就可以取代一个包罗万象的审计报告，过滤可以解决特定问题的所有数据。
14、别停下来
正如恶意攻击者调整其攻击用以利用新漏洞，或改造恶意软件以逃避检测一样，安全专家们也应当不断地改变。停滞不前意味着失败。最终这些日志文件是你洞察和监视正在发生问题的重要依据。而IT的工作是搞清楚哪些重要，以及如何用尽可能少的努力获得这种信息，并且不犯错误。你要判定在哪里调整系统，用以提供一种新的视图：大量的信息如何流经SIEM和日志管理系统。

结论
在涉及从SIEM中获得价值时，并没有简易的答案，只有策略可以有助于将负担减少到一个可管理的水平。本文所建议的许多答案可能听起来要做更多的工作，但提前采取措施仅是使技术为你工作的唯一方法，而不是让数据将你淹没。如果你仍认为这些努力太艰巨，不妨考虑一下攻击者与你的不同之处：他们希望尽可能地高效，所以他们就寻求最简单的方法来完成操作。这意味着他们在攻击之前，将会提前花时间确定最简单且最有可能的成功手段。你的方法也应当一样。

文章如转载，请注明转载自：http://www.5iadmin.com/post/1047.html