5个高效的开源日志分析工具

监控网络活动既重要又繁琐。这些工具可以使它变得更容易。

5个高效的开源日志分析工具

监控网络活动可能是一项单调乏味的工作,但有充分的理由这样做。首先,它允许您查找和调查工作站、连接到网络的设备和服务器上的可疑登录,同时确定管理员滥用的来源。您还可以跟踪软件安装和数据传输,以实时识别潜在的问题,而不是在损害发生后才进行跟踪。

记录 – 跟踪和分析 – 应该是任何监控基础架构中的基本过程。 从灾难中恢复SQL Server数据库需要事务日志文件。 此外,通过跟踪日志文件,DevOps团队和数据库管理员(DBA)可以保持最佳的数据库性能,或在网络攻击的情况下找到未经授权的活动的证据。 因此,定期监视和分析系统日志非常重要。 这是一种可靠的方式来重新创建导致出现任何问题的事件链。

今天有很多开源日志跟踪器和分析工具可供使用,这使得为活动日志选择合适的资源比您想象的更容易。 免费和开源软件社区提供的日志设计适用于各种站点和任何操作系统。这里有五个我用过的最好的,排名不分先后。

Graylog

Graylog于2011年在德国开始,现在作为开源工具或商业解决方案提供。它被设计为集中式日志管理系统,可从各种服务器或端点接收数据流,并允许您快速浏览或分析该信息。

5个高效的开源日志分析工具

由于其易于扩展,Graylog在系统管理员中建立了良好的声誉。大多数web项目开始时规模很小,但可以成倍增长。Graylog可以平衡跨后端服务器网络的负载,每天处理几tb的日志数据。

IT管理员将发现Graylog的前端界面易于使用,并且功能强大。Graylog是围绕仪表板的概念构建的,它允许您选择您认为最有价值的度量标准或数据源,并随着时间的推移快速查看趋势。

当发生安全或性能事件时,IT管理员希望能够尽可能快地将症状追溯到根源。在Graylog中搜索功能使这变得简单。它具有内置的容错功能,可以运行多线程搜索,因此您可以一起分析几个潜在的威胁。

Nagios

Nagios从1999年开始只有一个开发人员,后来发展成为管理日志数据的最可靠的开源工具之一。当前版本的Nagios可以与运行Microsoft Windows、Linux或Unix的服务器集成。

5个高效的开源日志分析工具

它的主要产品是日志服务器,旨在简化数据收集并使系统管理员更容易访问信息。 Nagios日志服务器引擎将实时捕获数据并将其提供给强大的搜索工具。 通过内置的设置向导,可以轻松地与新的端点或应用程序集成。

Nagios最常用于需要监视本地网络安全性的组织。它可以审计一系列与网络相关的事件,并帮助自动分发警报。如果满足特定的条件,甚至可以将Nagios配置为运行预定义的脚本,从而允许您在人员介入之前解决问题。

作为网络审核的一部分,Nagios将根据其来源的地理位置过滤日志数据。这意味着您可以使用地图技术构建全面的仪表板,以了解您的网络流量是如何流动的。

Elastic Stack (the “ELK Stack”)

ElasticStack,通常称为ELK Stack,是需要筛选大量数据并理解其系统日志的组织中最受欢迎的开源工具之一。

5个高效的开源日志分析工具

它的主要产品由三个独立的产品组成:Elasticsearch,Kibana和Logstash:

顾名思义,Elasticsearch旨在帮助用户使用各种查询语言和类型在数据集中查找匹配项。速度是这个工具的头号优势。它可以扩展为数百个服务器节点的集群,轻松处理数PB的数据。

Kibana是一个可视化工具,与Elasticsearch一起运行,允许用户分析他们的数据并构建功能强大的报告。首次在服务器群集上安装Kibana引擎时,您将可以访问显示统计数据,图表甚至数据动画的界面。

最后一块ELK Stack是Logstash,它充当Elasticsearch数据库的纯服务器端管道。您可以将Logstash与各种编码语言和API集成,以便将来自您的网站和移动应用程序的信息直接提供给您强大的Elastic Stalk搜索引擎。

LOGalyze

LOGalyze是一家位于匈牙利的组织,为系统管理员和安全专家构建开源工具,帮助他们管理服务器日志并将其转换为有用的数据点。其主要产品可免费下载,供个人或商业使用。

5个高效的开源日志分析工具

LOGalyze被设计成一个巨大的管道,其中多个服务器、应用程序和网络设备可以使用简单对象访问协议(Simple Object Access Protocol, SOAP)方法提供信息。它提供了一个前端接口,管理员可以登录该接口监视数据收集并开始分析数据。

在LOGalyze web界面中,您可以运行动态报告,并将其导出到Excel文件、pdf或其他格式。这些报告可以基于LOGalyze后端管理的多维统计数据。它甚至可以跨服务器或应用程序组合数据字段,以帮助您发现性能趋势。

Fluentd

如果您的组织的数据源位于许多不同的位置和环境中,那么您的目标应该是尽可能地集中它们。否则,您将难以监控性能并防范安全威胁。

Fluentd是一个健壮的数据收集解决方案,并且完全是开源的。它没有提供完整的前端接口,而是作为一个集合层来帮助组织不同的管道。Fluentd被世界上一些最大的公司使用,但是也可以在较小的组织中实现。

5个高效的开源日志分析工具

Fluentd最大的好处是它与当今最常见的技术工具兼容。例如,您可以使用Fluentd从web服务器(如Apache)收集数据,从智能设备收集传感器,从MongoDB收集动态记录。如何处理这些数据完全取决于您。

Fluentd基于JSON数据格式,可以与500多个由著名开发人员创建的插件一起使用。这使您可以将日志数据扩展到其他应用程序中,并通过最少的手工工作来进行更好的分析。

最后

如果出于安全原因、政府遵从性和度量生产力的原因,您还没有使用活动日志,那么请承诺更改活动日志。市场上有很多插件,它们可以与多种环境和平台一起工作,甚至可以在您的内部网络上工作。不要等到发生了严重的事件,才有理由采取积极主动的方法来维护和监督日志。

原文链接:https://opensource.com/article/19/4/log-analysis-tools

了解新钛云服

新钛云服出品的部分精品技术干货

原文始发于微信公众号(新钛云服):