10种有效的日志分析工具

提到日志分析 , 很多人首先想到的是Splunk 。Splunk的成功促使其他厂商开始他们的日志分析研究历程 , 不论是开源还是商业 。本文将会提供Splunk以外的其他日志分析服务 。

10种有效的日志分析工具

文章插图
 
Elasticsearch(ELK堆栈)
缩写词“LAMP”指由linux、Apache HTTP web服务器、MySQL数据库和php(或Perl或Python)组成的web堆栈 。同样 , “ELK”用于描述一个由Elasticsearch、Logstash、Kibana构建的日志分析堆栈 , Elasticsearch堆栈用于搜索功能 , Logstash用于数据收集 , Kibana用于数据可视化 , 这些都是开源的 。
Elastic是ELK背后的公司 , 它以云服务或免费开放源码产品的形式提供所有组件 , 并提供支持订阅 。Elasticsearch、Logstash和Kibana是Splunk的最佳替代方案 , 因为Splunk的优势在于搜索和报告以及数据收集 。
其他公司也提供商业支持的ELK堆栈版本或ELK服务:
Logsene
Sematext的Logsene产品是ELK即服务 , 是托管的ELK堆栈 , 可在云端或防火墙后面使用 , 可与任何日志传送服务配合使用 。该平台集成了40多种服务和应用程序 , 可生成有关企业内部情况的上下文信息 。
Logsene还提供Logagent , 这是一个开源项目 , 从各种来源获取日志并将它们传输到Sematext的云或Elasticsearch实例 。Logagent的一个更便捷的功能之一是数据屏蔽 , 可以隐藏敏感数据 。另外 , 它可以在30天内免费试用 。
Logz.io
Logz.io提供ELK作为服务 , 具有“活尾”(能够从控制台实时查看日志)和自动归档到Amazon S3对象存储等功能 。通过Kibana和Grafana进行的时间序列分析现在也可以早期获得 。
定价为每月289美元 , 5GB存储空间和一年保留期 。免费社区层提供高达3GB的日常容量和3天的保留期 。
QBOX
Qbox在各种云基础架构(AWS , IBM Cloud , Rackspace)上提供每个ELK堆栈的托管版本 。每个实现都可以跨节点扩展 , 具有可调整的RAM量 , 在不同地理区域中的部署以及节点之间的可选故障转移 。Qbox还提供完整ELK堆栈的托管版本 。
Graylog
Graylog使用Elasticsearch作为核心组件 , 但它也依赖MongoDB数据存储和Apache Kafka流系统 。事件数据和在线数据可以从大多数来源获取 , 包括第三方连接器如Fluentd 。Graylog还附带了自己的基于浏览器的前端UI , 但理论上它的API将允许在任何前端运行 。
核心是免费开源 , 企业版增加了归档等功能 , 对于每天处理量低于5GB的用户来说是免费的 。版本适用于大多数虚拟化环境如Docker , 还提供主要编排和自动化工具(Chef , Puppet , Ansible , Vagrant)的脚本 。
InsightOps
InsightOps是Rapid7云托管分析 , 可视性和自动化产品线套件的一部分 。数据可以从各种格式和平台如Docker和CoreOS这样的容器系统中获取 , 还有来自Logstash、PagerDuty和New Relic的活动 , 甚至来自Slack等通知和消息系统的警报 。其他大多数东西都可以通过webhooks和API集成 。“合成”日志可以从通常不生成它们的端点生成 , 也可以从收集的数据生成实时仪表板和静态报告 。
30GB数据和30天数据保留的每月定价为48美元 , 免费试用30天 。
Loggly
Loggly是一种云服务 , 它从广泛的定义服务中收集日志 , 但任何具有syslog兼容代理(基本上使用RFC 5424的任何内容)的任何内容都可以作为信息源 。提取的数据可通过RESTful API进行快速搜索和分析 。
通过Loggly , 可以通过基于Web的仪表板检查结果 , 并将其配置为根据特定条件触发Slack中的警报 。用户可以通过选择的日志查看实时尾部结果 。还可以从记录的数据中自动提取详细信息 , 例如会话ID , 以获得进一步的洞察力 。
该服务起价为每月79美元 , 并且有14天的免费试用期 。免费套餐将提取限制为每天200MB和7天的数据保留 。
Papertrail
Papertrail具有许多其他竞争对手熟悉的功能 , 包括收集日志的实时视图、便捷的搜索功能以及日志历史记录中的上下文链接 , 所有这些功能都作为具有高度精细定价结构的云服务提供 。


推荐阅读