ELK日志分析的工作原理是什么?

1、根据如上的三剑客AWK、SED、GREP统计、分析线上Nginx日志,发现执行效率和结果很低,速度很慢,尤其是日志量非常庞大的时候,效率极低,在企业中要求实时统计、分析,AWK、SED、GREP显然不可取的。

2、在企业生产环境,常见的日志种类:

  • 系统日志;
  • 内核日志;
  • 审计日志;
  • 安全日志;
  • 应用日志;

3、ELK不是一款软件组成,是由三款软件组成的,分别是:ElasticSearch、Logstash、Kibana,其中ES、Logstash均是基于JAVA语言开发的,所以底层需要依赖JAVA JDK工具包。

  • ElasticSearch

ElasticSearch是基于JAVA语言开发的开源的、分布式、搜索存储引擎,主要是用于持久化存储日志内容(硬盘上)、同时具备实时的检索、分析、统计功能。类似百度搜索引擎的功能。

  • Logstash

Logstash是基于JAVA语言开发的开源的、免费的日志收集工具,主要是用于收集客户端的日志内容(系统、内核、安全、应用日志),同时可以过滤日志内容,最终将日志内容持久化存储到ElasticSearch服务器。每个客户端主机均要安装Logstash日志收集插件。

  • Kibana

Kibana是基于Nodejs语言开发的WEB界面程序(UI界面:WEB前端框架),主要是为ElasticSearc、Logstash提供WEB界面操作,方便运维人员、开发人员更加直观的对ELK平台配置、日志分析、日志统计等。

4、ELK分布式日志平台工作原理:

客户端安装Logstash日志收集工具,通过logstash收集客户端应用程序的日志内容,将所有的日志过滤出来,并且存入Elasticsearch 搜索引擎里,然后通过Kibana UI在WEB前端展示给用户,用户需要可以进行查看指定的ES引擎中日志内容。

发表评论

后才能评论