1 ElasticStack的组成

• ElasticSearch：基于Json的分布式搜索和分析引擎
• Logstash：动态数据收集管道，生态丰富
• Kibana：提供数据的可视化界面
• Beats：轻量级的数据采集器

2 ElasticSearch简介

• 搜索、聚合分析、大数据存储
• 分布式、高性能、高可用、可伸缩、易维护
• 支持文本搜索、结构化查询、非结构化数据、地理位置搜索等

3 ElasticSearch的用途

• 搜索引擎：如百度、搜狗、谷歌等
• 垂直领域：如各大电商平台、QA系统、站内搜索等
• 商业智能：如数据分析、数据挖掘、用户画像等
• Github： 千亿+代码实现行代码秒差
• 日志系统：ELK

4 Logstash简介

（1）采集
数据往往以各种各样的形式，或分散或集中地存储与很多系统中，Logstash支持各种输入选择，可以同时从众多常用来源捕获时间，能够以连续的流式传输方式、轻松地从日志、指标、web应用、数据存储以及各类aws服务采集数据

（2）过滤
Logstash能够动态地转换和解析数据，不受格式或复杂度的影响：

• 利用Grok从非结构化数据中派生出结构
• 从IP地址破译出地理坐标
• 将PII数据匿名化，完全排除敏感信息
• 简约整体处理，不受数据源、格式或架构的影响
  

（3）输出
ElasticSearch是官方首选输出方式，但并不是唯一选择，Logstash提供多种输出选择，目前官方支持200多个插件

5 Kibana 简介

Kibana作为Elastic Stack的窗户

• 可视化
  图表：柱状图、线状图、饼图、旭日图
  位置分析：位置搜索、形状搜索、地图检测等
  时序分析：可以方便的从各种不同时间维度查看

• 管理和监控你
  机器学习：非监督模型异常和隐患检测
  安全监控：堆栈监测、异常报警、策略可配置
  柱状图、线状图、饼图、旭日图等

6 Beats简介

Beats是轻量级数据采集器

• 开源
  Beats是一个免费且开放的平台，集合了多种单一用途的数据采集器，他们从成百上千或成千上万机器和系统向Logstash或ElasticSearch发送数据

• 轻量级
  Beats使用Go语言开发，对服务器资源占用极低，Beats可以采集符合Elastic Common Schema（ECS）要求的数据，可以将数据转发值Logstash进行转换和解析

• 即插即用
  Filebeat和Metricbeat包含的一些模块能够简化从关键数据源（如云平台、容器、系统以及网络技术）采集，解析和可视化信息的过程，只需运行一行命令即可开始探索

• 可扩展
  由于Beats开源的特性，如果现有Beats不能满足开发者要求，我们可以自行构建，并且完善Beats社区