测试开发技术网站

### 1 ElasticStack的组成
* ElasticSearch：基于Json的分布式搜索和分析引擎
* Logstash：动态数据收集管道，生态丰富
* Kibana：提供数据的可视化界面
* Beats：轻量级的数据采集器

### 2 ElasticSearch简介
* 搜索、聚合分析、大数据存储
* 分布式、高性能、高可用、可伸缩、易维护
* 支持文本搜索、结构化查询、非结构化数据、地理位置搜索等

### 3 ElasticSearch的用途
* 搜索引擎：如百度、搜狗、谷歌等
* 垂直领域：如各大电商平台、QA系统、站内搜索等
* 商业智能：如数据分析、数据挖掘、用户画像等
* Github： 千亿+代码实现行代码秒差
* 日志系统：ELK

### 4 Logstash简介
（1）采集
数据往往以各种各样的形式，或分散或集中地存储与很多系统中，Logstash支持各种输入选择，可以同时从众多常用来源捕获时间，能够以连续的流式传输方式、轻松地从日志、指标、web应用、数据存储以及各类aws服务采集数据
![](/static/upload/20220521_040938.png)

（2）过滤
Logstash能够动态地转换和解析数据，不受格式或复杂度的影响：
* 利用Grok从非结构化数据中派生出结构
* 从IP地址破译出地理坐标
* 将PII数据匿名化，完全排除敏感信息
* 简约整体处理，不受数据源、格式或架构的影响
![](/static/upload/20220521_041156.png)

（3）输出
ElasticSearch是官方首选输出方式，但并不是唯一选择，Logstash提供多种输出选择，目前官方支持200多个插件

![](/static/upload/20220521_041315.png)

### 5 Kibana 简介
Kibana作为Elastic Stack的窗户
* 可视化
图表：柱状图、线状图、饼图、旭日图
位置分析：位置搜索、形状搜索、地图检测等
时序分析：可以方便的从各种不同时间维度查看

* 管理和监控你
机器学习：非监督模型异常和隐患检测
安全监控：堆栈监测、异常报警、策略可配置
柱状图、线状图、饼图、旭日图等

### 6 Beats简介
Beats是轻量级数据采集器
* 开源
Beats是一个免费且开放的平台，集合了多种单一用途的数据采集器，他们从成百上千或成千上万机器和系统向Logstash或ElasticSearch发送数据

* 轻量级
Beats使用Go语言开发，对服务器资源占用极低，Beats可以采集符合Elastic Common Schema（ECS）要求的数据，可以将数据转发值Logstash进行转换和解析

* 即插即用
Filebeat和Metricbeat包含的一些模块能够简化从关键数据源（如云平台、容器、系统以及网络技术）采集，解析和可视化信息的过程，只需运行一行命令即可开始探索

* 可扩展
由于Beats开源的特性，如果现有Beats不能满足开发者要求，我们可以自行构建，并且完善Beats社区

测试开发技术网站

博客