ELK日志分析平台搭建 ： （ES集群搭建）

elk是可以由五个组件构成，Elasticsearch（es集群，存储收集到的数据），Logstash（日志搜集，分析，过滤工具），Kibana（前端日志展示框架，以可视化方式展示日志），Kafka（消息队列，大规模日志时提供削峰功能），Filebeat（轻量级数据收集引擎，在各个节点上代替logstash工作）

整体数据链路可以理解为：

• 1、日志数据由filebate进行收集，定义日志位置，定义kafka集群，定义要传给kafka的那个topic
• 2、kafka接受到数据后,端口为9092，等待消费
• 3、logstash消费kafka中的数据，对数据进行搜集、分析，根据输入条件，过滤条件，输出条件处理后，将数据传输给es集群
• 4、es集群接受数据后，搜集、分析、存储
• 5、kibana提供可视化服务，将es中的数据展示。

安装配置ES

[root@elk ~]useradd es
   #建立es集群专用用户
[root@elk ~]echo "******" | passwd --stdin "es" 
   #设置es用户的密码
[root@elk ~]tar zxvf /usr/local/package/elasticsearch-7.13.2-linux-x86_64.tar.gz -C /usr/local/ 
[root@elk ~]vim /usr/local/es/config/elasticsearch.yml 
   #在其“cluster.initial_master_nodes:”写es集群的服务器地址；
   #在其“discovery.seed_hosts:”写上除自己之外的其他节点地址。
[root@elk ~]# sed -i 's/## -Xms4g/-Xms4g/' /usr/local/es/config/jvm.options  
[root@elk ~]# sed -i 's/## -Xmx4g/-Xmx4g/' /usr/local/es/config/jvm.options
   #设置JVM堆大小为4g，防止崩溃
[root@elk ~]# mkdir -p /data/elasticsearch/data       (/data/elasticsearch)
[root@elk ~]# mkdir -p /data/elasticsearch/logs       (/log/elasticsearch)
   #创建es数据，日志存储目录
[root@elk ~]# chown -R es.es /data/elasticsearch
[root@elk ~]# chown -R es.es /usr/local/es
   #修改目录存储权限
[root@elk ~]# su - es -c "cd /usr/local/es && nohup bin/elasticsearch &"
   #启动es，浏览器访问9200端口，9200是外部程序以html方式通信的；9300则是es集群之间高效通信的端口

为方便查看集群状态，可以在主节点上安装head插件，解压插件后，进入head目录下的“Gruntfile.js”文件，将其中的参数修改

head插件默认端口为9100，在浏览器中输入我的ip:9100，就可以查看集群信息了

至此es集群搭建完成，搭建过程中出现问题是在首次访问9100时，只有两个节点，第三个节点始终没加入集群，查阅资料，最终根据（“【软件安装】es集群只能配置两个节点，无法加入新节点_51CTO博客_es集群添加节点”），找到了解决办法，将三个节点的“data/nodes”全删了，同步服务器时间，让他们重组集群，问题解决。