CentOS6.5搭建ELK套件搭建日志分析和监控平台_LLQ_200的博客-CSDN博客
CentOS6.5搭建ELK套件搭建日志分析和监控平台
LLQ_200
于 2017-04-01 14:08:03 发布
5283
收藏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/llq_200/article/details/68943935
版权
1 概述
ELK套件（ELK stack）是指ElasticSearch、Logstash和Kibana三件套。这三个软件可以组成一套日志分析和监控工具。
2 环境准备
2.1 防火墙配置
为了正常使用HTTP服务等，需要关闭防火墙：
[plain] 
view plain
 copy
# service iptables stop  
或者可以不关闭防火墙，但是要在iptables中打开相关的端口：
[plain] 
view plain
 copy
# vim /etc/sysconfig/iptables   -A INPUT -m state --state NEW -m tcp -p tcp --dport 80 -j ACCEPT   -A INPUT -m state --state NEW -m tcp -p tcp --dport 9200 -j ACCEPT   -A INPUT -m state --state NEW -m tcp -p tcp --dport 9292 -j ACCEPT   # service iptables restart  
3 安装JDK
ElasticSearch和Logstash依赖于JDK，所以需要安装JDK：
[plain] 
view plain
 copy
# yum -y install java-1.7.0-openjdk*   # java -version  
4 安装ElasticSearch
ElasticSearch默认的对外服务的HTTP端口是9200，节点间交互的TCP端口是9300。
下载ElasticSearch：
[plain] 
view plain
 copy
# mkdir -p /opt/software && cd /opt/software   # sudo wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.4.2.tar.gz   # sudo tar -zxvf elasticsearch-1.4.2.tar.gz -C /usr/local/   # ln -s /usr/local/elasticsearch-1.4.2 /usr/local/elasticsearch  
安装elasticsearch-servicewrapper，并启动ElasticSearch服务：
[plain] 
view plain
 copy
# sudo wget https://github.com/elasticsearch/elasticsearch-servicewrapper/archive/master.tar.gz   # sudo tar -zxvf master   # mv /opt/software/elasticsearch-servicewrapper-master/service /usr/local/elasticsearch/bin/   # /usr/local/elasticsearch/bin/service/elasticsearch start  
测试ElasticSearch服务是否正常，预期返回200的状态码：
[plain] 
view plain
 copy
# curl -X GET http://localhost:9200  
5 安装Logstash
Logstash默认的对外服务的端口是9292。
下载Logstash：
[plain] 
view plain
 copy
# sudo wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz   # sudo tar -zxvf logstash-1.4.2.tar.gz -C /usr/local/   # ln -s /usr/local/logstash-1.4.2 /usr/local/logstash  
简单测试Logstash服务是否正常，预期可以将输入内容以简单的日志形式打印在界面上：
[plain] 
view plain
 copy
# /usr/local/logstash/bin/logstash -e 'input { stdin { } } output { stdout {} }'  
创建Logstash配置文件，并再次测试Logstash服务是否正常，预期可以将输入内容以结构化的日志形式打印在界面上：
[plain] 
view plain
 copy
# mkdir -p /usr/local/logstash/etc   # vim /usr/local/logstash/etc/hello_search.conf   input {     stdin {       type => "human"     }   }      output {     stdout {       codec => rubydebug     }        elasticsearch {       host => "10.111.121.22"       port => 9300     }   }   # /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/hello_search.conf  
6 安装Kibana
CentOS默认预装了Apache，所以将Kibana的代码直接拷贝到Apache可以访问的目录下即可。
[plain] 
view plain
 copy
# sudo wget https://download.elasticsearch.org/kibana/kibana/kibana-3.1.2.tar.gz   # sudo tar -zxvf kibana-3.1.2.tar.gz   # mv kibana-3.1.2 /var/www/html/kibana  
修改Kibana的配置文件，把elasticsearch所在行的内容替换成如下：
[plain] 
view plain
 copy
# vim /var/www/html/kibana/config.js   elasticsearch: "http://10.111.121.22:9200",  
启动一下HTTP服务：
[plain] 
view plain
 copy
# service httpd start  
修改ElasticSearch的配置文件，追加一行内容，并重启ElasticSearch服务：
[plain] 
view plain
 copy
# vim /usr/local/elasticsearch/config/elasticsearch.yml   http.cors.enabled: true   # /usr/local/elasticsearch/bin/service/elasticsearch restart  
然后就可以通过浏览器访问Kibana了：
[plain] 
view plain
 copy
http://10.111.121.22/kibana  
现在，在之前的Logstash会话中输入任意字符，就可以在Kibana中查看到日志情况。
7 配置Logstash
再次创建Logstash配置文件，这里将HTTP日志和文件系统日志作为输入，输出直接传给ElasticSearch，不再打印在界面上：
[plain] 
view plain
 copy
# vim /usr/local/logstash/etc/logstash_agent.conf   input {     file {       type => "http.access"       path => ["/var/log/httpd/access_log"]     }        file {       type => "http.error"       path => ["/var/log/httpd/error_log"]     }        file {       type => "messages"       path => ["/var/log/messages"]     }   }      output {     elasticsearch {       host => "10.111.121.22"       port => 9300     }   }   # nohup /usr/local/logstash/bin/logstash -f /usr/local/logstash/etc/logstash_agent.conf &  
现在，一个简单的日志分析和监控平台就搭建好了，可以使用Kibana进行查看。
LLQ_200
关注
关注
点赞
收藏
打赏
评论
CentOS6.5搭建ELK套件搭建日志分析和监控平台
1 概述ELK套件（ELK stack）是指ElasticSearch、Logstash和Kibana三件套。这三个软件可以组成一套日志分析和监控工具。2 环境准备2.1 防火墙配置为了正常使用HTTP服务等，需要关闭防火墙：[plain] view plain copy # service iptable
复制链接
扫一扫
Centos8 中如何使用journalctl分析日志
永远在学习Linux之路上
05-19
329
systemd 是大多数主要Linux发行版中的默认系统管理器，它带有一个名为“journald”的日志守护程序。
systemd从系统、内核和各种服务或守护进程多个来源收集日志，并通过journald提供集中管理的解决方案。
什么是journald？
journald是systemd的守护进程，它从系统、内核和各种服务或守护进程多个来源收集日志，并以二进制格式存储日志，以便于操作。
所有这些日志事件都由journald处理，它提供了一种集中处理日志的方法，而不管消息来自何处。
什么是jou..
CentOS 安装 ELK
04-26
NULL
博文链接：https://rensanning.iteye.com/blog/2312102
参与评论
您还未登录，请先
登录
后发表或查看评论
centos linux系统日志分析,CentOS 7日志分析详解【二】
weixin_29758911的博客
05-01
1744
一、日志文件1.日志的功能用于记录系统、程序运行中发生的各种事件通过阅读日志，有助于诊断和解决系统故障2.日志文件的分类内核及系统日志由系统服务syslog统一进行管理，日志格式基本相似用户日志记录系统用户登录及退出系统的相关信息程序日志由各种应用程序独立管理的日志文件，记录格式不统一3.日志保存位置默认位于/var/log目录下4.主要日志文件介绍内核及公共消息日志：/var/log/messa...
日志审计与分析实验（CentOS日志分析）
最新发布
weixin_51250102的博客
03-26
5621
CentOS日志审计与分析
CentOS 6.5搭建ELK环境ElasticSearch+Kibana+Logstash
Lee_Natuo的博客
01-11
5640
CentOS 6.5搭建ELK环境
ELK工作流程
多个独立的Agent(Shipper)负责收集不同来源的数据，一个中心Agent(Indexer)负责汇总和分析数据，在中心Agent前的Broker(使用Redis实现)作为缓冲区，中心Agent后的ElasticSearch用于存储和搜索数据，前端的Kibana提供丰富的图表展示。
Shipper表示日志收集，使用L
CentOS6.5 ELK搭建最新版（6.3.1）使用filebeat
Atlan_blog
07-22
3941
ELK原理与介绍
为什么用到ELK：
一般我们需要进行日志分析场景：直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理，所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。
一般大型系统是一个分布式部署...
Centos6.5搭建ELK
wangshui898的专栏
03-14
380
安装JDK
#wget http://172.18.71.12:83/2Q2W261090F59DD53D8C9740EB6430C46EB03192EE29_unknown_229A95874D39CC9F5FE38A6EA9A2A49C92CE7A07_9/download.oracle.com/otn-pub/java/jdk/8u162-b12/0da788060d494f5095bf86...
Cenots 7安装ELK6
勇气的天空
01-23
2317
架构：
APP Server：
IP:192.168.1.2
安装软件:Kibana &logstash
存储服务器1：
IP:192.168.1.3
安装软件:KElasticsearch
存储服务器2：
IP:192.168.1.4
安装软件:KElasticsearch
存储服务器3：
IP:192.168.1.5
Linux系统Centos7 基于Docker搭建ELK分布式日志系统
MarkLin编程部落格
12-25
1207
ELK 基本概述
ELK是Elasticsearch、Logstash、Kibana的简称，常常用于部署分布式系统日志服务。
Elasticsearch：全球实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。
Logstash：用来搜集、分析、过滤日志的...
Centos6.5使用ELK(Elasticsearch + Logstash + Kibana) 搭建日志集中分析平台实践
reblue520的专栏
10-12
119
Centos6.5安装Logstash ELK stack 日志管理系统
概述：
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。
通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使...
linux 信号量_《Linux设备驱动程序》（七）——信号量使用示例
weixin_39827625的博客
12-04
111
上一节中介绍了并发和竞态的概念，以及介绍了一些手段用于避免产生竞态，包括信号量、completion机制、自旋锁、原子变量等。本节我们使用其中的信号量来编写一个简单的示例，来看看这些手段是怎么工作的。本节主要的内容是：使用信号量驱动设计本节我们基于之前的scull设备进行驱动设计，新的驱动设备命名为scull_lock，主要实现以下功能：初始状态下，节点可用的资源数为0，此时如果读取节点，线程会进...
Linux系统搭建ELK日志分析系统
烟花易冷
01-09
305
ELK日志分析系统搭建前言一、安装es二、Kibana安装三、Logstash 安装四、filebeat安装最后
前言
本文先搭建下ELK日志分析采集系统，具体的原理以后慢慢来研究
用到的软件分别为，
最新款的7.10.1，所有软件都要用同一版本
一、安装es
解压
#当前目录：/usr/local/soft/ELKB/
tar -zvxf elasticsearch-7.10.1.tar.gz
创建用户，并将ElasticSearch安装权限归新用户所有
useradd elkb
passwd e
Centos7.2 搭建ELK-5.6.4日志分析平台（一）
夏冬丶王阳旭
11-28
6845
日志作为系统的重要的调试分析文件，是我们开发调试，运维监控，找错等。所以，必须需要建立一个日志分析平台，用于监控分析各个系统的日志。而业内最有知名的日志分析平台，则是ELK系统。是一整套完整的日志分析体系，官方地址为：https://www.elastic.co/cn/products
ELK，是Elasticsearch+Logstash+Kibana三个软件的简称，久而久之则称之为ELK，但
【ELK初探】-Centos6.7下搭建篇
ylzhusky的博客
01-25
2331
一.架构一览：
所谓ELK，分别指代的是Elasticsearch、Logstash、Kibana; 官网：https://www.elastic.co/products;
三者角色分明:Elasticsearch负责索引（创建索引，搜索数据),相当于数据库；Logstash负责上传日志，在上传日志的过程中，可以对日志做规整，将规整后的日志塞进Elasticsearch中；Kibana负责可视
centos6.5下的elk部署
weixin_34138377的博客
08-11
82
1、介绍 elk是实时日志分析平台，主要是为开发和运维人员提供实时的日志分析，方便人员更好的了解系统状态和代码问题。2、elk中的e（elasticsearch）:（2.1）先安装依赖包，官方文档说明使用java1.8yum -y install java-1.8.0-openjdk安装elasticsearch：tar zvxf elasticsearch-1.7.0....
ELK6.2最简化部署
timwuq的博客
07-03
533
ELK（1）
目前最新的6.5.4 ELK日志收集全家桶 搭建 步骤：
成熟的小孩的博客
12-29
3653
全家桶 官网：https://www.elastic.co/cn/downloads/kibana
流程图：
1.1 安装环境搭建
本文中介绍的ELK平台搭建需要用到如下六种程序，出于兼容性考虑，程序附上版本号。
JDK 1.8
1.2. elasticsearch 的安装与配置
1.2.1. ES 基本环境搭建
解压文件 elasticsearch-6.5.4.tar.gz
tar -zx...
centos7 安装elk日志分析系统
无风的雨
12-13
5926
架构图
Elasticsearch：搜索，提供分布式全文搜索引擎；
Logstash: 日志收集，管理，存储；
Kibana ：日志的过滤web 展示；
Filebeat：监控日志文件、转发，其已取代 logstash forwarder；一、准备工作
设置 yum源，采用官网提供的源
https://www.elastic.co/guide/en/elasticsearch/ref
centos6.5安装ELK
y_y_y_k_k_k_k的专栏
05-25
824
一：简介
ELK由Elasticsearch、Logstash和Kibana三部分组件组成；
Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
Logstash是一个完全开源的工具，它可以对你的日志进行收集、分析，并将其存储供以后使用
kibana 是一
ELK6.1搭建--安装和配置
热门推荐
h952520296的博客
12-22
2万+
ELK简介Elasticsearch
Elasticsearch是一个实时的分布式搜索分析引擎， 它能让你以一个之前从未有过的速度和规模，去探索你的数据。它被用作全文检索、结构化搜索、分析以及这三个功能的组合：
* Wikipedia使用Elasticsearch提供带有高亮片段的全文搜索，还有search-as-you-type和did-you-mean的建议。*卫报 使用Elasticsear
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：编程工作室
设计师：CSDN官方博客
返回首页
LLQ_200
CSDN认证博客专家
CSDN认证企业博客
码龄6年
暂无认证
72
原创
43万+
周排名
103万+
总排名
35万+
访问
等级
3180
积分
36
粉丝
58
获赞
14
评论
199
收藏
私信
关注
热门文章
traceroute命令讲解
78264
linux下设置 crontab 每分钟、每小时、每天、每周、每月、每年定时执行
39222
通过docker run 命令来在容器内运行一个应用程序 输出Hello world
23526
Linux下统计当前文件夹下的文件个数、目录个数
16413
zabbix之日志文件监控
13091
最新评论
linux下设置 crontab 每分钟、每小时、每天、每周、每月、每年定时执行
也许还会爱:
膜拜技术大佬,来我博客指点江山吧
kafka topic调优
ctotalk:
坚持。
linux下设置 crontab 每分钟、每小时、每天、每周、每月、每年定时执行
膨胀少女:
网站好评
MySQL修改3306端口启动不了问题
Dda:P:
所以要再怎么干掉？、？？？
升级了centos系统自带git版本后 clone报ssl错误的解决方法！
哈哈嘻嘻吼吼:
啊啊啊 蟹蟹楼主 解决了我的问题，小白搞了半天都没弄出来，不过升级的是什么呀
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
kafka topic调优
自动巡检kafka进程号并自启
自动巡检spark-job进程号
2019年11篇
2018年26篇
2017年52篇
2016年7篇
目录
目录
最新文章
kafka topic调优
自动巡检kafka进程号并自启
自动巡检spark-job进程号
2019年11篇
2018年26篇
2017年52篇
2016年7篇
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
LLQ_200
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值