设为首页 时时开奖号码

龙虎时时彩走势图50期: 时时开奖号码

查看: 3128|回复: 12
打印 上一主题 下一主题

[经验分享] ELK6.2.2日志分析监控系统搭建和配置

[复制链接]

累计签到:3 天
连续签到:1 天
跳转到指定楼层
1#
发表于 2018-3-15 10:38:53 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
ELK日志平台介绍

在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段:

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。

通常,日志被分散的储存不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理,例如:开源的syslog,将所有服务器上的日志收集汇总。

集中化管理日志后,日志的统计和检索又成为一件比较麻烦的事情,一般我们使用grep、awk和wc等Linux命令能实现检索和统计,但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

开源实时日志分析ELK平台能够完美的解决我们上述的问题,ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站:https://www.elastic.co/products

  • Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

  • Logstash是一个完全开源的工具,他可以对你的日志进行收集、过滤,并将其存储供以后使用(如,搜索)。

  • Kibana 也是一个开源和免费的工具,它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助您汇总、分析和搜索重要数据日志。



--------------------------------画了一个ELK工作的原理图-------------------------

如图:Logstash收集AppServer产生的Log,并存放到ElasticSearch集群中,而Kibana则从ES集群中查询数据生成图表,再返回给Browser。


ELK平台搭建系统环境

System: Centos release 7.3

ElasticSearch: 6.2.2

Logstash: 6.2.2

Kibana: 6.2.2

Java: openjdk version  "1.8"

ELK下载:



一、安装JDK以及系统环境

下载JDK://www.oracle.com/technetwor ... nloads-3848520.html

本环境是下载的64位rpm包

#rpm -vih jdk-8u151-linux-x64.rpm

创建运行ELK的用户和组

#groupadd elk

#useradd -g elk elk

#passwd elk

创建ELK存放目录

#mkdir /elk && chown -R elk:elk /elk

创建数据和日志存放目录

chown -R elk:elk /tmp/data/elasticesearch

mkdir /tmp/logs &&


二、先安装Elasticsearch

我下载的是elasticsearch-6.2.2.zip

将文件解压,并重命名放到/elk下

#unzip elasticsearch-6.2.2.zip && mv elasticsearch-6.2.2 /elk/elasticsearch

#chown -R elk:elk /elk

配置ElasticSearch

修改elasticsearch/config/elasticsearch.yml中:
#这里指定的是集群名称,需要修改为对应的,开启了自发现功能后,ES会按照此集群名称进行集群发现
cluster.name:thh_dev1
#数据目录
path.data:/home/data/elk/data
# log目录
path.logs:/home/data/elk/logs
# 节点名称
node.name: node-1
#修改一下ES的监听地址,这样别的机器也可以访问
network.host:0.0.0.0
#默认的端口号
http.port:9200
进入elasticsearch的bin目录,使用./elasticsearch -d命令启动elasticsearch。

查看进程

#ps -ef|grep elasticsearch

查看Elasticsearch的信息

#curl  //127.0.0.1:9200/

客户端网页访问可能需要关掉防火墙(阿里云等云主机添加安全组策略):

Systemctl stop firewalld.service



注意事项:

修改系统参数,确保系统有足够资源启动ES

设置内核参数

vim /etc/sysctl.conf

#增加以下参数
vm.max _map_count = 655360
执行以下命令,确保生效配置生效:
sysctl  –p

设置资源参数
vim  /etc/security/limits.conf
#修改
* soft nofile 65536
* hard nofile 131072
* soft nproc 65536

*hard nproc 131072


vim  /etc/security/limits.d/20-nproc.conf
#设置elk用户参数
elk soft nproc 65536

如何和elasticsearch交互

安装elasticsearch-head插件,ElasticSearch-head是一个H5编写的ElasticSearch集群操作和管理工具,可以对集群进行傻瓜式操作。

安装docker镜像或者通过github下载elasticsearch-head项目都是可以的,1或者2两种方式选择一种安装使用即可

1. 使用docker的集成好的elasticsearch-head

    # docker run -p 9100:9100 mobz/elasticsearch-head:5
    docker容器下载成功并启动以后,运行浏览器打开//localhost:9100/

2. 使用git安装elasticsearch-head
    # yum install -y npm
    # git clone git://github.com/mobz/elasticsearch-head.git

    # cd elasticsearch-head

    #npm install -g grunt   

    #npm install -g grunt-cli --registry=https://registry.npm.taobao.org --no-proxy   #使用的是国内镜像代理安装的

#由于国外镜像太慢,使用的是国内镜像代理安装

    #cnpm install

    # npm run start
    检查端口是否起来
    #netstat -antp |grep 9100
    浏览器访问测试是否正常
    #//IP:9100/



三、Logstash简介和安装配置

Logstash是一款强大的数据处理工具,它可以实现数据传输,格式处理,格式化输出,还有强大的插件功能,常用于日志处理。





工作流程

Logstash工作的三个阶段:





input数据输入端,可以接收来自任何地方的源数据。

* file:从文件中读取

* syslog:监听在514端口的系统日志信息,并解析成RFC3164格式。

* redis:从redis-server list中获取

* beat:接收来自Filebeat的事件

Filter数据中转层,主要进行格式处理,数据类型转换、数据过滤、字段添加,修改等,常用的过滤器如下。

* grok:通过正则解析和结构化任何文本。Grok目前是logstash最好的方式对非结构化日志数据解析成结构化和可查询化。logstash内置了120个匹配模式,满足大部分需求。

* mutate:在事件字段执行一般的转换??梢灾孛?、删除、替换和修改事件字段。

* drop:完全丢弃事件,如debug事件。

* clone:复制事件,可能添加或者删除字段。

* geoip:添加有关IP地址地理位置信息。

output是logstash工作的最后一个阶段,负责将数据输出到指定位置,兼容大多数应用,常用的有:

* elasticsearch:发送事件数据到Elasticsearch,便于查询,分析,绘图。

* file:将事件数据写入到磁盘文件上。

* mongodb:将事件数据发送至高性能NoSQL mongodb,便于永久存储,查询,分析,大数据分片。

* redis:将数据发送至redis-server,常用于中间层暂时缓存。

* graphite:发送事件数据到graphite。//graphite.wikidot.com/

* statsd:发送事件数据到statsd。

其他介绍:

ELK日志监控分析系统Logstash详解之——input???/a>

ELK日志监控分析系统Logstash详解之——filter???/a>

ELK日志监控分析系统Logstash详解之——output???/a>

----开始安装配置----

1、将下载的logstash 6.2.2解压并放到指定位置

#unzip  logstash-6.2.2.zip  -d /elk/

#mv /elk/logstash-6.2.2  /elk/logtash

2、创建一个软连接,每次执行命令的时候不用在写安装路径

#ln -s /elk/logstash/bin/logstash  /bin/logstash

3、对配置文件进行配置,可以新建一个配置文件

1. Input插件    权威指南:https://www.elastic.co/guide/en/ ... /input-plugins.html

file插件的使用

    # vim /elk/logstash/conf.d/elk.conf
    添加如下配置
    input {
        file {
            path => "/var/log/messages"
            type => "system"
            start_position => "beginning"
            }
    }
    output {   
             elasticsearch {
                    hosts => ["192.168.1.202:9200"]
                    index => "system-%{+YYYY.MM.dd}"
                }
    }

运行logstash指定elk.conf配置文件,进行过滤匹配
#logstash -f /elk/logstash/conf.d/elk.conf

可以依据上面的参数介绍,自己进行增改。


四、Kibana的安装及使用

安装kibana:

解压kibana源码包到/elk/kibana

配置kibana

编辑kibana.yml配置文件

/elk/kibana/config/kibana.yml

修改以下参数:

#开启默认端口5601如果5601被占用可用5602或其他

server.port:5601

server.host:“localhost”#站点地址

elasticsearch.url://localhost:9200#指向elasticsearch服务的ip地址

kibana.index:“.kibana”

运行cd /home/parallels/Desktop/kibana/bin运行./kibana

通过kibana窗口观察你的结果:

//localhost:5601  ###公网请用公网IP(阿里云腾讯云需要开放安全策略)

后面可以查看这篇ELK实战篇
+1 2

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与时时开奖号码享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:[email protected] 网址:时时开奖号码 www.pkh3r.com.cn

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:[email protected],QQ:1061981298 本贴地址://www.pkh3r.com.cn/thread-443374-1-1.html 上篇帖子: Elastic Stack5.2.2升级到6.0.0注意事项 下篇帖子: ELKStack日志系统快速部署安装 ELK日志 logstash???/a> elsticsearch
点击关注更多内容

累计签到:4 天
连续签到:1 天
3#
发表于 2018-3-15 23:52:52 | 只看该作者
没钱捧个人场。。

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与时时开奖号码享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:[email protected] 网址:时时开奖号码 www.pkh3r.com.cn

累计签到:3 天
连续签到:2 天
5#
发表于 2018-3-16 15:57:25 | 只看该作者
好东西来学习,谢谢分享

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与时时开奖号码享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:[email protected] 网址:时时开奖号码 www.pkh3r.com.cn

累计签到:3 天
连续签到:2 天
6#
发表于 2018-3-16 15:57:31 | 只看该作者
1111111111111111111111

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与时时开奖号码享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:[email protected] 网址:时时开奖号码 www.pkh3r.com.cn

累计签到:40 天
连续签到:1 天
8#
发表于 2018-3-24 15:25:30 | 只看该作者

好东西来学习,谢谢分享

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与时时开奖号码享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:[email protected] 网址:时时开奖号码 www.pkh3r.com.cn

尚未签到

10#
发表于 2018-4-23 11:46:38 | 只看该作者
66666666666666666666谢谢分享

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与时时开奖号码享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:[email protected] 网址:时时开奖号码 www.pkh3r.com.cn

累计签到:1 天
连续签到:1 天
12#
发表于 2018-12-12 00:51:16 | 只看该作者
好东西,学习下
来自安卓客户端来自安卓客户端

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与时时开奖号码享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:[email protected] 网址:时时开奖号码 www.pkh3r.com.cn

您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则  允许回帖邮件提醒楼主

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:[email protected]

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

京ICP备14039699号-1 Copyright ? 2012-2020

使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

Good good study day day up


客服E-mail:[email protected] 在线客服QQ:点击这里给我发消息


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud bjyun

快速回复 时时开奖号码 返回列表
  • 第二次贸易战争中国占主动 2019-06-17
  • 经济运行韧性十足 关键领域改革加力——国际机构鼓劲中国经济好势头 2019-06-17
  • “00后”考生和球迷搅热西安暑期出境游市场 2019-06-17
  • 重磅!国家肿瘤、心血管病等诊疗情况发布 2019-06-16
  • “中国最美的小鸟”在吉安等地营巢 2019-06-16
  • 回复@老老保老张工:你做的单片机有人用,公司还会亏得需要换将? 2019-06-16
  • 刘昊然身缠蟒蛇解暑降温 遭调侃“心都凉了” 2019-06-15
  • 北科建泰禾·丽春湖院子 2019-06-15
  • 乘势而上,发力建设网络强国(产经观察·聚焦“强国”新目标②) 2019-06-15
  • 宣讲入脑入心  凝聚发展力量——中央宣讲团到各地宣讲十九大精神 2019-06-14
  • 阿呆,那是你家远祖啊,还不跪拜?[哈哈] 2019-06-14
  • 紫光阁中共中央国家机关工作委员会 2019-06-14
  • 一图读懂十八届六中全会公报 2019-06-13
  • 第二届未来汽车大会暨日照新能源汽车人才与产业峰会在日照举办 2019-06-13
  • 工人农民为主要组成部分的全国人民代表大会,决定全国的一切,是什么时代? 2019-06-13
  • 974| 112| 295| 538| 694| 152| 898| 834| 868| 556|