设为首页 时时开奖号码

内蒙古时时彩平台: 时时开奖号码

查看: 2123|回复: 2
打印 上一主题 下一主题

[经验分享] filebeat+redis+elk日志平台搭建

[复制链接]

累计签到:1 天
连续签到:1 天
跳转到指定楼层
1#
发表于 2018-4-9 11:37:07 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
filebeat+redis+elk
系统:centos7.1 x86_64
filebeat: 6.2.3
logstash: 6.2.3
elasticsearch: 6.2.3
kibana: 6.2.3
架构如下:

配置yum源:
导入验证文件
rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
创建yum repo文件:
cat /etc/yum.repos.d/elasticsearch-6x.repo
[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
安装软件:
yum install filebeat logstash elasticsearch kibana -y
系统架构:
filebeat +redis+ logstash+ elasticsearch + kibana
使用beat的原因为logstash需要依赖java环境,对cpu和内存消耗都比较大,所以filebeat应运而生,对cpu和内存基本没有消耗。
使用redis 的原因是当多个clinet同事写入到logstash或者elasticsearch 时候,有io瓶颈,所以选择了redis ,当然可以使用kafka,rabbitmq等消息中间件。
配置filebeat(注意为yaml语法,什么是yaml自己google):
filebeat.prospectors:
  • type: log
    enabled: true
    paths:
    • /var/log/*.log ###监控的文件
输出到redis:
##-------------------------- redis  output ------------------------------------
output.redis:
hosts: ["192.168.147.190"]
password: "6lapp"
key: "log_file"
db: 0
timeout: 5
logstash配置,只是写了最简单的input和output,需要filter的可以去github上面找正则去匹配,有点繁琐就没有写:
cat /etc/logstash/conf.d/redis_logstash.conf
input {  
redis {  
port => "6379"  
host => "192.168.147.190"  
password => "6lapp"
data_type => "list"  
type => "log"  
key => "log_file"  
}  
}  
output {  
elasticsearch {  
hosts => "192.168.147.190:9200"  
index => "logstash-%{+YYYY.MM.dd}"  
}   
}
elasticsearch配置,这里没有建立集群,elaticsearch 有自动发现功能,所以只是需要配置ip和端口即可:
---------------------------------- Network -----------------------------------#
Set the bind address to a specific IP (IPv4 or IPv6):#
network.host: 192.168.147.190
#
Set a custom port for HTTP:#
http.port: 9200
#
For more information, consult the network module documentation.#
kibana配置需要修改端口ip和 elasticsearch的地址即可:
server.port: 5601
server.host: 192.168.147.190
elasticsearch.url: "//192.168.147.190:9200"
启动:
systemctl start redis
systemctl start filebeat
logstash -f /etc/logstash/conf.d/redis_logstash & 或者使用nohup启动 或者使用screen启动
systemctl start elasticsearch
systemctl start kibana
启动之后查看进程和端口:
访问一下//192.168.147.190:5601 可以操作kibana了,整个日志系统初步搭建完成,需要使用完善一下logstash的配置文件即可
创建测试文件:
touch /var/log/test.log
for ((i=0 ;i<=10000 ;i++ ));do echo "test.log 0000000" >> test.log ;done
kibana截图:

注意:
kibana的时间和系统的时间是否一致,否则可能导致看不到图像,这个是我猜的一个坑。
参考文件:
https://www.elastic.co
+1 0

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与时时开奖号码享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:[email protected] 网址:时时开奖号码 www.pkh3r.com.cn

所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其承担任何法律责任,如涉及侵犯版权等问题,请您及时通知我们,我们将立即处理,联系人Email:[email protected],QQ:1061981298 本贴地址://www.pkh3r.com.cn/thread-448400-1-1.html 上篇帖子: ELKStack日志系统快速部署安装 下篇帖子: 想请教高手一个问题啊,为啥关于splunk的资料那么少
点击关注更多内容

累计签到:1 天
连续签到:1 天
3#
发表于 2018-12-12 00:43:22 | 只看该作者
谢谢分享
来自安卓客户端来自安卓客户端

运维网声明 1、欢迎大家加入本站运维交流群:群①:263444886群②:197202523群③:485755530群④:201730672群⑤:202807635运维网交流群⑥:281548029
2、本站所有主题由该帖子作者发表,该帖子作者与时时开奖号码享有帖子相关版权
3、所有作品的著作权均归原作者享有,请您和我们一样尊重他人的著作权等合法权益。如果您对作品感到满意,请购买正版
4、禁止制作、复制、发布和传播具有反动、淫秽、色情、暴力、凶杀等内容的信息,一经发现立即删除。若您因此触犯法律,一切后果自负,我们对此不承担任何责任
5、所有资源均系网友上传或者通过网络收集,我们仅提供一个展示、介绍、观摩学习的平台,我们不对其内容的准确性、可靠性、正当性、安全性、合法性等负责,亦不承担任何法律责任
6、所有作品仅供您个人学习、研究或欣赏,不得用于商业或者其他用途,否则,一切后果均由您自己承担,我们对此不承担任何法律责任
7、如涉及侵犯版权等问题,请您及时通知我们,我们将立即采取措施予以解决
8、联系人Email:[email protected] 网址:时时开奖号码 www.pkh3r.com.cn

您需要登录后才可以回帖 登录 | 立即注册  

本版积分规则  允许回帖邮件提醒楼主

扫码加入运维网微信交流群X

扫码加入运维网微信交流群

扫描二维码加入运维网微信交流群,最新一手资源尽在官方微信交流群!快快加入我们吧...

扫描微信二维码查看详情

客服 E-mail:[email protected]

本站由青云提供云计算服务

运维网--中国最专业的运维工程师交流社区

京ICP备14039699号-1 Copyright ? 2012-2020

使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

Good good study day day up


客服E-mail:[email protected] 在线客服QQ:点击这里给我发消息


提醒:禁止发布任何违反国家法律、法规的言论与图片等内容;本站内容均来自个人观点与网络等信息,非本站认同之观点.


本站大部分资源是网友从网上搜集分享而来,其版权均归原作者及其网站所有,我们尊重他人的合法权益,如有内容侵犯您的合法权益,请及时与我们联系进行核实删除!



合作伙伴: 青云cloud bjyun

快速回复 时时开奖号码 返回列表
  • 第二次贸易战争中国占主动 2019-06-17
  • 经济运行韧性十足 关键领域改革加力——国际机构鼓劲中国经济好势头 2019-06-17
  • “00后”考生和球迷搅热西安暑期出境游市场 2019-06-17
  • 重磅!国家肿瘤、心血管病等诊疗情况发布 2019-06-16
  • “中国最美的小鸟”在吉安等地营巢 2019-06-16
  • 回复@老老保老张工:你做的单片机有人用,公司还会亏得需要换将? 2019-06-16
  • 刘昊然身缠蟒蛇解暑降温 遭调侃“心都凉了” 2019-06-15
  • 北科建泰禾·丽春湖院子 2019-06-15
  • 乘势而上,发力建设网络强国(产经观察·聚焦“强国”新目标②) 2019-06-15
  • 宣讲入脑入心  凝聚发展力量——中央宣讲团到各地宣讲十九大精神 2019-06-14
  • 阿呆,那是你家远祖啊,还不跪拜?[哈哈] 2019-06-14
  • 紫光阁中共中央国家机关工作委员会 2019-06-14
  • 一图读懂十八届六中全会公报 2019-06-13
  • 第二届未来汽车大会暨日照新能源汽车人才与产业峰会在日照举办 2019-06-13
  • 工人农民为主要组成部分的全国人民代表大会,决定全国的一切,是什么时代? 2019-06-13
  • 740| 909| 360| 233| 322| 967| 476| 808| 864| 672|