storm集群的监控
浏览:4058次 出处信息
所谓兵马未动,粮草先行,准备将storm用在某个项目中做实时数据分析。无论任何系统,一定要有监控系统并存,当故障发生的时候你能第一个知道,而不是让别人告诉你,那处理故障就很被动了。
因此我写了这么个项目,取名叫storm-monitor,放在了github上
https://github.com/killme2008/storm-monitor
主要功能如下:
1.监控supervisor数目是否正确,当supervisor挂掉的时候会发送警告。
2.监控nimbus是否正常运行,monitor会尝试连接nimbus,如果连接失败就认为nimbus挂掉。
3.监控topology是否正常运行,包括它是否正常部署,是否有运行中的任务。
当故障发生的时候通过alarm方法警告用户,开放出去的只是简单地打日志。因为每个公司的告警接口不一样,所以你需要自己扩展,修改alarm.clj即可。我们这儿就支持旺旺告警和手机短信告警。
基本的原理很简单,对supervisor和topology的监控是通过zookeeper来间接地监控,通过定期查看path是否存在。对nimbus的监控是每次起一个短连接连上去,连不上去即认为挂掉。
整个项目也是用clojure写。你的机器需要安装lein和exec插件,然后将你的storm.yaml拷贝到conf目录下,编辑monitor.yaml设定监控参数如检查间隔等,最后启动start.sh脚本即可。默认日志输出在logs/monitor.log。
建议继续学习:
- Mysql监控指南 (阅读:20847)
- 批量添加主机到cacti+nagios的监控报警系统中 (阅读:14456)
- 我常用的主机监控shell脚本 (阅读:12889)
- 7 天打造前端性能监控系统 (阅读:10924)
- 如何监控HP服务器硬件状态 (阅读:10364)
- Cacti 添加 Nginx 监控 (阅读:10155)
- Linux下三种常用的流量监控软件对比 (阅读:9782)
- Cacti 添加 Memcached 监控 (阅读:8984)
- Cacti 添加 Apache 监控 (阅读:8783)
- 你应该知道的16个Linux服务器监控命令 (阅读:8153)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:storm集群的监控
后一篇:服务器的ACPI错误修正 >>
文章信息
- 作者:dennis 来源: BlogJava-庄周梦蝶
- 标签: storm 监控 集群
- 发布时间:2012-01-29 20:50:17
建议继续学习
近3天十大热文
-
[1195] WordPress插件开发 -- 在插件使用 -
[94] 解决 nginx 反向代理网页首尾出现神秘字 -
[42] web开发设计人员不可不用的在线web工具和 -
[29] Rax 系列教程(长列表) -
[28] 如何建立合适的索引? -
[28] 手机产品设计方向 -
[27] 程序员疫苗:代码注入 -
[25] 一句话crontab实现防ssh暴力破解 -
[23] oracle技术方面的路线 -
[23] 我对学习oracle与成长的理解
