IT技术博客大学习 共学习 共进步
全部 移动开发 后端 数据库 AI 算法 安全 DevOps 前端 设计 开发者

storm集群的监控

BlogJava-庄周梦蝶 2012-01-29 20:50:17 累计浏览 4,278 次
本机暂存

     所谓兵马未动,粮草先行,准备将storm用在某个项目中做实时数据分析。无论任何系统,一定要有监控系统并存,当故障发生的时候你能第一个知道,而不是让别人告诉你,那处理故障就很被动了。

     因此我写了这么个项目,取名叫storm-monitor,放在了github上

      https://github.com/killme2008/storm-monitor

     主要功能如下:

    1.监控supervisor数目是否正确,当supervisor挂掉的时候会发送警告。

    2.监控nimbus是否正常运行,monitor会尝试连接nimbus,如果连接失败就认为nimbus挂掉。

    3.监控topology是否正常运行,包括它是否正常部署,是否有运行中的任务。

     当故障发生的时候通过alarm方法警告用户,开放出去的只是简单地打日志。因为每个公司的告警接口不一样,所以你需要自己扩展,修改alarm.clj即可。我们这儿就支持旺旺告警和手机短信告警。

     基本的原理很简单,对supervisor和topology的监控是通过zookeeper来间接地监控,通过定期查看path是否存在。对nimbus的监控是每次起一个短连接连上去,连不上去即认为挂掉。

     整个项目也是用clojure写。你的机器需要安装leinexec插件,然后将你的storm.yaml拷贝到conf目录下,编辑monitor.yaml设定监控参数如检查间隔等,最后启动start.sh脚本即可。默认日志输出在logs/monitor.log。

    

dennis 2011-12-01 21:02 发表评论

同分类推荐文章

  1. 从零重建 macOS 开发机:可复现的环境初始化流程 (2026-06-14 20:36:00)
  2. 百度物理网络监控工具开源第二弹:毫秒级监控工具 baize,让你的网络问题无处遁形 (2026-06-11 08:10:28)
  3. How to Set Up Homebrew Tap for Private CLI Tools: A Complete Guide (2026-05-27 02:13:03)

查看更多 DevOps 文章 →

建议继续学习

  1. WEB系统需要关注的一些点 (累计阅读 18,218)
  2. 批量添加主机到cacti+nagios的监控报警系统中 (累计阅读 14,990)
  3. 我常用的主机监控shell脚本 (累计阅读 13,429)
  4. Zookeeper工作原理 (累计阅读 12,199)
  5. Cacti 添加 Apache 监控 (累计阅读 9,244)
  6. 一致性哈希算法及其在分布式系统中的应用 (累计阅读 9,197)
  7. 查看 CPU, Memory, I/O and NetFlow (累计阅读 8,133)
  8. Storm:最火的流式处理框架 (累计阅读 7,465)
  9. 消息分发的同步均衡策略 (累计阅读 6,217)
  10. 各消息队列软件产品大比拼 (累计阅读 6,206)