基于 Apache Flink 的监控告警系统--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

基于 Apache Flink 的监控告警系统 (www.54tianzhisheng.cn)

【简介】

本人在 Flink 社区钉钉群直播的视频，对实时监控告警的可以查看

由 @zhisheng_blog 2020-02-23 09:05 / 0个评论

在Linux主机安全产品HIDS中，文件监控是特别常见的需求，在实现方案上，Linux内核层提供了文件变动的通知机制fsnotify，然而，在高磁盘IO的主机上、不同版本的内核上以及海量监控目标中，将会面临哪些问题呢？业务性能与安全性如何做更好地取舍均衡？今天，我的小伙伴阿松给大家分享以下文件监控系统的建设历程。

by @技术头条 2024-01-17 23:09 查看详情

如何让监控告警更准确？ (ixyzero.com)

对于7*24小时不间断运行的后台服务，监控告警是稳定性运行的基石。很多开发者都有过这样的经历，对服务的每一个指标都做了严格的监控和告警，唯恐漏掉告警导致问题无法发现，导致每天接收到大量的无效告警，告警的泛滥逐渐麻痹了警惕性，结果真实的问题初漏端倪时却被忽略，最终导致了严重的故障。

如何提升告警的有效性，准确识别问题，同时又不至于淹没在大量的无效告警中，正是本文所探讨的内容。

by @技术头条 2023-10-30 22:58 查看详情

分布式锁之 Apache Curator InterProcessReadWriteLock (www.diguage.com)

在上一篇文章分布式锁之 Apache Curator InterProcessMutex 中介绍了基于 ZooKeeper 实现的互斥锁。除此之外，还可以实现读写锁。这篇文章就来简要介绍一下 InterProcessReadWriteLock 的实现原理。

by @技术头条 2023-07-04 23:26 查看详情

分布式锁之 Apache Curator InterProcessMutex (www.diguage.com)

对分布式锁耳熟能详。不过，一直关注的是基于 Redis 实现的分布式锁。知道 ZooKeeper 也可以实现分布式锁。但是，原来的想法是把 Redis 那个思路切换到 ZooKeeper 上来实现就好。今天了解到 Apache Curator 内置了分布式锁的实现： InterProcessMutex。查看了一下源码实现，发现跟基于 Redis 实现的源码相比，在思路上还是有很大不同的。所以，特别作文记录一下。

by @技术头条 2023-07-04 23:25 查看详情

系统运维 | 如何在 RHEL 9/8 上设置高可用性 Apache（HTTP）集群 (linux.cn)

在本文中，我们将介绍如何在 RHEL 9/8 上使用 Pacemaker 设置两节点高可用性 Apache 集群。

Pacemaker 是适用于类 Linux 操作系统的高可用性集群软件。Pacemaker 被称为“集群资源管理器”，它通过在集群节点之间进行资源故障转移来提供集群资源的最大可用性。Pacemaker 使用 Corosync 进行集群组件之间的心跳和内部通信，Corosync 还负责集群中的投票选举（Quorum）。

by @技术头条 2023-06-24 23:31 查看详情

K8S/Docker中对于容器内存的监控 (www.ipcpu.com)

在使用Docker或者Kubernetes时，我们经常需要监控容器或者Pod的内存，同时我们也经常收到反馈内存不准确的情况，这不仅是因为存在Buffer、Cache的影响，不同的算法指标也会得出不同的结果。

接下来我们先回顾下我们最古老的计算方法，然后分别取分析docker stats 和 kubectl top 中的内存计算方法。

by @技术头条 2022-12-10 22:58 查看详情

Apache Doris在美团外卖数仓中的应用实践 (tech.meituan.com)

美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析，由于外卖业务特点带来的数据生产成本较高和查询效率偏低的问题，他们通过引入Apache Doris引擎优化生产方案，实现了低成本生产与高效查询的平衡。

by @技术头条 2022-12-10 22:32 查看详情

图解 Flink 滚动窗口、会话窗口和滑动窗口 (www.awaimai.com)

Flink 作业中的窗口是指一种对无限数据流设置有限数据集，从而实现了处理无线数据流的机制。

窗口本身只是个划分数据集的依据，它并不存储数据。

当我们需要在时间窗口维度上对数据进行聚合时，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。

窗口主要有两种，一种基于时间的时间窗口（TimeWindow），一种基于数量的计数窗口（CountWindow），计数窗口与时间无关，本文主要讨论时间窗口。

by @技术头条 2022-08-19 00:16 查看详情

如何进行 web 性能监控？ (www.alloyteam.com)

web 的性能一定程度上影响了用户留存率，Google DoubleClick 研究表明：如果一个移动端页面加载时长超过 3 秒，用户就会放弃而离开。BBC 发现网页加载时长每增加 1 秒，用户就会流失 10%。

我们希望通过监控来知道 web 应用性能的现状和趋势，找到 web 应用的瓶颈？某次发布后的性能情况怎么样？是否发布后对性能有影响？感知到业务出错的概率？业务的稳定性怎么样？

by @技术头条 2022-06-19 23:05 查看详情

在 Apache Cassandra 中定义和优化数据分区 (linux.cn)

Apache Cassandra 是一个数据库，但又不是一个简单的数据库；它是一个复制数据库，专为可扩展性、高可用性、低延迟和良好性能而设计调整。Cassandra 可以帮你的数据在区域性中断、硬件故障时，以及很多管理员认为数据量过多的情况下幸免于难。

全面掌握数据分区知识，你就能让 Cassandra 集群实现良好的设计、极高的性能和可扩展性。在本文中，我将探究如何定义分区，Cassandra 如何使用这些分区，以及一些你应该了解的最佳实践方案和已知问题。

by @技术头条 2022-05-23 00:14 查看详情