《从0到1学习Flink》—— Apache Flink 介绍 (www.54tianzhisheng.cn)

【简介】

Flink 是一种流式计算框架,为什么我会接触到 Flink 呢?因为我目前在负责的是监控平台的告警部分,负责采集到的监控数据会直接往 kafka 里塞,然后告警这边需要从 kafka topic 里面实时读取到监控数据,并将读取到的监控数据做一些 聚合/转换/计算 等操作,然后将计算后的结果与告警规则的阈值进行比较,然后做出相应的告警措施(钉钉群、邮件、短信、电话等)。

点击查看原文 >>

@zhisheng_blog 2018-11-07 22:42 / 0个评论
赞过的人: @zhisheng_blog
要不要再学学下面的文章?
Lamport时钟介绍 (www.codedump.info)
在分布式系统中,由于有多个机器(进程)在一起协调工作,于是如何定义分布式系统中事件的先后顺序就成了难题,本文介绍论文 《Time, Clocks, and the Ordering of Events in a Distributed System》中提到的Lamport时钟。
by @技术头条 2024-03-21 23:24 查看详情
分布式锁之 Apache Curator InterProcessReadWriteLock (www.diguage.com)
在上一篇文章 分布式锁之 Apache Curator InterProcessMutex 中介绍了基于 ZooKeeper 实现的互斥锁。除此之外,还可以实现读写锁。这篇文章就来简要介绍一下 InterProcessReadWriteLock 的实现原理。
by @技术头条 2023-07-04 23:26 查看详情
分布式锁之 Apache Curator InterProcessMutex (www.diguage.com)
对分布式锁耳熟能详。不过,一直关注的是基于 Redis 实现的分布式锁。知道 ZooKeeper 也可以实现分布式锁。但是,原来的想法是把 Redis 那个思路切换到 ZooKeeper 上来实现就好。今天了解到 Apache Curator 内置了分布式锁的实现: InterProcessMutex。查看了一下源码实现,发现跟基于 Redis 实现的源码相比,在思路上还是有很大不同的。所以,特别作文记录一下。
by @技术头条 2023-07-04 23:25 查看详情
系统运维 | 如何在 RHEL 9/8 上设置高可用性 Apache(HTTP)集群 (linux.cn)
在本文中,我们将介绍如何在 RHEL 9/8 上使用 Pacemaker 设置两节点高可用性 Apache 集群。

Pacemaker 是适用于类 Linux 操作系统的高可用性集群软件。Pacemaker 被称为“集群资源管理器”,它通过在集群节点之间进行资源故障转移来提供集群资源的最大可用性。Pacemaker 使用 Corosync 进行集群组件之间的心跳和内部通信,Corosync 还负责集群中的投票选举(Quorum)。
by @技术头条 2023-06-24 23:31 查看详情
海量文本中挖掘人物关联关系核心技术介绍 (www.52nlp.cn)
在大数据时代,通过对目标人物的轨迹、通信、社交、出行、网络等多模态行为进行挖掘并建立人物画像模型,并依托人物基础特征和高层特征,实例化人物画像,支撑有关部门分析人员全方位了解目标人物的行为、活动、状态、基本属性等信息,同时能够基于人物画像指导人物活动规律分析、人物能力分析、人物动向分析等应用。
by @技术头条 2022-12-24 23:30 查看详情
Apache Doris在美团外卖数仓中的应用实践 (tech.meituan.com)
美团外卖数据仓库技术团队负责支撑日常业务运营及分析师的日常分析,由于外卖业务特点带来的数据生产成本较高和查询效率偏低的问题,他们通过引入Apache Doris引擎优化生产方案,实现了低成本生产与高效查询的平衡。
by @技术头条 2022-12-10 22:32 查看详情
设备指纹技术介绍与综述(二) (blog.nsfocus.net)
繁荣的物联网生态构建于物联网设备的发展之上,然而广泛部署的海量设备却给设备识别与监管带来了挑战。本文对基于行为的设备指纹技术依照用途、目标设备、信息来源、评估技术进行介绍。
by @技术头条 2022-09-12 22:40 查看详情
Android DeepLink介绍与使用 (cloud.tencent.com)
前段时间公司让调研一下DeepLink,说以后会用到,之前看了很久,并做了个demo,现整理一下,方便以后查阅,如果有幸帮助到其他人就更好了。
by @shengting 2022-09-07 14:30 查看详情
图解 Flink 滚动窗口、会话窗口和滑动窗口 (www.awaimai.com)
Flink 作业中的窗口是指一种对无限数据流设置有限数据集,从而实现了处理无线数据流的机制。

窗口本身只是个划分数据集的依据,它并不存储数据。

当我们需要在时间窗口维度上对数据进行聚合时,窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API,我们可以将数据流切分成一个个窗口,对窗口内的数据进行处理。

窗口主要有两种,一种基于时间的时间窗口(TimeWindow),一种基于数量的计数窗口(CountWindow),计数窗口与时间无关,本文主要讨论时间窗口。
by @技术头条 2022-08-19 00:16 查看详情
介绍一种CSS变量未定义语法也OK的小妙招 (www.zhangxinxu.com)
我以为我对 CSS 变量了解够多够深入了,没想到还是有知识的盲区,今天这个小技巧小特性就是其中之一,并且是相当实用的一个特性。
by @技术头条 2022-07-24 20:54 查看详情