一文搞懂 Flink 的 Exactly Once 和 At Least Once
介绍 CheckPoint 如何保障 Flink 任务的高可用
CheckPoint 中的状态简介
如何实现全域一致的分布式快照？
什么是 barrier？什么是 barrier 对齐？
证明了：为什么 barrier 对齐就是 Exactly Once？为什么 barrier 不对齐就是 At Least Once？
相关分享
1
喜欢
aw
www.awaimai.com
/
2022-08-19 00:16
图解 Flink 滚动窗口、会话窗口和滑动窗口
Flink 作业中的窗口是指一种对无限数据流设置有限数据集，从而实现了处理无线数据流的机制。
窗口本身只是个划分数据集的依据，它并不存储数据。
当我们需要在时间窗口维度上对数据进行聚合时，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。
窗口主要有两种，一种基于时间的时间窗口（TimeWindow），一种基于数量的计数窗口（CountWindow），计数窗口与时间无关，本文主要讨论时间窗口。
无图
2
喜欢
zh
zhuanlan.zhihu.com
/
2021-02-25 16:19
Flink 在又拍云日志批处理中的实践
在选用 Flink 前，我们对日志批处理的整个业务需求分为三步：数据源采集、日志处理、结果的保存。我们的日志量在 100G/h，单机服务处理速度慢、扩容不方便，一些相似的需求都是以编码形式完成的。另外，数据处理流程复杂，需要在多个服务间流转，迫切需要一个方案来解决问题……
无图
1
喜欢
de
developer.aliyun.com
/
2020-11-24 15:55
Flink 双流 Join 的3种操作示例
在数据库中的静态表上做 OLAP 分析时，两表 join 是非常常见的操作。同理，在流式处理作业中，有时也需要在两条流上做 join 以获得更丰富的信息。
无图
1
喜欢
de
developer.aliyun.com
/
2020-11-24 13:31
快手基于 Apache Flink 的优化实践
本次内容主要分为三部分，首先介绍流式计算的基本概念， 然后介绍 Flink 的关键技术，最后讲讲 Flink 在快手生产实践中的一些应用，包括实时指标计算和快速 failover。
无图
1
喜欢
de
developer.aliyun.com
/
2020-11-18 14:00
Flink 1.11 与 Hive 批流一体数仓实践
Flink 从 1.9.0 开始提供与 Hive 集成的功能，随着几个版本的迭代，在最新的 Flink 1.11 中，与 Hive 集成的功能进一步深化，并且开始尝试将流计算场景与Hive 进行整合。
无图
1
喜欢
de
developer.aliyun.com
/
2020-11-18 09:59
当 TiDB 与 Flink 相结合：高效、易用的实时数仓
利用实时数仓，企业可以实现实时 OLAP 分析、实时数据看板、实时业务监控、实时数据接口服务等用途。而得益于新版 Flink 对 SQL 的支持，以及 TiDB HTAP 的特性，我们探索了一个高效、易用的 Flink+TiDB 实时数仓解决方案。
无图
1
喜欢
de
developer.aliyun.com
/
2020-11-16 14:14
深入解析 Flink 的算子链机制
“为什么我的 Flink 作业 Web UI 中只显示出了一个框，并且 Records Sent 和Records Received 指标都是 0 ？是我的程序写得有问题吗？”
无图
1
喜欢
de
developer.aliyun.com
/
2020-11-13 17:48
Flink + 强化学习搭建实时推荐系统
如今的推荐系统，对于实时性的要求越来越高，实时推荐的流程大致可以概括为：推荐系统对于用户的请求产生推荐，用户对推荐结果作出反馈 (购买/点击/离开等等)，推荐系统再根据用户反馈作出新的推荐。
无图
1
喜欢
de
developer.aliyun.com
/
2020-11-09 12:53
基于 Flink SQL CDC 的实时数据同步方案
Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示。
无图
1
喜欢
de
developer.aliyun.com
/
2020-11-06 09:53
网易云音乐基于 Flink + Kafka 的实时数仓建设实践
本文由网易云音乐实时计算平台研发工程师岳猛分享，主要从以下四个部分将为大家介绍 Flink + Kafka 在网易云音乐的应用实战： 背景、Flink + Kafka 平台化设计、Kafka 在实时数仓中的应用、问题 & 改进。
无图