一文搞懂 Flink 的 Exactly Once 和 At Least Once (mp.weixin.qq.com)

【简介】

介绍 CheckPoint 如何保障 Flink 任务的高可用

CheckPoint 中的状态简介

如何实现全域一致的分布式快照?

什么是 barrier?什么是 barrier 对齐?

证明了:为什么 barrier 对齐就是 Exactly Once?为什么 barrier 不对齐就是 At Least Once?

点击查看全文 >>

@zhisheng_blog 2019-09-22 13:28分享 / 0个评论
赞过的人: zhisheng_blog
要不要再学学下面的文章?
Flink SQL 系列 | 5 个 TableEnvironment 我该用哪个? (yq.aliyun.com)
本文为 Flink SQL 系列文章的第二篇,前面对 Flink 1.9 Table 新架构及 Planner 的使用进行了详细说明,本文详细讲解 5 个 TableEnvironment 及其适用场景,并介绍 Flink 社区对 TableEnvironment 的未来规划。主要内容如下:
by @可耐芊小仙女 2019-10-11 16:57 分享 查看详情
Flink on YARN(下):常见问题与排查思路 (yq.aliyun.com)
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式,其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章,分为上、下两篇。上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程,本文将根据社区大群反馈,解答客户端和 Flink Cluster 的常见问题,分享相关问题的排查思路。
by @可耐芊小仙女 2019-10-10 16:39 分享 查看详情
开篇 | 揭秘 Flink 1.9 新架构,Blink Planner 你会用了吗? (yq.aliyun.com)
本文为 Apache Flink 新版本重大功能特性解读之 Flink SQL 系列文章的开篇,Flink SQL 系列文章由其核心贡献者们分享,涵盖基础知识、实践、调优、内部实现等各个方面,带你由浅入深地全面了解 Flink SQL。
by @可耐芊小仙女 2019-09-25 16:41 分享 查看详情
一张图轻松掌握 Flink on YARN 应用启动全流程(上) (yq.aliyun.com)
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式,其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章,分为上、下两篇。本文基于 FLIP-6 重构后的资源调度模型将介绍 Flink on YARN 应用启动全流程,并进行详细步骤解析。下篇将根据社区大群反馈,解答客户端和Flink Cluster的常见问题,分享相关问题的排查思路。
by @可耐芊小仙女 2019-09-25 16:40 分享 查看详情
Apache Flink 进阶(三):Checkpoint 原理解析与应用实践 (yq.aliyun.com)
大家好,今天我将跟大家分享一下 Flink 里面的 Checkpoint,共分为四个部分。首先讲一下 Checkpoint 与 state 的关系,然后介绍什么是 state,第三部分介绍如何在 Flink 中使用state,第四部分则介绍 Checkpoint 的执行机制。
by @可耐芊小仙女 2019-09-25 16:38 分享 查看详情
Flink Connector 深度解析 (mp.weixin.qq.com)
本文主要分享Flink connector相关内容,分为以下三个部分的内容:第一部分会首先介绍一下Flink Connector有哪些。第二部分会重点介绍在生产环境中经常使用的kafka connector的基本的原理以及使用方法。第三部分答疑环节,看大家有没有一些问题。
by @zhisheng_blog 2019-09-22 13:41 分享 查看详情
Flink 在趣头条的应用与实践 (mp.weixin.qq.com)
Flink 在趣头条的应用与实践,Flink 在趣头条的应用与实践,Flink 在趣头条的应用与实践。Flink 在趣头条的应用与实践
by @zhisheng_blog 2019-09-22 13:40 分享 查看详情
如何使用 Flink 每天实时处理百亿条日志? (mp.weixin.qq.com)
Sherlock.IO 是 eBay 现有的监控平台,每天要处理上百亿条日志、事件和指标。Flink Streaming job 实时处理系统用于处理其中的日志和事件。
by @zhisheng_blog 2019-09-22 13:38 分享 查看详情
基于 Flink 实现的商品实时推荐系统(附源码) (mp.weixin.qq.com)
之前一直给大家推荐的是关于 Flink 的介绍和知识点,以及关于 Flink 里面使用这些知识点的一些简单的 demo,地址在:https://github.com/zhisheng17/flink-learning 。总的来说,现在还挺缺这种真正实战的项目分享出来,尤其是把源代码分享出来的,近期我在 GitHub 观察到一个不错的 Flink 项目,然后也和作者交流了下,于是在这里做一个分享。所以,那些平时问我有没有 Flink 项目的可以看过来了。地址在 :
by @zhisheng_blog 2019-09-22 13:38 分享 查看详情
一文让你彻底了解大数据实时计算引擎 Flink (mp.weixin.qq.com)
在上一篇文章 你公司到底需不需要引入实时计算引擎? 中我讲解了日常中常见的实时需求,然后分析了这些需求的实现方式,接着对比了实时计算和离线计算。随着这些年大数据的飞速发展,也出现了不少计算的框架(Hadoop、Storm、Spark、Flink)。在网上有人将大数据计算引擎的发展分为四个阶段。
by @zhisheng_blog 2019-09-22 13:37 分享 查看详情