《从0到1学习Flink》—— Flink 中几种 Time 详解 (www.54tianzhisheng.cn)

【简介】

前言
Flink 在流程序中支持不同的 Time 概念,就比如有 Processing Time、Event Time 和 Ingestion Time。

下面我们一起来看看这几个 Time:

Processing Time
Processing Time 是指事件被处理时机器的系统时间。

当流程序在 Processing Time 上运行时,所有基于时间的操作(如时间窗口)将使用当时机器的系统时间。每小时 Processing Time 窗口将包括在系统时钟指示整个小时之间到达特定操作的所有事件。

例如,如果应用程序在上午 9:15 开始运行,则第一个每小时 Processing Time 窗口将包括在上午 9:15 到上午 10:00 之间处理的事件,下一个窗口将包括在上午 10:00 到 11:00 之间处理的事件。

Processing Time 是最简单的 “Time” 概念,不需要流和机器之间的协调,它提供了最好的性能和最低的延迟。但是,在分布式和异步的环境下,Processing Time 不能提供确定性,因为它容易受到事件到达系统的速度(例如从消息队列)、事件在系统内操作流动的速度以及中断的影响。

点击查看全文 >>

@zhisheng_tian 2019-01-11 00:08分享 / 0个评论
赞过的人: 技术头条 zhisheng_tian
要不要再学学下面的文章?
Android H5秒开方案调研—今日头条H5秒开方案详解 (mp.weixin.qq.com)
本文对Android H5秒开方案进行了调研,对今日头条App的秒开方案进行了详细分析。
by @code小生 2019-06-23 14:13 分享 查看详情
Flink 中这样管理配置,你知道? (mp.weixin.qq.com)
如果你了解 Apache Flink 的话,那么你应该熟悉该如何像 Flink 发送数据或者如何从 Flink 获取数据。但是在某些情况下,我们需要将配置数据发送到 Flink 集群并从中接收一些额外的数据。

在本文的前部分,我将描述如何将配置数据发送到 Flink 集群。我们需要配置很多东西:方法参数、配置文件、机器学习模型。Flink 提供了几种不同的方法,我们将介绍如何使用它们以及何时使用它们。在本文的后部分,我将描述如何从 Flink 集群中获取数据。
by @zhisheng_tian 2019-06-18 20:41 分享 查看详情
Flink 不可以连续 Split(分流)? (mp.weixin.qq.com)
今天上午被 Flink 的一个算子困惑了下,具体问题是什么呢?

我有这么个需求:有不同种类型的告警数据流(包含恢复数据),然后我要将这些数据流做一个拆分,拆分后的话,每种告警里面的数据又想将告警数据和恢复数据拆分出来。

结果,这个需求用 Flink 的 Split 运算符出现了问题。
by @zhisheng_tian 2019-06-18 20:40 分享 查看详情
Flink 从0到1学习—— 分享四本 Flink 的书和二十多篇 Paper 论文 (mp.weixin.qq.com)
之前也分享了不少自己的文章,但是对于 Flink 来说,还是有不少新入门的朋友,这里给大家分享点 Flink 相关的资料(国外数据 pdf 和流处理相关的 Paper),期望可以帮你更好的理解 Flink。
by @zhisheng_tian 2019-06-18 20:40 分享 查看详情
360深度实践:Flink与Storm协议级对比 (mp.weixin.qq.com)
本文从数据传输和数据可靠性的角度出发,对比测试了Storm与Flink在流处理上的性能,并对测试结果进行分析,给出在使用Flink时提高性能的建议。
by @zhisheng_tian 2019-06-18 20:39 分享 查看详情
Apache Flink 是如何管理好内存的? (www.54tianzhisheng.cn)
如今,许多用于分析大型数据集的开源系统都是用 Java 或者是基于 JVM 的编程语言实现的。最着名的例子是 Apache Hadoop,还有较新的框架,如 Apache Spark、Apache Drill、Apache Flink。基于 JVM 的数据分析引擎面临的一个常见挑战就是如何在内存中存储大量的数据(包括缓存和高效处理)。合理的管理好 JVM 内存可以将 难以配置且不可预测的系统 与 少量配置且稳定运行的系统区分开来。

在这篇文章中,我们将讨论 Apache Flink 如何管理内存,讨论其自定义序列化与反序列化机制,以及它是如何操作二进制数据的。
by @zhisheng_tian 2019-06-03 16:48 分享 查看详情
原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理 (mp.weixin.qq.com)
1. Apache Flink 应用程序中的 Exactly-Once 语义

2. Flink 应用程序端到端的 Exactly-Once 语义

3. 示例 Flink 应用程序启动预提交阶段

4. 在 Flink 中实现两阶段提交 Operator

5. 总结
by @zhisheng_tian 2019-06-03 16:47 分享 查看详情
Flink 全网最全资源(视频、博客、PPT、入门、实战、源码解析、问答等持续更新) (www.54tianzhisheng.cn)
除了《从1到100深入学习Flink》源码学习这个系列文章,《从0到1学习Flink》的案例文章也会优先在知识星球更新,让大家先通过一些 demo 学习 Flink,再去深入源码学习!

如果学习 Flink 的过程中,遇到什么问题,可以在里面提问,我会优先解答,这里做个抱歉,自己平时工作也挺忙,微信的问题不能做全部做一些解答,
但肯定会优先回复给知识星球的付费用户的,庆幸的是现在星球里的活跃氛围还是可以的,有不少问题通过提问和解答的方式沉淀了下来。
by @zhisheng_tian 2019-06-03 16:46 分享 查看详情
MySQL 8.0 技术详解 (yq.aliyun.com)
MySQL 5.7 到 8.0,Oracle 官方跳跃了 Major Version 版本号,随之而来的就是在 MySQL 8.0 上做了许多重大更新,在往企业级数据库的路上大步前行,全新 Data Dictionary 设计,支持 Atomic DDL,全新的版本升级策略,安全和账号管理加强,InnoDB 功能增强等,目前小版本已经 release 到 8.0.16,新的功能仍然在持续推出。
by @可耐芊小仙女 2019-05-30 16:37 分享 查看详情
详解TableStore模糊查询——以订单场景为例 (yq.aliyun.com)
订单系统在各行各业中广泛应用,为消费者、商家后台、促销系统等第三方提供用户、产品、订单等多维度的管理和查询服务。为了挖掘出海量订单数据的潜能,丰富高效的查询必不可少。然而很多时候并不能给出完整准确的查询关键字,例如,只知道收货人姓氏,或是产品名称部分关键字,或是根据收货人手机尾号找到订单,我们将这类查询归为“模糊查询”。
by @可耐芊小仙女 2019-05-28 14:21 分享 查看详情