Flink 灵魂两百问,这谁顶得住? (mp.weixin.qq.com)

【简介】

两百问一点都不夸张,这才光知识星球从创建到现在的问题总数,另外还有多个微信群的答疑解惑。有时候忍不住想给自己点个赞,咋能这么

点击查看全文 >>

@zhisheng_tian 2019-07-25 09:49分享 / 0个评论
赞过的人: 技术头条 zhisheng_tian
要不要再学学下面的文章?
美团点评基于 Flink 的实时数仓建设实践 (mp.weixin.qq.com)
近些年,企业对数据服务实时化服务需求日益增多。本文整理了常见实时数据组件的性能特点和适用场景,介绍了美团如何通过 Flink 引擎构建实时数据仓库,从而提供高效、稳健的实时数据服务。此前我们美团技术博客发布过一篇文章《流计算框架 Flink 与 Storm 的性能对比》,对 Flink 和 Storm 两个引擎的计算性能进行了比较。本文主要阐述使用 Flink 在实际数据生产上的经验。
by @zhisheng_tian 2019-07-25 09:52 分享 查看详情
如何基于Flink+TensorFlow打造实时智能异常检测平台?只看这一篇就够了 (mp.weixin.qq.com)
Flink 已经渐渐成为实时计算引擎的首选之一,从简单的实时 ETL 到复杂的 CEP 场景,Flink 都能够很好地驾驭。本文整理自携程实时计算负责人潘国庆在 QCon 全球软件开发大会(北京站)2019 的演讲,他介绍了携程如何基于 Flink 与 TensorFlow 构建实时智能异常检测平台,以解决规则告警系统准确率低、时效性低、规则配置复杂与耗费人力等诸多问题,实现了业务指标毫秒级延迟与智能化检测,同时依托 Flink 实现了强大的容错机制。
by @zhisheng_tian 2019-07-01 22:27 分享 查看详情
Apache Flink 1.9 重大特性提前解读 (mp.weixin.qq.com)
今天在 Apache Flink meetup ·北京站进行 Flink 1.9 重大新特性进行了讲解,两位讲师分别是 戴资力/杨克特,zhisheng 我也从看完了整个 1.9 特性解读的直播,预计 Flink 1.9 版本正式发布时间大概是 7 月底 8 月初左右正式发布,下面一起来看看直播内容:
by @zhisheng_tian 2019-06-29 13:56 分享 查看详情
Flink 中这样管理配置,你知道? (mp.weixin.qq.com)
如果你了解 Apache Flink 的话,那么你应该熟悉该如何像 Flink 发送数据或者如何从 Flink 获取数据。但是在某些情况下,我们需要将配置数据发送到 Flink 集群并从中接收一些额外的数据。

在本文的前部分,我将描述如何将配置数据发送到 Flink 集群。我们需要配置很多东西:方法参数、配置文件、机器学习模型。Flink 提供了几种不同的方法,我们将介绍如何使用它们以及何时使用它们。在本文的后部分,我将描述如何从 Flink 集群中获取数据。
by @zhisheng_tian 2019-06-18 20:41 分享 查看详情
Flink 不可以连续 Split(分流)? (mp.weixin.qq.com)
今天上午被 Flink 的一个算子困惑了下,具体问题是什么呢?

我有这么个需求:有不同种类型的告警数据流(包含恢复数据),然后我要将这些数据流做一个拆分,拆分后的话,每种告警里面的数据又想将告警数据和恢复数据拆分出来。

结果,这个需求用 Flink 的 Split 运算符出现了问题。
by @zhisheng_tian 2019-06-18 20:40 分享 查看详情
Flink 从0到1学习—— 分享四本 Flink 的书和二十多篇 Paper 论文 (mp.weixin.qq.com)
之前也分享了不少自己的文章,但是对于 Flink 来说,还是有不少新入门的朋友,这里给大家分享点 Flink 相关的资料(国外数据 pdf 和流处理相关的 Paper),期望可以帮你更好的理解 Flink。
by @zhisheng_tian 2019-06-18 20:40 分享 查看详情
360深度实践:Flink与Storm协议级对比 (mp.weixin.qq.com)
本文从数据传输和数据可靠性的角度出发,对比测试了Storm与Flink在流处理上的性能,并对测试结果进行分析,给出在使用Flink时提高性能的建议。
by @zhisheng_tian 2019-06-18 20:39 分享 查看详情
Apache Flink 是如何管理好内存的? (www.54tianzhisheng.cn)
如今,许多用于分析大型数据集的开源系统都是用 Java 或者是基于 JVM 的编程语言实现的。最着名的例子是 Apache Hadoop,还有较新的框架,如 Apache Spark、Apache Drill、Apache Flink。基于 JVM 的数据分析引擎面临的一个常见挑战就是如何在内存中存储大量的数据(包括缓存和高效处理)。合理的管理好 JVM 内存可以将 难以配置且不可预测的系统 与 少量配置且稳定运行的系统区分开来。

在这篇文章中,我们将讨论 Apache Flink 如何管理内存,讨论其自定义序列化与反序列化机制,以及它是如何操作二进制数据的。
by @zhisheng_tian 2019-06-03 16:48 分享 查看详情
原理解析 | Apache Flink 结合 Kafka 构建端到端的 Exactly-Once 处理 (mp.weixin.qq.com)
1. Apache Flink 应用程序中的 Exactly-Once 语义

2. Flink 应用程序端到端的 Exactly-Once 语义

3. 示例 Flink 应用程序启动预提交阶段

4. 在 Flink 中实现两阶段提交 Operator

5. 总结
by @zhisheng_tian 2019-06-03 16:47 分享 查看详情
Flink 全网最全资源(视频、博客、PPT、入门、实战、源码解析、问答等持续更新) (www.54tianzhisheng.cn)
除了《从1到100深入学习Flink》源码学习这个系列文章,《从0到1学习Flink》的案例文章也会优先在知识星球更新,让大家先通过一些 demo 学习 Flink,再去深入源码学习!

如果学习 Flink 的过程中,遇到什么问题,可以在里面提问,我会优先解答,这里做个抱歉,自己平时工作也挺忙,微信的问题不能做全部做一些解答,
但肯定会优先回复给知识星球的付费用户的,庆幸的是现在星球里的活跃氛围还是可以的,有不少问题通过提问和解答的方式沉淀了下来。
by @zhisheng_tian 2019-06-03 16:46 分享 查看详情