Flink Kafka Connector 与 Exactly Once 剖析 (yq.aliyun.com)

【简介】

Flink Kafka Connector 是 Flink 内置的 Kafka 连接器，它包含了从 Kafka Topic 读入数据的 Flink Kafka Consumer 以及向 Kafka Topic 写出数据的 Flink Kafka Producer，除此之外 Flink Kafa Connector 基于 Flink Checkpoint 机制提供了完善的容错能力。本文从 Flink Kafka Connector 的基本使用到 Kafka 在 Flink 中端到端的容错原理展开讨论。

点击查看原文 >>

由 @可耐芊小仙女 2019-10-23 17:33 / 0个评论
赞过的人： @IT技术博客大学习
要不要再学学下面的文章？
JVM 剖析花园：2 - 透明大页 (www.diguage.com)
大页面是提高应用程序性能的简单技巧。Linux 内核中的“透明大页”功能使其更易于使用。JVM 中的“透明大页”支持使其易于选择。尝试大页面总是一个好主意，尤其是当你的应用程序有大量数据和大堆时。
by @技术头条 2024-01-14 19:21 查看详情
JVM 剖析花园：1 - 锁粗化及循环 (www.diguage.com)
虽然锁粗化并不适用于整个循环，但另一种循环优化方法—​循环展开—​为常规锁粗化创造了条件，一旦中间表示开始看起来好像有 N 个相邻的锁-解锁序列，就可以进行锁粗化。这不仅能带来性能上的优势，还有助于限制粗化的范围，避免对过大的循环进行过度粗化。
by @技术头条 2024-01-14 19:21 查看详情
HTTP2 请求走私利用剖析 (paper.seebug.org)
文章将主要对HTTP/2协议的新特性以及HTTP/2中的请求走私进行详细介绍。
by @技术头条 2024-01-13 23:47 查看详情
Python源码剖析：深度探索Cpython对象 (www.52nlp.cn)
Python是一门备受推崇的脚本语言，以其简单的语法和全面的功能而著称，可快速实现各种业务。本文从 CPython 对象构造器入手，介绍了浮点数对象在 CPython 底层数据结构中的表现形式以及对象创建的过程。通过进一步了解 CPython 动态性的实现方式，读者可望在阅读 CPython 源码后提升编写高质量代码的能力。
by @技术头条 2023-07-23 11:28 查看详情
Kafka 常见面试题 (www.diguage.com)
Kafka 是由 LinkedIn 开发的一个分布式的消息系统，使用 Scala 编写，它以可水平扩展和高吞吐率而被广泛使用。Kafka 本身设计也非常精巧，有很多关键的知识点需要注意。在面试中，也常常被问到。整理篇文章，梳理一下自己的知识点。
by @技术头条 2023-07-02 23:41 查看详情
深入剖析 Spring 核心数据结构：BeanDefinition (www.diguage.com)
林纳斯·托瓦兹（Linus Torvalds）说：“我从心底认为，优秀的程序员与平庸的程序员之间的区别，是在于认为自己的代码重要还是数据结构更加重要。平庸的程序员眼里只有代码，优秀的程序员则关注数据结构及之前的关系。” 也许很多人觉得 Spring 神秘莫测，但是如果了解了它的核心数据结构，很多问题迎刃而解。
Spring 中两个数据结构最核心：① BeanDefinition，用于表示 Bean 的定义；② BeanFactory，用于表示整个 IoC 容器。
by @技术头条 2023-07-02 23:40 查看详情
深入剖析 Spring 核心数据结构：BeanFactory (www.diguage.com)
在 深入剖析 Spring 核心数据结构：BeanDefinition 中，介绍了 BeanDefinition。网上很多文章介绍 BeanDefinition 的 API，本文要反其道而行之，从内部属性来分析一下。
by @技术头条 2023-07-02 23:40 查看详情
Kafka在美团数据平台的实践 (tech.meituan.com)
Kafka在美团数据平台承担着统一的数据缓存和分发的角色，随着数据量的增长，集群规模的扩大，Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战，以及美团针对性的一些优化工作，希望能给从事相关开发工作的同学带来帮助或启发。
by @技术头条 2022-08-31 23:25 查看详情
图解 Flink 滚动窗口、会话窗口和滑动窗口 (www.awaimai.com)
Flink 作业中的窗口是指一种对无限数据流设置有限数据集，从而实现了处理无线数据流的机制。

窗口本身只是个划分数据集的依据，它并不存储数据。

当我们需要在时间窗口维度上对数据进行聚合时，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。

窗口主要有两种，一种基于时间的时间窗口（TimeWindow），一种基于数量的计数窗口（CountWindow），计数窗口与时间无关，本文主要讨论时间窗口。
by @技术头条 2022-08-19 00:16 查看详情
Flink 在又拍云日志批处理中的实践 (zhuanlan.zhihu.com)
在选用 Flink 前，我们对日志批处理的整个业务需求分为三步：数据源采集、日志处理、结果的保存。我们的日志量在 100G/h，单机服务处理速度慢、扩容不方便，一些相似的需求都是以编码形式完成的。另外，数据处理流程复杂，需要在多个服务间流转，迫切需要一个方案来解决问题……
by @又拍云 2021-02-25 16:19 查看详情
使用微博登录，分享你的文章到本站