Flink Checkpoint 问题排查实用指南 (yq.aliyun.com)

【简介】

在 Flink 中,状态可靠性保证由 Checkpoint 支持,当作业出现 failover 的情况下,Flink 会从最近成功的 Checkpoint 恢复。在实际情况中,我们可能会遇到 Checkpoint 失败,或者 Checkpoint 慢的情况,本文会统一聊一聊 Flink 中 Checkpoint 异常的情况(包括失败和慢),以及可能的原因和排查思路。

点击查看全文 >>

@可耐芊小仙女 2019-09-17 15:52分享 / 0个评论
要不要再学学下面的文章?
那些年,我们见过的 Java 服务端“问题” (yq.aliyun.com)
明代著名的心学集大成者王阳明先生在《传习录》中有云:道无精粗,人之所见有精粗。如这一间房,人初进来,只见一个大规模如此。处久,便柱壁之类,一一看得明白。再久,如柱上有些文藻,细细都看出来。然只是一间房。是的,知识理论哪有什么精粗之分,只是人的认识程度不同而已。笔者在初创公司摸爬滚打数年,接触了各式各样的Java服务端架构,见得多了自然也就认识深了,就能分辨出各种方案的优劣了。这里,笔者总结了一些初创公司存在的Java服务端问题,并尝试性地给出了一些不成熟的解决方案。
by @可耐芊小仙女 2019-10-12 16:36 分享 查看详情
如何检测 Web 服务请求丢失问题 (yq.aliyun.com)
最近偶尔有用户反馈某些 HTTP 接口出现超时问题,而 web 服务端的 Trace 监控没有出现 http 返回值为 503 等异常情况。出现这种情况一般是web容器出现问题,客户端连接不上来。本文将主要介绍如何去监控这类问题。我们是用典型的 Web 服务架构,应用通过域名访问到我们的 LVS(Linux Virtual Server)机器,LVS 后面对应了多台 Web 服务器。
by @可耐芊小仙女 2019-10-11 16:59 分享 查看详情
Flink SQL 系列 | 5 个 TableEnvironment 我该用哪个? (yq.aliyun.com)
本文为 Flink SQL 系列文章的第二篇,前面对 Flink 1.9 Table 新架构及 Planner 的使用进行了详细说明,本文详细讲解 5 个 TableEnvironment 及其适用场景,并介绍 Flink 社区对 TableEnvironment 的未来规划。主要内容如下:
by @可耐芊小仙女 2019-10-11 16:57 分享 查看详情
Flink on YARN(下):常见问题与排查思路 (yq.aliyun.com)
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式,其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章,分为上、下两篇。上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程,本文将根据社区大群反馈,解答客户端和 Flink Cluster 的常见问题,分享相关问题的排查思路。
by @可耐芊小仙女 2019-10-10 16:39 分享 查看详情
开篇 | 揭秘 Flink 1.9 新架构,Blink Planner 你会用了吗? (yq.aliyun.com)
本文为 Apache Flink 新版本重大功能特性解读之 Flink SQL 系列文章的开篇,Flink SQL 系列文章由其核心贡献者们分享,涵盖基础知识、实践、调优、内部实现等各个方面,带你由浅入深地全面了解 Flink SQL。
by @可耐芊小仙女 2019-09-25 16:41 分享 查看详情
一张图轻松掌握 Flink on YARN 应用启动全流程(上) (yq.aliyun.com)
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式,其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章,分为上、下两篇。本文基于 FLIP-6 重构后的资源调度模型将介绍 Flink on YARN 应用启动全流程,并进行详细步骤解析。下篇将根据社区大群反馈,解答客户端和Flink Cluster的常见问题,分享相关问题的排查思路。
by @可耐芊小仙女 2019-09-25 16:40 分享 查看详情
Apache Flink 进阶(三):Checkpoint 原理解析与应用实践 (yq.aliyun.com)
大家好,今天我将跟大家分享一下 Flink 里面的 Checkpoint,共分为四个部分。首先讲一下 Checkpoint 与 state 的关系,然后介绍什么是 state,第三部分介绍如何在 Flink 中使用state,第四部分则介绍 Checkpoint 的执行机制。
by @可耐芊小仙女 2019-09-25 16:38 分享 查看详情
研发效能提升 36 计第二课:照亮问题,效能提升从可视化交付过程开始 (yq.aliyun.com)
互联网时代,业务与协作复杂度与日俱增,竞争日趋激烈,提升研发效能已成为软件行业的共同挑战。《研发效能提升和敏捷实施 36 计》是阿里云联合 Teambition 精心打造的系列课程,课程由何勉、张刚、张燎原等国内多位在研发效能领域拥有数十年经验的精益敏捷资深专家担任讲师;将从敏捷项目协作、敏捷需求管理、持续交付与工程实践、设计及代码实践、业务创新 5 大方面,首次系统分享阿里巴巴研发效能提升方法、解析阿里巴巴及业界优秀实践案例,并通过工具的直观演示,帮助企业研发管理者们突破研发效能瓶颈、通往业务成功之路。
by @可耐芊小仙女 2019-09-23 15:24 分享 查看详情
Flink Connector 深度解析 (mp.weixin.qq.com)
本文主要分享Flink connector相关内容,分为以下三个部分的内容:第一部分会首先介绍一下Flink Connector有哪些。第二部分会重点介绍在生产环境中经常使用的kafka connector的基本的原理以及使用方法。第三部分答疑环节,看大家有没有一些问题。
by @zhisheng_blog 2019-09-22 13:41 分享 查看详情
Flink 在趣头条的应用与实践 (mp.weixin.qq.com)
Flink 在趣头条的应用与实践,Flink 在趣头条的应用与实践,Flink 在趣头条的应用与实践。Flink 在趣头条的应用与实践
by @zhisheng_blog 2019-09-22 13:40 分享 查看详情