Flink Checkpoint 问题排查实用指南 (www.54tianzhisheng.cn)

【简介】

在 Flink 中,状态可靠性保证由 Checkpoint 支持,当作业出现 failover 的情况下,Flink 会从最近成功的 Checkpoint 恢复。

点击查看全文 >>

@zhisheng_blog 2020-02-23 09:03分享 / 0个评论
赞过的人: IT技术博客大学习 zhisheng_blog
要不要再学学下面的文章?
记录一次Flink作业异常的排查过程 (club.perfma.com)
最近2周开始接手apache flink全链路监控数据的作业,包括指标统计,业务规则匹配等逻辑,计算结果实时写入elasticsearch. 昨天遇到生产环境有作业无法正常重启的问题,我负责对这个问题进行排查跟进。
by @PerfMa社区 2020-06-16 10:54 分享 查看详情
进程物理内存远大于Xmx的问题分析 (club.perfma.com)
最近经常被问到一个问题,”为什么我们系统进程占用的物理内存(Res/Rss)会远远大于设置的Xmx值”,比如Xmx设置1.7G,但是top看到的Res的值却达到了3.0G,随着进程的运行,Res的值还在递增,直到达到某个值,被OS当做bad process直接被kill掉了。
by @PerfMa社区 2020-05-12 14:47 分享 查看详情
Flutter1.12 升级后的问题 (mp.weixin.qq.com)
相信看过官方更新日志的小伙伴都知道新版本的flutter和Android原生交互有一些改变,主要在以下部分
1.自定义的Plugin类需要实现FlutterPlugin的接口,并实现以下两个方法
by @code小生 2020-04-06 21:31 分享 查看详情
JDK的sql设计不合理导致的驱动类初始化死锁问题 (club.perfma.com)
当我们一个系统既需要mysql驱动,也需要oracle驱动的时候,在并发加载初始化这些驱动类的过程中产生死锁的可能性非常大,下面是一个模拟的例子,对于Thread2的实现其实是jdk里java.sql.DriverService的逻辑,也是我们第一次调用java.sql.DriverManager.registerDriver注册一个驱动实例要走的逻辑(jdk1.6下),不过这篇文章是使用我们生产环境的一个系统的线程dump和内存dump为基础进行分析展开的。
by @PerfMa社区 2020-03-31 10:32 分享 查看详情
Android 锁屏无法继续定位问题 (mp.weixin.qq.com)
产生问题的原因:
手机锁屏后,Android系统为了省电以及减少CPU消耗,在一段时间后会将手机进入休眠状态。此时的服务以及线程等都会停止。
by @code小生 2020-03-23 22:02 分享 查看详情
58 同城基于 Flink 的千亿级实时计算平台架构实践 (www.54tianzhisheng.cn)
58 同城作为覆盖生活全领域的服务平台,业务覆盖招聘、房产、汽车、金融、二手及本地服务等各个方面。丰富的业务线和庞大的用户数每天产生海量用户数据需要实时化的计算分析,实时计算平台定位于为集团海量数据提供高效、稳定、分布式实时计算的基础服务。本文主要介绍 58 同城基于 Flink 打造的一站式实时计算平台 Wstream。
by @zhisheng_blog 2020-02-23 09:07 分享 查看详情
阿里巴巴 Flink 踩坑经验:如何大幅降低 HDFS 压力? (www.54tianzhisheng.cn)
众所周知,Flink 是当前最为广泛使用的计算引擎之一,它使用 Checkpoint 机制进行容错处理 [1],Checkpoint 会将状态快照备份到分布式存储系统,供后续恢复使用。在 Alibaba 内部,我们使用的存储主要是 HDFS,当同一个集群的 Job 到达一定数量后,会对 HDFS 造成非常大的压力,本文将介绍一种大幅度降低 HDFS 压力的方法——小文件合并。
by @zhisheng_blog 2020-02-23 09:06 分享 查看详情
Flink Forward Asia 2019 PPT 下载 (www.54tianzhisheng.cn)
Flink Forward Asia 2019 在北京召开的,有主会场和几个分会场(企业实践、Apache Flink 核心技术、开源大数据生态、实时数仓、人工智能),内容涉及很多,可以查看下面的 PPT。
by @zhisheng_blog 2020-02-23 09:05 分享 查看详情
基于 Apache Flink 的监控告警系统 (www.54tianzhisheng.cn)
本人在 Flink 社区钉钉群直播的视频,对实时监控告警的可以查看
by @zhisheng_blog 2020-02-23 09:05 分享 查看详情
美团点评基于 Flink 的实时数仓平台实践 (www.54tianzhisheng.cn)
数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战,而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中,美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。
by @zhisheng_blog 2020-02-23 09:04 分享 查看详情