分享一个Flink checkpoint失败的问题和解决办法 (club.perfma.com)

【简介】

接触Flink一段时间了,遇到了一些问题,其中有一个checkpoint失败导致作业重启的问题,遇到了很多次,重启之后一般也能恢复正常,没有太在意,最近2天有同事又频繁遇到,这里记录一下解决方案和分析过程。

点击查看全文 >>

@PerfMa社区 2020-08-14 16:31分享 / 0个评论
赞过的人: 技术头条 PerfMa社区
要不要再学学下面的文章?
云原生数据湖解决方案打破数据孤岛,大数据驱动互娱行业发展 (developer.aliyun.com)
数据湖是以集中、统一方式存储各种类型数据,数据湖可以与多种计算引擎直接对接,我们使用OSS作为数据湖底座,数据统一存储在OSS中,有效消除了数据孤岛现象,多种计算与处理分析引擎能够直接对存储在数据湖中的数据进行处理与分析,避免数据在不同引擎中反复复制,减少了不必要的资源损耗。
by @可耐芊小仙女 2020-10-30 18:06 分享 查看详情
记录 Webpack 从版本 4 更新至 5 所遇到的问题 (quickapp.lovejade.cn)
最近,出于工作中对项目优化,有打算将用到的 Webpack 从 4.* 升级至最新版本(Webpack@5.3.0);鉴于之前就有 Webpack 相关经验,略看了点文档 Webpack 从 v4 升级到 v5 后,就基于 nicelinks-vue-client 项目开始了升级之旅。因为强行升级,过程也较为曲折,有将遇到的一些问题做下梳理记录,希望对之后欲升级 webpack 的朋友,形成参考。
by @杨琼璞 2020-10-30 17:49 分享 查看详情
Flink SQL 1.11 on Zeppelin 平台化实践 (developer.aliyun.com)
鉴于有很多企业都无法配备专门的团队来解决 Flink SQL 平台化的问题,那么到底有没有一个开源的、开箱即用的、功能相对完善的组件呢?答案就是本文的主角——Apache Zeppelin。
by @可耐芊小仙女 2020-10-29 10:00 分享 查看详情
技术选型:为什么批处理我们却选择了Flink (zhuanlan.zhihu.com)
针对以上业务需求,有同学提出:“我们可以把所有原始数据放到数据库中,后续的 ETL 可以通过 SQL 实现。”

如果你一听到"数据库"想到的就是 Pg、Mysql、Oracle 等,觉得这个方案不具有可行性,那你就错了。数据库的类型和维度是非常丰富的……
by @又拍云 2020-10-28 15:42 分享 查看详情
阿里云推出业内首个云原生企业级数据湖解决方案:将在今年双11大规模应用 (developer.aliyun.com)
数据湖高峰论坛在京召开,阿里云宣布推出业内首个云原生企业级数据湖解决方案,提供EB级数据存储、分析能力,可一站式实现湖存储、湖加速、湖管理、湖计算,帮助企业对数据深入挖掘与分析,洞察其中蕴含的价值,更适合于人工智能、物联网、自动驾驶等拥有海量数据场景的新兴行业
by @可耐芊小仙女 2020-10-28 11:01 分享 查看详情
网易:Flink + Iceberg 数据湖探索与实践 (developer.aliyun.com)
今天主要和大家交流的是网易在数据湖 Iceberg 的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发,介绍对数据湖 Iceberg 的探索以及实践之路。
by @可耐芊小仙女 2020-10-28 09:53 分享 查看详情
基于 Flink + ClickHouse 打造轻量级点击流实时数仓 (developer.aliyun.com)
Flink 和 ClickHouse 分别是实时计算和OLAP 领域的翘楚,也是近些年非常火爆的开源框架,很多大厂都在将两者结合使用来构建各种用途的实时平台,效果很好。关于两者的优点就不再赘述,本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。
by @可耐芊小仙女 2020-10-26 16:29 分享 查看详情
从 Storm 迁移到 Flink,美团外卖实时数仓建设实践 (developer.aliyun.com)
本文主要介绍一种通用的实时数仓构建的方法与实践。实时数仓以端到端低延迟、SQL 标准化、快速响应变化、数据统一为目标。
by @可耐芊小仙女 2020-10-26 14:31 分享 查看详情
Android 记一次解决问题的过程 (mp.weixin.qq.com)
之前我写过一篇文章,介绍我在GitHub开源的滑动控件 ConsecutiveScroller 是如何实现布局吸顶功能的。有兴趣的朋友可以去看一下:Android滑动布局ConsecutiveScrollerLayout实现布局吸顶功能。
by @code小生 2020-09-20 22:37 分享 查看详情
kotlin 如何解决 java 开发痛点,让程序员 happier (mp.weixin.qq.com)
正如官网的slogan所描述:kotlin,是一门让程序员写代码时更有 幸福感 的 现代 语言。
by @code小生 2020-09-20 22:37 分享 查看详情