阿里巴巴 Flink 踩坑经验:如何大幅降低 HDFS 压力? (www.54tianzhisheng.cn)

【简介】

众所周知,Flink 是当前最为广泛使用的计算引擎之一,它使用 Checkpoint 机制进行容错处理 [1],Checkpoint 会将状态快照备份到分布式存储系统,供后续恢复使用。在 Alibaba 内部,我们使用的存储主要是 HDFS,当同一个集群的 Job 到达一定数量后,会对 HDFS 造成非常大的压力,本文将介绍一种大幅度降低 HDFS 压力的方法——小文件合并。

点击查看全文 >>

@zhisheng_blog 2020-02-23 09:06分享 / 0个评论
赞过的人: IT技术博客大学习 zhisheng_blog
要不要再学学下面的文章?
Flink 在又拍云日志批处理中的实践 (zhuanlan.zhihu.com)
在选用 Flink 前,我们对日志批处理的整个业务需求分为三步:数据源采集、日志处理、结果的保存。我们的日志量在 100G/h,单机服务处理速度慢、扩容不方便,一些相似的需求都是以编码形式完成的。另外,数据处理流程复杂,需要在多个服务间流转,迫切需要一个方案来解决问题……
by @又拍云 2021-02-25 16:19 分享 查看详情
蒂森克虏伯上云 加速跨境访问 、降低网络延时 (yqh.aliyun.com)
蒂森克虏伯是一家来自德国的多元化工业集团,目前,中国已经成为除德国本土以外集团主要的战略投资市场,在国内有超过90个工厂和分支机构。蒂森克虏伯集团旗下的机械零部件技术、电梯技术、工业解决方案、材料服务等业务领域,在广泛的领域内向中国市场提供多元化的产品和服务。
by @可耐芊小仙女 2020-12-02 16:09 分享 查看详情
三年经验 Android 开发面经总结 (mp.weixin.qq.com)
在下2017年毕业,目前从事android开发工作已经3年啦,前段时间刚完成一次跳槽,面试了几家公司,将一些面试经验分享给大家,希望对大家有所帮助。
by @code小生 2020-11-29 20:22 分享 查看详情
Flink 双流 Join 的3种操作示例 (developer.aliyun.com)
在数据库中的静态表上做 OLAP 分析时,两表 join 是非常常见的操作。同理,在流式处理作业中,有时也需要在两条流上做 join 以获得更丰富的信息。
by @可耐芊小仙女 2020-11-24 15:55 分享 查看详情
快手基于 Apache Flink 的优化实践 (developer.aliyun.com)
本次内容主要分为三部分,首先介绍流式计算的基本概念, 然后介绍 Flink 的关键技术,最后讲讲 Flink 在快手生产实践中的一些应用,包括实时指标计算和快速 failover。
by @可耐芊小仙女 2020-11-24 13:31 分享 查看详情
Flink 1.11 与 Hive 批流一体数仓实践 (developer.aliyun.com)
Flink 从 1.9.0 开始提供与 Hive 集成的功能,随着几个版本的迭代,在最新的 Flink 1.11 中,与 Hive 集成的功能进一步深化,并且开始尝试将流计算场景与Hive 进行整合。
by @可耐芊小仙女 2020-11-18 14:00 分享 查看详情
当 TiDB 与 Flink 相结合:高效、易用的实时数仓 (developer.aliyun.com)
利用实时数仓,企业可以实现实时 OLAP 分析、实时数据看板、实时业务监控、实时数据接口服务等用途。而得益于新版 Flink 对 SQL 的支持,以及 TiDB HTAP 的特性,我们探索了一个高效、易用的 Flink+TiDB 实时数仓解决方案。
by @可耐芊小仙女 2020-11-18 09:59 分享 查看详情
大促场景系统稳定性保障实践经验分享 (developer.aliyun.com)
11月11日0点刚过26秒,天猫双11的订单创建峰值就达到58.3万笔/秒,阿里云又一次扛住全球最大规模流量洪峰!58.3万笔/秒,这一数字是2009年第一次天猫双11的1457倍。
by @可耐芊小仙女 2020-11-16 17:05 分享 查看详情
深入解析 Flink 的算子链机制 (developer.aliyun.com)
“为什么我的 Flink 作业 Web UI 中只显示出了一个框,并且 Records Sent 和Records Received 指标都是 0 ?是我的程序写得有问题吗?”
by @可耐芊小仙女 2020-11-16 14:14 分享 查看详情
Flink + 强化学习搭建实时推荐系统 (developer.aliyun.com)
如今的推荐系统,对于实时性的要求越来越高,实时推荐的流程大致可以概括为:推荐系统对于用户的请求产生推荐,用户对推荐结果作出反馈 (购买/点击/离开等等),推荐系统再根据用户反馈作出新的推荐。
by @可耐芊小仙女 2020-11-13 17:48 分享 查看详情