58 同城基于 Flink 的千亿级实时计算平台架构实践 (www.54tianzhisheng.cn)
58 同城作为覆盖生活全领域的服务平台,业务覆盖招聘、房产、汽车、金融、二手及本地服务等各个方面。丰富的业务线和庞大的用户数每天产生海量用户数据需要实时化的计算分析,实时计算平台定位于为集团海量数据提供高效、稳定、分布式实时计算的基础服务。本文主要介绍 58 同城基于 Flink 打造的一站式实时计算平台 Wstream。
by @zhisheng_blog 2020-02-23 09:07 查看详情
阿里巴巴 Flink 踩坑经验:如何大幅降低 HDFS 压力? (www.54tianzhisheng.cn)
众所周知,Flink 是当前最为广泛使用的计算引擎之一,它使用 Checkpoint 机制进行容错处理 [1],Checkpoint 会将状态快照备份到分布式存储系统,供后续恢复使用。在 Alibaba 内部,我们使用的存储主要是 HDFS,当同一个集群的 Job 到达一定数量后,会对 HDFS 造成非常大的压力,本文将介绍一种大幅度降低 HDFS 压力的方法——小文件合并。
by @zhisheng_blog 2020-02-23 09:06 查看详情
Flink Forward Asia 2019 PPT 下载 (www.54tianzhisheng.cn)
Flink Forward Asia 2019 在北京召开的,有主会场和几个分会场(企业实践、Apache Flink 核心技术、开源大数据生态、实时数仓、人工智能),内容涉及很多,可以查看下面的 PPT。
by @zhisheng_blog 2020-02-23 09:05 查看详情
基于 Apache Flink 的监控告警系统 (www.54tianzhisheng.cn)
本人在 Flink 社区钉钉群直播的视频,对实时监控告警的可以查看
by @zhisheng_blog 2020-02-23 09:05 查看详情
美团点评基于 Flink 的实时数仓平台实践 (www.54tianzhisheng.cn)
数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战,而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中,美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。
by @zhisheng_blog 2020-02-23 09:04 查看详情
Apache Flink 1.10.0 重磅发布,新特性解读 (www.54tianzhisheng.cn)
Apache Flink 社区迎来了激动人心的两位数位版本号,Flink 1.10.0 正式宣告发布!
by @zhisheng_blog 2020-02-23 09:03 查看详情
Flink Checkpoint 问题排查实用指南 (www.54tianzhisheng.cn)
在 Flink 中,状态可靠性保证由 Checkpoint 支持,当作业出现 failover 的情况下,Flink 会从最近成功的 Checkpoint 恢复。
by @zhisheng_blog 2020-02-23 09:03 查看详情
Flink 1.10 新特性研究 (www.54tianzhisheng.cn)
Flink 1.10 release 文档描述了一些比较重要的点,比如配置、操作、依赖、1.9 版本和 1.10 版本之间的区别,如果你准备将 Flink 升级到 1.10 版本,建议仔细看完下面的内容。
by @zhisheng_blog 2020-02-23 09:02 查看详情
Flink 整合 Nacos,让 Flink 作业配置动态更新不再是难事 (www.54tianzhisheng.cn)
本人自己录的视频,讲解 Flink 整和 Nacos,动态更新作业配置,无需重启作业!

我们知道 Flink 作业的配置一般都是通过在作业启动的时候通过参数传递的,或者通过读取配置文件的参数,在作业启动后初始化了之后如果再想更新作业的配置一般有两种解决方法
by @zhisheng_blog 2020-02-23 09:02 查看详情
Flink中资源管理机制解读与展望 (mp.weixin.qq.com)
本文来自2019年9月21日Flink Meetup北京站阿里巴巴的宋辛童的分享,关于Flink的资源管理机制的解读和展望。
by @zhisheng_blog 2019-11-05 21:17 查看详情
Visual Studio Code,这是要上天? (mp.weixin.qq.com)
它作为一个开源项目,也吸引了无数第三方开发者和终端用户,成为顶尖开源项目之一。它在功能上做到了够用,体验上做到了好用,更在拥有海量插件的情况下做到了简洁流畅,实属难能可贵。
by @zhisheng_blog 2019-11-05 21:16 查看详情
分库分表就能无限扩容吗,解释得太好了! (mp.weixin.qq.com)
像我这样的菜鸟,总会有各种疑问,刚开始是对 JDK API 的疑问,对 NIO 的疑问,对 JVM 的疑问,当工作几年后,对服务的可用性,可扩展性也有了新的疑问,什么疑问呢?其实是老生常谈的话题:服务的扩容问题。
by @zhisheng_blog 2019-11-05 21:14 查看详情
JVM性能调优监控工具使用详解 (mp.weixin.qq.com)
现实企业级Java应用开发、维护中,有时候我们会碰到下面这些问题:
OutOfMemoryError,内存不足

内存泄露

线程死锁

锁争用(Lock Contention)

Java进程消耗CPU过高
by @zhisheng_blog 2019-11-05 21:13 查看详情
MySQL用得好好的,为什么要转ES? (mp.weixin.qq.com)
京东到家订单中心系统业务中,无论是外部商家的订单生产,或是内部上下游系统的依赖,订单查询的调用量都非常大,造成了订单数据读多写少的情况。
by @zhisheng_blog 2019-11-05 21:12 查看详情
淘宝为什么能抗住双 11 ?看完这篇文章你就明白了! (mp.weixin.qq.com)
双 11 即将来临,本文以设计淘宝网的后台架构为例,介绍从一百个并发到千万级并发情况下服务端的架构的14次演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知。
by @zhisheng_blog 2019-11-05 21:11 查看详情
大数据实时计算引擎 Flink 实战与性能优化 (www.54tianzhisheng.cn)
基于 Flink 1.9 讲解的专栏,涉及入门、概念、原理、实战、性能调优、系统案例的讲解。
by @zhisheng_blog 2019-11-05 20:56 查看详情
Flink Connector 深度解析 (mp.weixin.qq.com)
本文主要分享Flink connector相关内容,分为以下三个部分的内容:第一部分会首先介绍一下Flink Connector有哪些。第二部分会重点介绍在生产环境中经常使用的kafka connector的基本的原理以及使用方法。第三部分答疑环节,看大家有没有一些问题。
by @zhisheng_blog 2019-09-22 13:41 查看详情
Flink 在趣头条的应用与实践 (mp.weixin.qq.com)
Flink 在趣头条的应用与实践,Flink 在趣头条的应用与实践,Flink 在趣头条的应用与实践。Flink 在趣头条的应用与实践
by @zhisheng_blog 2019-09-22 13:40 查看详情
ElasticSearch 史上最全最常用工具清单 (mp.weixin.qq.com)
工欲善其事必先利其器,ELK Stack 的学习和实战更是如此,特将工作中用到的“高效”工具分享给大家。

希望能借助“工具”提高开发、运维效率!
by @zhisheng_blog 2019-09-22 13:39 查看详情
刚修完 Jackson 漏洞,又要修 FastJson 漏洞,我太难了 (mp.weixin.qq.com)
前段时间频繁的爆出 Jackson 漏洞,前天刚修复完升级好了,第二天又要接着修复
by @zhisheng_blog 2019-09-22 13:39 查看详情