Apache Flink 进阶(一):Runtime 核心机制剖析 (yq.aliyun.com)

【简介】

本文主要介绍 Flink Runtime 的作业执行的核心机制。首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程,然后介绍在这个过程,Flink 是怎么进行资源管理、作业调度以及错误恢复的。最后,本文还将简要介绍 Flink Runtime 层当前正在进行的一些工作。

点击查看全文 >>

@可耐芊小仙女 2019-09-16 16:25分享 / 0个评论
赞过的人: IT技术博客大学习
要不要再学学下面的文章?
Apache APISIX 微服务网关极致性能架构解析 (zhuanlan.zhihu.com)
API 网关并非一个新兴的概念,在十几年前就已经存在了,它的作用主要是作为流量的入口,统一处理和业务相关的请求,让 API 更加安全、快速和准确的得到处理,它有以下传统功能……
by @又拍云 2019-12-04 15:01 分享 查看详情
Spring Boot 核心知识,深入剖析! (mp.weixin.qq.com)
在过去两三年的Spring生态圈,最让人兴奋的莫过于Spring Boot框架。或许从命名上就能看出这个框架的设计初衷:快速的启动Spring应用。因而Spring Boot应用本质上就是一个基于Spring框架的应用,它是Spring对“定优先于配置”理念的最佳实践产物,它能够帮助开发者更快速高效地构建基于Spring生态圈的应用。
by @code小生 2019-12-02 10:30 分享 查看详情
阿里云Serverless应用引擎(SAE)3大核心优势全解析 (yq.aliyun.com)
软件发展到今,企业业务系统日趋复杂,开发一个业务系统需要掌握和关注的知识点越来越多。除实现业务逻辑本身,还需考虑很多非业务的基础技术系统:如分布式cache和队列、基础服务能力集成、容量规划、弹性伸缩等。这种情况下,研发门槛逐渐上升,效率逐渐下降。企业很难做到低成本创新、试错和快速扩展业务。
by @可耐芊小仙女 2019-11-28 16:51 分享 查看详情
Flink 实战:如何解决生产环境中的技术难题? (yq.aliyun.com)
Apache Flink 作为业界公认为最好的流计算引擎,不仅仅局限于做流处理,而是一套兼具流、批、机器学习等多种计算功能的大数据引擎,以其高吞吐低延时的优异实时计算能力、支持海量数据的亚秒级快速响应帮助企业和开发者实现数据算力升级,并成为阿里、腾讯、滴滴、美团、字节跳动、Netflix、Lyft 等国内外知名公司建设实时计算平台的首选。
by @可耐芊小仙女 2019-11-28 16:51 分享 查看详情
Flink 在人工智能领域的应用实践 (yq.aliyun.com)
人工智能是未来十年最重要的技术革命与驱动力,在各行各业产生着日益重要的作用,它与大数据的发展相辅相成,不仅推动人类社会迈入更智慧的世界,也为数据的应用带来无可估量的价值。
by @可耐芊小仙女 2019-11-28 16:50 分享 查看详情
基于 Flink 的实时数仓生产实践 (yq.aliyun.com)
数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战。在智能商业中,数据的结果代表了用户反馈、获取数据的及时性尤为重要。快速获取数据反馈能够帮助公司更快地做出决策,更好地进行产品迭代,实时数仓在这一过程中起到了不可替代的作用。
by @可耐芊小仙女 2019-11-28 16:49 分享 查看详情
如何分析及处理 Flink 反压? (yq.aliyun.com)
反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为瓶颈,处理速率跟不上上游发送数据的速率,而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦,消费端数据源是 pull-based 的,所以反压通常是从某个节点传导至数据源并降低数据源(比如 Kafka consumer)的摄入速率。
by @可耐芊小仙女 2019-11-28 16:48 分享 查看详情
Spring的核心思想,总结得非常好! (mp.weixin.qq.com)
依赖注入是面型接口编程的一种体现,是Spring的核心思想。事实上依赖注入并不是什么高深的技术, 只是被Sping这么以包装就显得有些神秘。
by @code小生 2019-11-25 20:46 分享 查看详情
双11核心系统100%上云 !阿里数据库处理峰值远超传统厂商 (yq.aliyun.com)
双11是一次大规模的全社会协作,要想让业务流、信息流和资金流做到顺畅、及时和精准地在整个双11系统中完成同步和读写,数据库是非常关键的技术环节。今年双11期间,阿里自研数据库产品OceanBase、POLARDB以及其他多款数据库产品的共同支持下,保证了双11开始前15分钟整个系统没有任何抖动,数亿用户顺畅购物。张建锋在双11的媒体沟通会上透露,在双11的交易中,OceanBase和POLARDB每秒处理峰值都远远超越传统Oracle数据库。据悉,今年双11期间OceanBase数据库处理峰值达到6100万次/秒,POLARDB数据库处理峰值达到8700万次/秒。
by @可耐芊小仙女 2019-11-25 15:07 分享 查看详情
Flink State 有可能代替数据库吗? (yq.aliyun.com)
有状态的计算作为容错以及数据一致性的保证,是当今实时计算必不可少的特性之一,流行的实时计算引擎包括 Google Dataflow、Flink、Spark (Structure) Streaming、Kafka Streams 都分别提供对内置 State 的支持。State 的引入使得实时应用可以不依赖外部数据库来存储元数据及中间数据,部分情况下甚至可以直接用 State 存储结果数据,这让业界不禁思考: State 和 Database 是何种关系?有没有可能用 State 来代替数据库呢?
by @可耐芊小仙女 2019-11-21 17:12 分享 查看详情