Apache Flink 进阶(一):Runtime 核心机制剖析 (yq.aliyun.com)

【简介】

本文主要介绍 Flink Runtime 的作业执行的核心机制。首先介绍 Flink Runtime 的整体架构以及 Job 的基本执行流程,然后介绍在这个过程,Flink 是怎么进行资源管理、作业调度以及错误恢复的。最后,本文还将简要介绍 Flink Runtime 层当前正在进行的一些工作。

点击查看全文 >>

@可耐芊小仙女 2019-09-16 16:25分享 / 0个评论
赞过的人: IT技术博客大学习
要不要再学学下面的文章?
简单分析 App 进程 Crash 机制 (mp.weixin.qq.com)
工作中遇到后台Service挂掉后(弹出停止运行),很久没有重启,分析log发现进程抛出FATAL EXCEPTION后并没有被杀,很久后才被杀掉重启,迷惑,遂看看具体的App挂掉流程是什么样的。
by @code小生 2020-07-21 23:33 分享 查看详情
Apache Tomcat CVE-2020-1938,细思极恐 (insights.thoughtworks.cn)
Apache Tomcat CVE-2020-1938这个漏洞确实凶猛,攻击者可以读取到webapp目录下的任意文件,包括war包。而war包里有properties文件,不少开发团队都把连接数据库的用户名密码、JWT 签名secret、加解密密钥等重要信息放在这个文件里。
by @ThoughtWorks 2020-07-17 09:58 分享 查看详情
记录一次Flink作业异常的排查过程 (club.perfma.com)
最近2周开始接手apache flink全链路监控数据的作业,包括指标统计,业务规则匹配等逻辑,计算结果实时写入elasticsearch. 昨天遇到生产环境有作业无法正常重启的问题,我负责对这个问题进行排查跟进。
by @PerfMa社区 2020-06-16 10:54 分享 查看详情
分享一个新出炉的JVM里不痛不痒的BUG(Attach机制相关) (club.perfma.com)
从Attach Listener的实现来看,它设计的初衷不应该是一个多线程的设计,于是我昨晚上又翻了一遍代码,发现还真可能存在这种情况。
by @PerfMa社区 2020-06-02 10:42 分享 查看详情
JVM源码分析之Attach机制实现完全解读 (club.perfma.com)
在讲这个之前,我们先来点大家都知道的东西,当我们感觉线程一直卡在某个地方,想知道卡在哪里,首先想到的是进行线程dump,而常用的命令是jstack ,我们就可以看到如下线程栈了
by @PerfMa社区 2020-05-26 11:00 分享 查看详情
Apache HBase内核深度剖析 (insights.thoughtworks.cn)
前面一篇文章介绍了Kafka的具体内容,今天讲述一下HBase相关的知识。首先HBase作为大数据发展初期伴随Google三大论文问世的一个组件,在今天依旧被广泛的应用,今天我们来仔细的分析一下HBase的内部原理,了解一下HBase的具体内幕,以便在工作中更好使用它。以下内容涉及到的源码基于HBase 的Master分支编译出的最新的3.0.0版本。
by @ThoughtWorks 2020-04-09 18:49 分享 查看详情
异地情侣如何安全地传递情书 — 哈希时间锁定机制剖析 (insights.thoughtworks.cn)
在探索学习区块链扩容方面的技术时,了解到跨链是区块链二层扩容的重要部分,而实现跨链的技术主要有:公证人技术、中继/侧链技术、哈希时间锁定技术。接下来,我们将在这篇文章中详细介绍哈希时间锁定技术的原理及实现等。
by @ThoughtWorks 2020-04-01 17:19 分享 查看详情
Apache Kafka内核深度剖析 (insights.thoughtworks.cn)
目前来说市面上可以选择的消息队列非常多,像activemq,rabbitmq,zeromq已经被大多数人耳熟能详,特别像activemq早期应用在企业中的总线通信,基本作为企业级IT设施解决方案中不可或缺的一部分。目前来说Kafka已经非常稳定,并且逐步应用更加广泛,已经算不得新生事物,但是不可否认Kafka一枝独秀如同雨后春笋,非常耀眼,今天我们仔细分解一下Kafka,了解一下它的内幕。以下的内容版本基于当前最新的Kafka稳定版本2.4.0。文章主要包含以下内容:

Kafka为什么快
Kafka为什么稳
Kafka该怎么用
该文章为开篇引导之做,后续会有对应的HBase,Spark,Kylin,Pulsar等相关组件的剖析。
by @ThoughtWorks 2020-04-01 12:25 分享 查看详情
Webpack原理(3) — 核心概念 (teobler.com)
这篇文章给大家介绍了一些webpack的核心概念,并配了一些demo,方便大家理解并上手webpack
by @teobler 2020-02-28 17:14 分享 查看详情
58 同城基于 Flink 的千亿级实时计算平台架构实践 (www.54tianzhisheng.cn)
58 同城作为覆盖生活全领域的服务平台,业务覆盖招聘、房产、汽车、金融、二手及本地服务等各个方面。丰富的业务线和庞大的用户数每天产生海量用户数据需要实时化的计算分析,实时计算平台定位于为集团海量数据提供高效、稳定、分布式实时计算的基础服务。本文主要介绍 58 同城基于 Flink 打造的一站式实时计算平台 Wstream。
by @zhisheng_blog 2020-02-23 09:07 分享 查看详情