Apache Flink 进阶(八):详解 Metrics 原理与实战 (yq.aliyun.com)

【简介】

Flink 提供的 Metrics 可以在 Flink 内部收集一些指标,通过这些指标让开发人员更好地理解作业或集群的状态。由于集群运行后很难发现内部的实际状况,跑得慢或快,是否异常等,开发人员无法实时查看所有的 Task 日志,比如作业很大或者有很多作业的情况下,该如何处理?此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。

点击查看全文 >>

@可耐芊小仙女 2019-11-21 17:08分享 / 0个评论
要不要再学学下面的文章?
硬核科普:携号转网的技术原理分析 (www.huxiu.com)
一个数据冗余,难倒英雄汉。

我们的手机号,实际上有两个,分别是IMSI和MDN。

IMSI的全名是International Mobile Subscriber Identity,国际移动用户识别码。它是一种“永久用户标识”,每一个手机SIM卡,对应一个IMSI号码。

IMSI号码由三部分组成,分别是:
1、MCC (Mobile Country Code) 移动国家码;
2、MNC (Mobile Network Code) 移动网络码;
3、MSIN (Mobile Subscriber Identity) 移动用户识别码;

MCC是3位数字(中国是460),MNC是2-3位数字,MSIN是10-11位数字。加起来的IMSI,一般不超过15位,通常就是15位(例如我们国家)。
by @shengting 2020-03-24 11:28 分享 查看详情
JVM源码分析之javaagent原理完全解读 (club.perfma.com)
本文重点讲述javaagent的具体实现,因为它面向的是我们java程序员,而且agent都是用java编写的,不需要太多的c/c++编程基础,不过这篇文章里也会讲到JVMTIAgent(c实现的),因为javaagent的运行还是依赖于一个特殊的JVMTIAgent。
by @PerfMa社区 2020-03-24 10:25 分享 查看详情
JVM源码分析之jstat工具原理完全解读 (club.perfma.com)
jstat是hotspot自带的工具,和java一样也位于JAVA_HOME/bin下面,我们通过该工具可以实时了解当前进程的gc,compiler,class,memory等相关的情况。
by @PerfMa社区 2020-03-10 10:24 分享 查看详情
Webpack原理(3) — 核心概念 (teobler.com)
这篇文章给大家介绍了一些webpack的核心概念,并配了一些demo,方便大家理解并上手webpack
by @teobler 2020-02-28 17:14 分享 查看详情
Webpack原理(2) — 加载原理 (teobler.com)
webpack的核心目的和功能就是打包JavaScript代码,在时间的推进过程中,其逐渐演化成了一个生态体系,成为前端打包代码和处理开发时候必不可少的一个工具。
by @teobler 2020-02-23 10:30 分享 查看详情
58 同城基于 Flink 的千亿级实时计算平台架构实践 (www.54tianzhisheng.cn)
58 同城作为覆盖生活全领域的服务平台,业务覆盖招聘、房产、汽车、金融、二手及本地服务等各个方面。丰富的业务线和庞大的用户数每天产生海量用户数据需要实时化的计算分析,实时计算平台定位于为集团海量数据提供高效、稳定、分布式实时计算的基础服务。本文主要介绍 58 同城基于 Flink 打造的一站式实时计算平台 Wstream。
by @zhisheng_blog 2020-02-23 09:07 分享 查看详情
阿里巴巴 Flink 踩坑经验:如何大幅降低 HDFS 压力? (www.54tianzhisheng.cn)
众所周知,Flink 是当前最为广泛使用的计算引擎之一,它使用 Checkpoint 机制进行容错处理 [1],Checkpoint 会将状态快照备份到分布式存储系统,供后续恢复使用。在 Alibaba 内部,我们使用的存储主要是 HDFS,当同一个集群的 Job 到达一定数量后,会对 HDFS 造成非常大的压力,本文将介绍一种大幅度降低 HDFS 压力的方法——小文件合并。
by @zhisheng_blog 2020-02-23 09:06 分享 查看详情
Flink Forward Asia 2019 PPT 下载 (www.54tianzhisheng.cn)
Flink Forward Asia 2019 在北京召开的,有主会场和几个分会场(企业实践、Apache Flink 核心技术、开源大数据生态、实时数仓、人工智能),内容涉及很多,可以查看下面的 PPT。
by @zhisheng_blog 2020-02-23 09:05 分享 查看详情
基于 Apache Flink 的监控告警系统 (www.54tianzhisheng.cn)
本人在 Flink 社区钉钉群直播的视频,对实时监控告警的可以查看
by @zhisheng_blog 2020-02-23 09:05 分享 查看详情
美团点评基于 Flink 的实时数仓平台实践 (www.54tianzhisheng.cn)
数据仓库的建设是“数据智能”必不可少的一环,也是大规模数据应用中必然面临的挑战,而 Flink 实时数仓在数据链路中扮演着极为重要的角色。本文中,美团点评高级技术专家鲁昊为大家分享了美团点评基于 Apache Flink 的实时数仓平台实践。
by @zhisheng_blog 2020-02-23 09:04 分享 查看详情