Hadoop YARN:调度性能优化实践 (mp.weixin.qq.com)

【简介】

YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。

美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。

离线业务主要运行的是Hive on MapReduce, Spark SQL为主的数据仓库作业。

实时业务主要运行Spark Streaming,Flink为主的实时流计算作业。

机器学习业务主要运行TensorFlow,MXNet,MLX(美团点评自研的大规模机器学习系统)等计算作业。

点击查看全文 >>

@zhisheng_tian 2019-08-06 23:04分享 / 0个评论
赞过的人: 技术头条 zhisheng_tian
要不要再学学下面的文章?
阿里巴巴在应用性能测试场景设计和实现上的实践 (yq.aliyun.com)
本文是《Performance Test Together》(简称PTT)系列专题分享的第5期,该专题将从性能压测的设计、实现、执行、监控、问题定位和分析、应用场景等多个纬度对性能压测的全过程进行拆解,以帮助大家构建完整的性能压测的理论体系,并提供有例可依的实战。
by @可耐芊小仙女 16小时前 分享 查看详情
后端开发实践系列——事件驱动架构(EDA)编码实践 (insights.thoughtworks.cn)
在本系列的前两篇文章中,我作者分别讲到了后端项目的代码模板和DDD编码实践,在本篇将继续以编码实践的方式分享如何落地事件驱动架构。
by @ThoughtWorks 22小时前 分享 查看详情
OpenResty 社区王院生:APISIX 的高性能实践 (zhuanlan.zhihu.com)
API 网关的地位越来越重要,它几乎劫持了所有流量,内外之间完成了用户的安全控制、审计,通过自定义插件的方式满足企业自身特定需求,最常见的自由身份认证等。随着服务在数量和复杂度上的不断增长,更多的企业采用了微服务的方式,这时通过 API 网关来完成统一的流量管理和调度就非常有必要。
by @又拍云 2019-08-20 15:21 分享 查看详情
阿里云 CDN 业务基于边缘容器的云原生转型实践 (yq.aliyun.com)
本文基于边缘容器的阿里云 CDN 云原生实践, 涵盖了边缘容器的背景和趋势,边缘托管集群 ACK Managed Edge K8s(文中简称“Edge@ACK”) 的能力、架构,以及基于边缘容器构建阿里云 CDN 的云原生体系的详细过程,期望与读者分享使用阿里云容器服务打造云边端一体基础设施过程中的体会。
by @可耐芊小仙女 2019-08-16 15:29 分享 查看详情
传统保险企业基于 Dubbo 的微服务实践 (yq.aliyun.com)
2013年,我们在做整个数据库转换的时候,需要找一款RPC的框架。当时市场上成熟的产品很少,不像今天百花齐放,比如今天有 Spring Cloud 和 Dubbo,但我们更倾向于有实际生产经验的框架,Dubbo在淘宝有比较丰富的实施经验,再加上阿里的业务形态和我们的业务模型契合度很高,例如需要支持海外不同地区的请求,不同地区也都有一些自己的定制化业务需求。
by @可耐芊小仙女 2019-08-14 16:29 分享 查看详情
优化 Tengine HTTPS 握手时间 (yq.aliyun.com)
网络延迟是网络上的主要性能瓶颈之一。在最坏的情况下,客户端打开一个链接需要DNS查询(1个 RTT),TCP握手(1个 RTT),TLS 握手(2个RTT),以及最后的 HTTP 请求和响应,可以看出客户端收到第一个 HTTP 响应的首字节需要5个 RTT 的时间,而首字节时间对 web 体验非常重要,可以体现在网站的首屏时间,直接影响用户判断网站的快慢,所以首字节时间(TTFB)是网站和服务器响应速度的重要指标,下面我们来看影响 SSL 握手的几个方面:
by @可耐芊小仙女 2019-08-13 15:37 分享 查看详情
Knative 实践:从源代码到服务的自动化部署 (yq.aliyun.com)
通过之前的文章,相信大家已经熟悉了 Serving、Eventing 以及 Tekton。那么在实际使用中,我们往往会遇到一些复杂的场景,这时候就需要各个组件之间进行协作处理。例如我们提交源代码之后是否直接可以部署服务到 K8s 中? 这个场景对于用户来说很有吸引力。那么现在就让我们来看一下,在 Knative 中如何实现从代码到服务?
by @可耐芊小仙女 2019-08-12 15:33 分享 查看详情
基于Yarn的分布式应用调度器Slider (codemacro.com)
Apache Hadoop Map-Reduce框架为了解决规模增长问题,发展出了yarn。而yarn不仅解决Map-Reduce调度问题,还成为了一个通用的分布式应用调度服务。yarn中的一个创新是把各种不同应用的调度逻辑拆分到了一个称为ApplicationManager(以下简称AM)的角色中,从而让yarn自己变得更通用,同时解决调度性能问题。ApacheSlider就是这其中的一个AM具体实现。但Slider进一步做了通用化,可以用于调度长运行(long-running)的分布式应用。

为了更好地理解Slider/Yarn,需要思考这样一个问题:在不用Slider/Yarn这种自动部署并管理应用的软件时,我们如何在一个网络环境中部署一个分布式应用?
by @技术头条 2019-08-10 22:38 分享 查看详情
悠星网络基于阿里云分析型数据库PostgreSQL版的数据实践 (yq.aliyun.com)
说到“大数据”,当下这个词很火,各行各业涉及到数据的,目前都在提大数据,提数据仓库,数据挖掘或者机器学习,但同时另外一个热门的名词也很火,那就是“云”。越来越多的企业都在搭建属于自己的云平台,也有一些会选择使用技术比较成熟的云商业化产品服务,比如阿里云的分析型数据库产品。本文将结合我们自己企业内部正在使用的阿里云产品分析型数据库PostgreSQL(下文都将称为AnalyticDB PostgreSQL版)来浅谈一下云业务场景下的数据实践。
by @可耐芊小仙女 2019-08-09 15:24 分享 查看详情
如何开发一款高性能的 gradle transform (mp.weixin.qq.com)
对于java开发者来说,大家好像都比较喜欢在编译期间搞事儿,比如为了做到AOP编程,大家都喜欢利用字节码生成技术,常用的有无痕埋点,方法耗时统计等等。那么Android中具体是如何做到这些的呢?所谓字节码插桩技术,其实就是修改已经编译的class文件,往里面添加自己的字节码,然后打包的时候打包的是修改后的class文件。为了便捷的修改编译后的class文件,Google爸爸开发了一套gradle相关的库,也就是gradle-transform-api,利用这个工具,我们可以自己实现class文件修改,下面我们看看具体做法。
by @code小生 2019-08-04 23:51 分享 查看详情