Hadoop YARN:调度性能优化实践 (mp.weixin.qq.com)

【简介】

YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。

美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。

离线业务主要运行的是Hive on MapReduce, Spark SQL为主的数据仓库作业。

实时业务主要运行Spark Streaming,Flink为主的实时流计算作业。

机器学习业务主要运行TensorFlow,MXNet,MLX(美团点评自研的大规模机器学习系统)等计算作业。

点击查看全文 >>

@zhisheng_blog 2019-08-06 23:04分享 / 0个评论
赞过的人: IT技术博客大学习 技术头条 zhisheng_blog
要不要再学学下面的文章?
从零开始入门 K8s | 应用存储和持久化数据卷:存储快照与拓扑调度 (yq.aliyun.com)
在使用存储时,为了提高数据操作的容错性,我们通常有需要对线上数据进行 snapshot ,以及能快速 restore 的能力。另外,当需要对线上数据进行快速的复制以及迁移等动作,如进行环境的复制、数据开发等功能时,都可以通过存储快照来满足需求,而 K8s 中通过 CSI Snapshotter controller 来实现存储快照的功能。
by @可耐芊小仙女 21小时前 分享 查看详情
Flink on YARN(下):常见问题与排查思路 (yq.aliyun.com)
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式,其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章,分为上、下两篇。上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程,本文将根据社区大群反馈,解答客户端和 Flink Cluster 的常见问题,分享相关问题的排查思路。
by @技术小编443 2019-10-14 17:09 分享 查看详情
VPGAME的Kubernetes迁移实践 (yq.aliyun.com)
VPGAME 是集赛事运营、媒体资讯、大数据分析、玩家社群、游戏周边等为一体的综合电竞服务平台。总部位于中国杭州,在上海和美国西雅图分别设立了电竞大数据研发中心和 AI 研发中心。本文将讲述 VPGAME 将服务器迁移至 Kubernetes 的过程。
by @可耐芊小仙女 2019-10-11 16:59 分享 查看详情
Flink on YARN(下):常见问题与排查思路 (yq.aliyun.com)
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式,其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章,分为上、下两篇。上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程,本文将根据社区大群反馈,解答客户端和 Flink Cluster 的常见问题,分享相关问题的排查思路。
by @可耐芊小仙女 2019-10-10 16:39 分享 查看详情
数据库实例性能调优利器:Performance Insights (yq.aliyun.com)
阿里云RDS Performance Insights是RDS CloudDBA产品一项专注于用户数据库实例性能调优、负载监控和关联分析的利器,以简单直观的方式帮助用户迅速评估数据库负载,资源等待的源头和对应SQL查询语句,以此来指导用户在何时、何处、采取何种行动进行数据性能优化。
by @可耐芊小仙女 2019-10-08 15:53 分享 查看详情
高性能缓存服务器 nuster v3.1.0.19 发布 (github.com)
高性能缓存服务器 nuster v3.1.0.19 发布,主要支持清除缓存文件。nuster 是一个基于 HAProxy 的高性能 HTTP 缓存服务器。
by @NusterCacheServer 2019-10-04 09:27 分享 查看详情
一张图轻松掌握 Flink on YARN 应用启动全流程(上) (yq.aliyun.com)
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式,其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章,分为上、下两篇。本文基于 FLIP-6 重构后的资源调度模型将介绍 Flink on YARN 应用启动全流程,并进行详细步骤解析。下篇将根据社区大群反馈,解答客户端和Flink Cluster的常见问题,分享相关问题的排查思路。
by @可耐芊小仙女 2019-09-25 16:40 分享 查看详情
Apache Flink 进阶(三):Checkpoint 原理解析与应用实践 (yq.aliyun.com)
大家好,今天我将跟大家分享一下 Flink 里面的 Checkpoint,共分为四个部分。首先讲一下 Checkpoint 与 state 的关系,然后介绍什么是 state,第三部分介绍如何在 Flink 中使用state,第四部分则介绍 Checkpoint 的执行机制。
by @可耐芊小仙女 2019-09-25 16:38 分享 查看详情
Flink 在趣头条的应用与实践 (mp.weixin.qq.com)
Flink 在趣头条的应用与实践,Flink 在趣头条的应用与实践,Flink 在趣头条的应用与实践。Flink 在趣头条的应用与实践
by @zhisheng_blog 2019-09-22 13:40 分享 查看详情
Hadoop YARN:调度性能优化实践 (mp.weixin.qq.com)
YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。

美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。
by @zhisheng_blog 2019-09-22 13:27 分享 查看详情