基于Yarn的分布式应用调度器Slider (codemacro.com)

【简介】

Apache Hadoop Map-Reduce框架为了解决规模增长问题,发展出了yarn。而yarn不仅解决Map-Reduce调度问题,还成为了一个通用的分布式应用调度服务。yarn中的一个创新是把各种不同应用的调度逻辑拆分到了一个称为ApplicationManager(以下简称AM)的角色中,从而让yarn自己变得更通用,同时解决调度性能问题。ApacheSlider就是这其中的一个AM具体实现。但Slider进一步做了通用化,可以用于调度长运行(long-running)的分布式应用。

为了更好地理解Slider/Yarn,需要思考这样一个问题:在不用Slider/Yarn这种自动部署并管理应用的软件时,我们如何在一个网络环境中部署一个分布式应用?

点击查看全文 >>

@技术头条 2019-08-10 22:38分享 / 0个评论
赞过的人: IT技术博客大学习 技术头条
要不要再学学下面的文章?
从零开始入门 K8s | 应用存储和持久化数据卷:核心知识 (yq.aliyun.com)
介绍了 K8s Volume 的使用场景,以及本身局限性;
通过介绍 K8s 的 PVC 和 PV 体系,说明 K8s 通过 PVC 和 PV 体系增强了 K8s Volumes 在多 Pod 共享/迁移/存储扩展等场景下的能力的必要性以及设计思想;
通过介绍 PV(存储)的不同供给模式 (static and dynamic),学习了如何通过不同方式为集群中的 Pod 供给所需的存储;
通过 PVC&PV 在 K8s 中完整的处理流程,深入理解 PVC&PV 的工作原理 。
by @技术小编443 4小时前 分享 查看详情
从零开始入门 K8s | 应用存储和持久化数据卷:存储快照与拓扑调度 (yq.aliyun.com)
在使用存储时,为了提高数据操作的容错性,我们通常有需要对线上数据进行 snapshot ,以及能快速 restore 的能力。另外,当需要对线上数据进行快速的复制以及迁移等动作,如进行环境的复制、数据开发等功能时,都可以通过存储快照来满足需求,而 K8s 中通过 CSI Snapshotter controller 来实现存储快照的功能。
by @可耐芊小仙女 22小时前 分享 查看详情
从零开始入门 K8s | 应用存储和持久化数据卷:核心知识 (yq.aliyun.com)
文内场景中,通过 Pod Volumes 很难准确地表达它的复用/共享语义,对它的扩展也比较困难。因此 K8s 中又引入了 Persistent Volumes 概念,它可以将存储和计算分离,通过不同的组件来管理存储资源和计算资源,然后解耦 pod 和 Volume 之间生命周期的关联。这样,当把 pod 删除之后,它使用的 PV 仍然存在,还可以被新建的 pod 复用。
by @可耐芊小仙女 22小时前 分享 查看详情
从零开始入门 K8s | 可观测性:你的应用健康吗? (yq.aliyun.com)
Liveness probe 也叫就绪指针,用来判断一个 pod 是否处在就绪状态。当一个 pod 处在就绪状态的时候,它才能够对外提供相应的服务,也就是说接入层的流量才能打到相应的 pod。当这个 pod 不处在就绪状态的时候,接入层会把相应的流量从这个 pod 上面进行摘除。
by @可耐芊小仙女 2019-10-15 15:47 分享 查看详情
Flink on YARN(下):常见问题与排查思路 (yq.aliyun.com)
Flink 支持 Standalone 独立部署和 YARN、Kubernetes、Mesos 等集群部署模式,其中 YARN 集群部署模式在国内的应用越来越广泛。Flink 社区将推出 Flink on YARN 应用解读系列文章,分为上、下两篇。上篇分享了基于 FLIP-6 重构后的资源调度模型介绍 Flink on YARN 应用启动全流程,本文将根据社区大群反馈,解答客户端和 Flink Cluster 的常见问题,分享相关问题的排查思路。
by @技术小编443 2019-10-14 17:09 分享 查看详情
阿里张磊:云计算生态价值点正迅速聚焦到“应用”上 (yq.aliyun.com)
云原生的理念如今正如火如荼。它不仅仅是一种技术,更是社区基于对云的思考,逐渐提炼出的一系列技术、最佳实践与方法论的集合。不过,到目前为止云原生的讨论较多局限在基础设施的开发和运维人员群体中。相比之下,更关注业务本身的应用开发同学,与云原生技术带来的资源利用率提升、分布式系统的弹性扩展与可靠性等能力之间,始终存在着一定的隔阂。对这部分同学来说,云原生技术更多时候还停留在“知其然”的阶段。
by @可耐芊小仙女 2019-10-14 17:02 分享 查看详情
安卓应用无响应,你真的了解吗? (mp.weixin.qq.com)
不论从事安卓应用开发,还是安卓系统研发,应该都遇到应用无响应(简称ANR)问题,当应用程序一段时间无法及时响应,则会弹出ANR对话框,让用户选择继续等待,还是强制关闭。
by @code小生 2019-10-13 23:35 分享 查看详情
应用上云新模式,Aliware 全家桶亮相杭州云栖大会 (yq.aliyun.com)
全面上云带来的变化,不仅是上云企业数量上的攀升,也是企业对云的使用方式的转变,越来越多的企业用户不仅将云作为一种弹性资源,更是开始在云上部署架构和应用,借助 Serverless 等技术,开发人员只需聚焦于业务代码,省去了对底层资源的维护,同时底层资源用起来会更节省。
by @可耐芊小仙女 2019-10-12 16:42 分享 查看详情
阿里云研究员金戈:视频云新“三网一云”,驱动行业应用创新 (yq.aliyun.com)
9月25-27日,全球数字经济风向标——杭州云栖大会隆重开幕。在第三天的智能视频云分论坛上,阿里云研究员金戈进行《视频云新“三网一云”,驱动行业应用创新》主题演讲,并首次对外发布视频云V5计划。
by @技术小编443 2019-10-11 15:56 分享 查看详情
阿里云应用上边缘云解决方案助力互联网All in Cloud (yq.aliyun.com)
9月25日,吸引全球目光的2019杭州云栖大会如期开幕。20000平米的展区集结数百家企业,为数万名开发者带来了一场前沿科技的饕餮盛宴。
by @技术小编443 2019-10-11 11:37 分享 查看详情