基于Yarn的分布式应用调度器Slider (codemacro.com)

【简介】

Apache Hadoop Map-Reduce框架为了解决规模增长问题,发展出了yarn。而yarn不仅解决Map-Reduce调度问题,还成为了一个通用的分布式应用调度服务。yarn中的一个创新是把各种不同应用的调度逻辑拆分到了一个称为ApplicationManager(以下简称AM)的角色中,从而让yarn自己变得更通用,同时解决调度性能问题。ApacheSlider就是这其中的一个AM具体实现。但Slider进一步做了通用化,可以用于调度长运行(long-running)的分布式应用。

为了更好地理解Slider/Yarn,需要思考这样一个问题:在不用Slider/Yarn这种自动部署并管理应用的软件时,我们如何在一个网络环境中部署一个分布式应用?

点击查看全文 >>

@技术头条 2019-08-10 22:38分享 / 0个评论
赞过的人: IT技术博客大学习 技术头条
要不要再学学下面的文章?
在快应用中使用 RxJS (quickapp.vivo.com.cn)
RxJS作为一个功能强大的事件处理库,其具备丰富的操作符,如何能将这些能力在快应用中发挥出来呢?本文对此做出了一些实践和尝试。
by @杨琼璞 2020-05-11 22:27 分享 查看详情
搭建以 serverless 为后台服务的疫情热搜快应用 (quickapp.vivo.com.cn)
鉴于疫情带来的影响,因宅在家里太久,于是结合 nodejs puppeteer cheerio 等技术工具,打造了一个以 serverless 为后台服务的疫情热搜快应用;本篇文章即以 SCF 为例,介绍开发一个前端以快应用为载体,后端以 serverless 为支撑的项目过程,及一些踩坑历程的分享。
by @杨琼璞 2020-03-26 23:24 分享 查看详情
动态代理原理及在 Android 中的应用 (mp.weixin.qq.com)
因为一个静态代理类只能服务一种类型的目标对象,在目标对象较多的情况下,会出现代理类较多、代码量较大的问题。
而使用动态代理动态生成代理者对象能避免这种情况的发生。
by @code小生 2020-01-05 21:33 分享 查看详情
从零开始入门 K8s | Kubernetes 调度和资源管理 (yq.aliyun.com)
首先来看第一部分 - Kubernetes 的调度过程。如下图所示,画了一个很简单的 Kubernetes 集群架构,它包括了一个 kube-ApiServer,一组 Web-hook Controllers,以及一个默认的调度器 kube-Scheduler,还有两台物理机节点 Node1 和 Node2,分别在上面部署了两个 kubelet。
by @可耐芊小仙女 2019-12-31 15:51 分享 查看详情
阿里风控大脑关于大数据应用的探索与实践 (yq.aliyun.com)
阿里的风控主要分为两大块。一块是金融领域,主要业务是支付宝,另一块是非金融领域,如新零售、高德、大文娱等,我们负责的主要是非金融领域。阿里风控大脑的含义较为丰富,可以有不同的解读,但基本上代表了几个方向。首先,阿里风控大脑是“大中台小前台”战略,由于阿里风控管的风险业务很多,领域非常杂,所以允许不同的领域、不同的风控场景可以有自己独特的交互,有自己的console,但是用到的底层引擎必须是中心化的,由风控引擎做统一计算和处理。第二,阿里风控大脑代表高智能,后续会有深度学习和无监督学习模型大量上线,防控策略及防控方式都会更加智能化。如下图所示,右侧是目前阿里风控覆盖的主要业务和防控的风控场景,如黑客攻击、消费者保护、商家保护等。左侧是阿里风控2019年双11的部分数据,保护了约388亿消费者的操作行为,同时挡住了约22亿次恶意攻击。
by @可耐芊小仙女 2019-12-23 16:13 分享 查看详情
开放下载 | 《Knative 云原生应用开发指南》开启云原生时代 Serverless 之门 (yq.aliyun.com)
自 2018 年 Knative 项目开源后,就得到了广大开发者的密切关注。Knative 在 Kubernetes 之上提供了一套完整的应用 Serverless 编排服务,让应用开发者可以不用为底层的基础设施分心,把更多的精力投入到业务逻辑上。
by @可耐芊小仙女 2019-12-17 16:36 分享 查看详情
阿里巴巴的 Kubernetes 应用管理实践经验与教训 (yq.aliyun.com)
本文整理自孙健波在 ArchSummit 大会 2019 北京站演讲稿记录。首先介绍了阿里巴巴基于 Kubernetes 项目进行大规模应用实践过程中遇到的问题;随后会逐一介绍解决这些问题的现有实践及其本身存在的局限性;最后会介绍阿里巴巴目前正在进行的尝试和社区在这一领域的发展方向。
by @可耐芊小仙女 2019-12-17 16:35 分享 查看详情
Knative Serverless 之道:如何 0 运维、低成本实现应用托管? (yq.aliyun.com)
Serverless 无疑是当前最热的云原生话题,那么作为业务的开发人员或者运维人员咱们应该怎么看待这个事情?云原生和 Serverless 到底有什么关系?通过本次分享咱们将逐一揭开这些神秘的面纱。
by @可耐芊小仙女 2019-12-10 15:13 分享 查看详情
阿里云 Serverless 应用引擎(SAE)发布 v1.2.0,支持一键启停、NAS 存储、小规格实例等实用特性 (yq.aliyun.com)
在 SAE 控制台上,随着托管应用逐渐增多,存在占有资源却处于闲置状态的应用。例如应用开发完成后对其进行测试联调,完成测试联调后未将应用实例释放,随着空闲应用增多,对资源造成了大大的浪费。您可以使用一键批量启停功能将闲置应用停止释放资源。当再次需要时可以一键批量启动,继续执行相关业务。
by @可耐芊小仙女 2019-12-06 15:09 分享 查看详情
4 个概念,1 个动作,让应用管理变得更简单 (yq.aliyun.com)
随着以 K8s 为主的云原生基础架构遍地生根,越来越多的团队开始基于 K8s 搭建持续部署、自助式发布体验的应用管理平台。然而,在 K8s 交付和管理应用方面,目前还缺乏一个统一的标准,这最终促使我们与微软联合推出了首个云原生应用标准定义与架构模型 - OAM。本文作者将从基本概念以及各个模块的封装设计与用法等角度出发来详细解读 OAM。
by @可耐芊小仙女 2019-12-03 15:21 分享 查看详情