Hadoop YARN:调度性能优化实践 (mp.weixin.qq.com)

【简介】

YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。

美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。

点击查看全文 >>

@zhisheng_blog 2019-09-22 13:27分享 / 0个评论
赞过的人: IT技术博客大学习 zhisheng_blog
要不要再学学下面的文章?
Android App 启动优化全记录 (androidperformance.com)
本文参考了目前大部分 Android 应用启动优化的方案,将大家的方案做一个汇总,如果你有这方面的需求,只需要对照这篇文章,看看其他人的方案,查漏补缺。很多方案是要根据具体的业务去做优化的,所以这里也没有对每一种方案进行详细的介绍,要用到哪一个方案的时候,可以具体去网上查找对应方案的具体实现方法,这里只是做一个汇总

另外我还加上了部分系统厂商所做的启动相关的优化,不过只写了一些我知道的,还有一些厂商有黑科技,就不在这里的讨论范围了。知道厂商做的事情,可能也会帮助到你,比如联系厂商做白名单、接入厂商 SDK 等
by @技术头条 2020-02-11 11:00 分享 查看详情
JavaScript 深拷贝性能分析 (justjavac.com)
如何在 JavaScript 中拷贝一个对象?对于这个很简单的问题,但是答案却不简单。
by @技术头条 2020-02-05 15:11 分享 查看详情
妙到颠毫: bigcache优化技巧 (colobu.com)
最近看到 yoko 翻译的一篇文章: [译] Go开源项目BigCache如何加速并发访问以及避免高额的GC开销,我在刚读取这篇文档的时候,顺着连接把相关的文章都找出来细细读了一遍,结合bigcache的代码,仔细学习了相关的优化设计,感觉设计非常的精妙,所以特意根据自己的理解又总结了一篇。

bigcache的精妙的设计也吸引了fasthttp的作者Aliaksandr Valialkin,他在bigcache的基础上,结合自己的公司的使用场景,进一步的做了相应的优化, 也开源了这个项目fastcache, 本文在最后也做了介绍。
by @技术头条 2020-02-05 10:59 分享 查看详情
从零开始入门 K8s | Kubernetes 调度和资源管理 (yq.aliyun.com)
首先来看第一部分 - Kubernetes 的调度过程。如下图所示,画了一个很简单的 Kubernetes 集群架构,它包括了一个 kube-ApiServer,一组 Web-hook Controllers,以及一个默认的调度器 kube-Scheduler,还有两台物理机节点 Node1 和 Node2,分别在上面部署了两个 kubelet。
by @可耐芊小仙女 2019-12-31 15:51 分享 查看详情
日处理数据量超10亿:友信金服基于Flink构建实时用户画像系统的实践 (yq.aliyun.com)
当今生活节奏日益加快,企业面对不断增加的海量信息,其信息筛选和处理效率低下的困扰与日俱增。由于用户营销不够细化,企业 App 中许多不合时宜或不合偏好的消息推送很大程度上影响了用户体验,甚至引发了用户流失。在此背景下,友信金服公司推行全域的数据体系战略,通过打通和整合集团各个业务线数据,利用大数据、人工智能等技术构建统一的数据资产,如 ID-Mapping、用户标签等。友信金服用户画像项目正是以此为背景成立,旨在实现“数据驱动业务与运营”的集团战略。目前该系统支持日处理数据量超 10 亿,接入上百种合规数据源。
by @可耐芊小仙女 2019-12-30 15:47 分享 查看详情
从零开始入门 K8s | etcd 性能优化实践 (yq.aliyun.com)
etcd 是容器云平台用于存储关键元信息的组件。阿里巴巴使用 etcd 已经有 3 年的历史, 在今年 双11 过程中它又一次承担了关键角色,接受了 双11 大压力的检验。本文作者从 etcd 性能背景出发,带领我们了解了 etcd server 端性能优化及 etcd client 使用最佳实践,希望能够为大家运行一个稳定而且高效的 etcd 集群提供帮助。
by @可耐芊小仙女 2019-12-24 15:26 分享 查看详情
阿里风控大脑关于大数据应用的探索与实践 (yq.aliyun.com)
阿里的风控主要分为两大块。一块是金融领域,主要业务是支付宝,另一块是非金融领域,如新零售、高德、大文娱等,我们负责的主要是非金融领域。阿里风控大脑的含义较为丰富,可以有不同的解读,但基本上代表了几个方向。首先,阿里风控大脑是“大中台小前台”战略,由于阿里风控管的风险业务很多,领域非常杂,所以允许不同的领域、不同的风控场景可以有自己独特的交互,有自己的console,但是用到的底层引擎必须是中心化的,由风控引擎做统一计算和处理。第二,阿里风控大脑代表高智能,后续会有深度学习和无监督学习模型大量上线,防控策略及防控方式都会更加智能化。如下图所示,右侧是目前阿里风控覆盖的主要业务和防控的风控场景,如黑客攻击、消费者保护、商家保护等。左侧是阿里风控2019年双11的部分数据,保护了约388亿消费者的操作行为,同时挡住了约22亿次恶意攻击。
by @可耐芊小仙女 2019-12-23 16:13 分享 查看详情
商用Android 工程化实践,摆脱小作坊式开发 (mp.weixin.qq.com)
商用Android 工程化实践,摆脱小作坊式开发。如何完成作坊到工厂的转变?把上面那些技术全都用一遍吗?哪怕你说插件化 Kotlin 都不适合我们,我找出适合我们的技术都用上,就是大工厂了吗?
by @SELECT-FROMALL 2019-12-23 08:35 分享 查看详情
Flink Batch SQL 1.10 实践 (yq.aliyun.com)
Flink作为流批统一的计算框架,在1.10中完成了大量batch相关的增强与改进。1.10可以说是第一个成熟的生产可用的Flink Batch SQL版本,它一扫之前Dataset的羸弱,从功能和性能上都有大幅改进,以下我从架构、外部系统集成、实践三个方面进行阐述。
by @可耐芊小仙女 2019-12-18 15:29 分享 查看详情
阿里巴巴的 Kubernetes 应用管理实践经验与教训 (yq.aliyun.com)
本文整理自孙健波在 ArchSummit 大会 2019 北京站演讲稿记录。首先介绍了阿里巴巴基于 Kubernetes 项目进行大规模应用实践过程中遇到的问题;随后会逐一介绍解决这些问题的现有实践及其本身存在的局限性;最后会介绍阿里巴巴目前正在进行的尝试和社区在这一领域的发展方向。
by @可耐芊小仙女 2019-12-17 16:35 分享 查看详情