美团图灵机器学习平台性能起飞的秘密(一) (tech.meituan.com)

【简介】

美团图灵机器学习平台在长期的优化实践中,积累了一系列独特的优化方法。本文主要介绍了图灵机器学习平台在内存优化方面沉淀的优化技术,我们深入到源码层面,介绍了Spark算子的原理并提供了最佳实践。希望为读者带来一些思路上的启发。

点击查看原文 >>

@技术头条 2022-12-24 23:38 / 0个评论
赞过的人: @IT技术博客大学习
要不要再学学下面的文章?
分布式因果推断在美团履约平台的探索与实践 (tech.meituan.com)
美团履约平台技术部在因果推断领域持续的探索和实践中,自研了一系列分布式的工具。本文重点介绍了分布式因果树算法的实现,并系统地阐述如何设计实现一种分布式因果树算法,以及因果效应评估方面qini_curve/qini_score的不足与应对技巧。希望能为从事因果推断相关工作的同学们提供一些启发或帮助。
by @技术头条 2024-03-12 22:39 查看详情
系统性能指标:洞察系统运行的关键脉搏 (jokerbai.com)
在当今数字时代,软件系统在我们的生活和工作中发挥着越来越重要的作用。我们需要确保这些系统能够在高负载、高并发的情况下稳定运行,为用户提供良好的体验。为了实现这一目标,我们需要关注系统性能监控指标,洞察系统运行的关键脉搏。本文将从指标分类、指标详细说明等方面介绍系统性能监控指标的相关知识,帮助你更好地理解和应用这些关键数据。
by @技术头条 2023-11-30 23:34 查看详情
一个任务调度算法引起的性能问题 (blog.codingnow.com)
这两天遇到一个任务调度算法引起的性能问题,花了颇多精力排查和解决。问题出在我写的 ltask 这个 lua 多任务库上。ltask 最初是对 skynet 的一些反思中开始的,最初只是想换一种思路实现 skynet :做一个库而不是框架、更少的锁竞争、避免服务因为消息队列堆积而过载……
by @技术头条 2023-10-24 23:52 查看详情
MySQL自治平台建设的内核原理及实践(下) (tech.meituan.com)
本文整理自主题分享《美团数据库自治服务平台建设》,系超大规模数据库集群保稳系列的第四篇文章。本文作者在演讲后根据同学们的反馈,补充了很多技术细节,跟演讲(视频)相比,内容更加丰富。文章分成上、下两篇,上篇将介绍数据库的异常发现跟诊断方面的内容,下篇将介绍内核可观测性建设、全量SQL、异常处理以及索引优化建议与SQL治理方面的内容。希望能够对大家有所帮助或启发。
by @技术头条 2023-08-26 21:54 查看详情
MySQL自治平台建设的内核原理及实践(上) (tech.meituan.com)
本文整理自主题分享《美团数据库自治服务平台建设》,系超大规模数据库集群保稳系列的第四篇文章。本文作者在演讲后根据同学们的反馈,补充了很多技术细节,跟演讲(视频)相比,内容更加丰富。文章分成上、下两篇,上篇将介绍数据库的异常发现跟诊断方面的内容,下篇将介绍内核可观测性建设、全量SQL、异常处理以及索引优化建议与SQL治理方面的内容。希望能够对大家有所帮助或启发。
by @技术头条 2023-08-26 21:54 查看详情
CMDB平台建设指南 (wiki.eryajf.net)
本文写就于2022年,是本人在CMDB领域的钻研探索实践之后的一些经验分享,全文约计1.7w字,凝聚了我全部的心血,从平台架构的设计,到项目周期的管理,甚至项目完成之后的推广,都有所涉猎,如果你也在折腾CMDB,那么本文是你不可错过的入门必读之作。
by @技术头条 2023-07-23 12:31 查看详情
高性能批量读写网络包 (colobu.com)
虽然网络协议栈提供了丰富的功能,让我们可以方便的实现网络的数据交流,但是有时候我们对协议栈的性能还是不是那么满意的,前几篇文章我也介绍了通过XDP等技术高效处理网络数据的方式,但是毕竟XDP还没有那么广泛的应用,使用起来也还不是那么简单,如果我们通过编程语言提供的标准库来实现数据的读写,还怎么能提高性能呢?今天就介绍一种方式,批量的读写数据包。
by @技术头条 2023-07-23 12:30 查看详情
QNAP 威联通 SMB 掉速及性能提升 (www.lesca.cn)
SMB 掉速和多方面因素有关:磁盘性能、网络吞吐、SMB 设置。

现在将从这三方面介绍如何测试瓶颈,以及提升。
by @技术头条 2023-07-23 11:38 查看详情
为什么企业应该选择平台即服务(PaaS) (linux.cn)
平台即服务能够快速、轻松地创建网络应用,而无需购买和维护其下的软件和基础设施。本文解释了它为什么有用。

平台即服务PaaS(以下简称 PaaS)指的是云计算服务,它为客户提供了开发、运行和管理应用程序的平台,而免去了建立和维护与开发和启动应用程序相关的基础设施的复杂工作。这是云原生应用和支持系统所依托的核心平台。

PaaS 通常包括不同的应用基础功能,包括应用平台、集成平台、业务分析平台、事件流服务和移动后端服务。此外,它还包括一套与监控、管理、部署相关的功能。
by @技术头条 2023-02-20 22:18 查看详情
弹性AI团队工作流平台设计 (54chen.com)
AI行业的发展越来越规范,一套有效的CI/CD平台,可以让一个AI团队的工作效率大幅提升。但当前市场上五花八门的云平台让人难以决择,究竟如何做才是正确的,本文以MLflow,Jenkins和AWS SageMaker为基础,兼顾不同时期的团队的替换可能性,为基础架构提供技术选型。
by @技术头条 2023-02-12 21:24 查看详情