从分布式计算到分布式训练
对于大数据和人工智能来讲，现在仅仅是萌芽时期，后面还有大量的工作要做，而模型的训练无论是单机还是分布式，都还没有达到真正稳定的生产批量效果，这些挑战，不仅仅来自于技术的实现，同时也来自于业务的配合。
相关分享
1
喜欢
te
tech.meituan.com
/
2024-09-09 23:41
Spark向量化计算在美团生产环境的实践
美团在 Spark 生产环境中引入了向量化计算，使用 Gluten 和 Velox 框架，实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战，适合关注大数据优化的技术人员。
无图
1
喜欢
li
linux.cn
/
2023-02-12 14:08
通过编写嵌入式系统入门边缘计算
用于操控无线调制解调器的 AT 设备包是 RTOS 最流行的扩展功能之一。
RTOS 是一个开源的嵌入式设备操作系统，由 RT-Thread 开发。它为开发者提供了标准化的、友好的基础架构，开发者可以基于各种设备编写代码，它包含大量有用的类库和工具包，使开发过程更加便捷。
RTOS 使用的是模块方式，以便于扩展，这一点跟 Linux 类似。各种软件包可以让开发者将 RTOS 用于任何想要的目标设备。RTOS 最常用的一种扩展是 AT 设备包，它包含各种不同 AT 设备（例如调制解调器）的移植文件和示例代码。
在超过 62,000 次下载中（截止至撰写本文时），最流行的 RTOS 扩展之一是 AT 设备包，其中包括用于不同 AT 设备的移植文件和示例代码。
无图
1
喜欢
bl
blog.nsfocus.net
/
2023-02-12 14:04
隐私计算在医疗行业的应用
隐私计算是指在提供隐私保护的前提下，实现数据价值挖掘的技术体系，目前主要包括三大核心技术，分别是：联邦学习(Federated Learning)、安全多方计算(Secure Multi-Party Computation)和可信执行环境(Trusted Execution Environment)。 隐私计算基于同态加密和密码学底层协议，可以实现“数据可用不可见”的效果，在满足法律法规和数据安全的条件下，加速数据的流转。
无图
1
喜欢
so
soulteary.com
/
2022-08-18 23:45
走进向量计算：制作 OpenBLAS Docker 预构建产物镜像
本篇文章，将聊聊如何在容器中完成支持多 CPU 架构（x86、ARM）、多种 CPU 类型（Intel、AMD）的 OpenBLAS 的 Docker 镜像，来让包括 Milvus 在内的，使用 OpenBLAS 的软件的 Docker 镜像构建可以“又稳又快”。我会试着在接下来的内容中，持续分享如何让一个拥有着一万多颗“星星”的大型数据库项目的容器构建过程不断提速。
无图
1
喜欢
te
tech.meituan.com
/
2022-07-24 20:45
图神经网络训练框架的实践和探索
美团搜索与NLP团队在图神经网络的长期落地实践中，基于业务实际场景，自主设计研发了图神经网络框架Tulong，以及配套的图学习平台，提升了模型的规模和迭代效率。本文介绍了模型归纳抽象、基本框架、性能优化，以及上层工具等方面的思考和关键设计，希望为从事相关工作的同学带来启发或者帮助。
无图
1
喜欢
te
tech.meituan.com
/
2022-06-19 22:52
TensorFlow在推荐系统中的分布式训练优化实践
美团内部深度定制的TensorFlow版本，基于原生TensorFlow 1.x架构与接口，从大规模稀疏参数的支持、训练模式、分布式通信优化、流水线优化、算子优化融合等多维度进行了深度优化。在推荐系统场景，分布式扩展性提升10倍以上，单位算力性能也有显著提升，并在美团内部业务中大量使用，本文介绍了相关的优化与实践工作。
无图
2
喜欢
in
insights.thoughtworks.cn
/
2021-07-01 15:48
分布式计算框架状态与容错的设计
本文从通用视角介绍了状态与容错的基本概念，以Hadoop、Spark、Flink为例分析了具体框架的实现原理。
无图
2
喜欢
zh
zhuanlan.zhihu.com
/
2021-05-20 14:22
云计算的背后到底是什么？
云计算的出现为中小型企业对于自建 IT 基础架构成本过高的问题提供了解决方案。硬件的使用和维护由服务提供商接管，企业只需要投资价格便宜的终端访问云计算服务即可。此外，专业的服务器集群比大多数组织自己管理的安全性要高得多……
无图
0
喜欢
yq
yqh.aliyun.com
/
2020-12-04 17:40
点触科技上云 构建实时计算和数据仓库
厦门点触科技股份有限公司，新三板挂牌企业（股票代码：870702），成立于2013年，是一家以历史养成类游戏研发与发行为主，专业从事手机游戏的策划、研发制作、商业化运营的创新型发展公司。目前已经成功研发出《叫我万岁爷》、《我在大清当皇帝》、《Game of Sultan》、《皇上吉祥》等多款历史题材类游戏并深受玩家喜爱。覆盖了全国及港台、东南亚等部分海外市场。
无图
0
喜欢
yq
yqh.aliyun.com
/
2020-12-03 17:24
58到家为2000万家庭提供上门生活服务的背后是云计算的高效支撑
2016年，58到家开始使用阿里云的企业至尊服务。阿里云企业服务专家，对58到家的系统做了全链路评估，帮助客户明晰架构，优化配置。技术专家提供了专业的上云咨询服务。通过7*24小时工单、电话和IM群的支持，确保了58到家的问题能够得到快速定位和及时有效解决，确保了客户的云上体验。
无图