相关分享
1
喜欢
te
tech.meituan.com
/
2024-09-09 23:41
Spark向量化计算在美团生产环境的实践
美团在 Spark 生产环境中引入了向量化计算，使用 Gluten 和 Velox 框架，实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战，适合关注大数据优化的技术人员。
无图
0
喜欢
yq
yq.aliyun.com
/
2019-12-05 17:07
Spark在MaxCompute的运行方式
左侧是原生Spark的架构图，右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上，该平台可以原生支持开源社区Yarn所支持的计算框架，如Spark等。
无图
0
喜欢
yq
yq.aliyun.com
/
2019-11-12 15:23
最佳实践 | RDS & POLARDB归档到X-Pack Spark计算
X-Pack Spark服务通过外部计算资源的方式，为Redis、Cassandra、MongoDB、HBase、RDS存储服务提供复杂分析、流式处理及入库、机器学习的能力，从而更好的解决用户数据处理相关场景问题。
无图
1
喜欢
yq
yq.aliyun.com
/
2019-05-21 16:23
从 Spark 到 Kubernetes — MaxCompute 的云原生开源生态实践之路
MaxCompute依托于阿里云的飞天基础架构，与今天业界常见的依托虚拟机技术 + 开源引擎的云原生方案有很大的不同。 随着联合计算平台的推出，MaxCompute 从可以无缝集成 Spark，到今天可以通过提供标准的 Kubernetes 拥抱更加丰富的开源生态，一直秉承“保持自研优势，拥抱开源生态”的原则，走出了一条与众不同的实践之路。
无图
0
喜欢
yq
yq.aliyun.com
/
2019-04-22 16:59
Spark in action on Kubernetes - 存储篇（一）
在上篇文章中，我们分析了Spark Operator内部的机制，今天我们会讨论一个在大数据领域中最重要的话题 - 存储。大数据已经无声无息的融入了每个人的生活中。大到旅游买房，小到外卖打车，都可以看到通过大数据提供数据分析、数据推荐、数据决策的使用场景。大数据要想能够更准确地协助决策，需要在数据多维度、数据完备性等方面有较高要求。可预知的在未来，数据的量级会越来越大，特别是随着5G时代的到来，数据的吞吐量级成指数的增长，数据的维度与来源会越来越多，数据的种类也会变得越来越异质化，对大数据平台也带来新的挑战。成本低、存得多、读写快成为大数据存储的三大问题，而今天我们就会针对这三大问题进行探讨。
无图
0
喜欢
yq
yq.aliyun.com
/
2019-04-19 11:25
Spark in action on Kubernetes - 存储篇（一）
在上篇文章中，我们分析了Spark Operator内部的机制，今天我们会讨论一个在大数据领域中最重要的话题 - 存储。大数据已经无声无息的融入了每个人的生活中。大到旅游买房，小到外卖打车，都可以看到通过大数据提供数据分析、数据推荐、数据决策的使用场景。大数据要想能够更准确地协助决策，需要在数据多维度、数据完备性等方面有较高要求。可预知的在未来，数据的量级会越来越大，特别是随着5G时代的到来，数据的吞吐量级成指数的增长，数据的维度与来源会越来越多，数据的种类也会变得越来越异质化，对大数据平台也带来新的挑战。成本低、存得多、读写快成为大数据存储的三大问题，而今天我们就会针对这三大问题进行探讨。
无图
1
喜欢
yq
yq.aliyun.com
/
2019-04-03 15:31
Spark in action on Kubernetes - Spark Operator的原理解析
在上篇文章中，向大家介绍了如何使用Spark Operator在kubernetes集群上面提交一个计算作业。今天我们会继续使用上篇文章中搭建的Playground进行调试与解析，帮助大家更深入的理解Spark Operator的工作原理。所以如果没有浏览过上篇文章的同学，可以通过传送门直达，先配置好Playground的环境。
无图
1
喜欢
bl
blog.csdn.net
/
2019-03-11 15:55
MaxCompute Spark开发指南
本文档面向需要使用MaxCompute Spark进行开发的用户使用。本指南主要适用于具备有Spark开发经验的开发人员。
MaxCompute Spark是MaxCompute提供的兼容开源的Spark计算服务，它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持用户以熟悉的开发使用方式提交运行Spark作业，以满足更丰富的数据处理分析场景。
本文将重点介绍MaxCompute Spark能够支撑的应用场景，同时说明开发的依赖条件和环境准备，重点对Spark作业开发、提交到MaxCompute集群执行、诊断进行介绍。
无图
2
喜欢
zh
zhuanlan.zhihu.com
/
2018-05-15 14:54
深挖“窄带高清”的实现原理
“窄带高清”功能，通过码率控制优化，让视频在主观质量不受影响的情况下，高效降低30%视频码率。窄带高清通过视频内容复杂度算法来确定视频应用场景，继而确定该场景下最优视频编码参数，辅助于码率控制算法，最终达到视频码率控制与带宽优化这个目的。
无图
0
喜欢
yq
yq.aliyun.com
/
2018-04-17 15:12
容器开启数据服务之旅系列（二）：Kubernetes如何助力Spark大数据分析
容器开启数据服务之旅系列（二）：Kubernetes如何助力Spark大数据分析 （二）：Kubernetes如何助力Spark大数据分析 概述 本文为大家介绍一种容器化的数据服务Spark + OSS on ACK，允许Spark分布式计算节点对阿里云OSS对象存储的直接访问。
无图