BR 技术头条 技术链接、资讯与社区分享流
yq yq.aliyun.com / 2019-12-23 16:12 / by @可耐芊小仙女

MaxCompute - ODPS重装上阵　第六弹 - User Defined Type

打开原文 0 条评论
MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。

发表评论

相关分享

zh zhuanlan.zhihu.com / 2022-01-14 14:15

Python Type Hints 从入门到实践

《流畅的 Python》一书中提到，如果一门语言很少隐式转换类型，说明它是强类型语言，例如 Java、C++ 和 Python 就是强类型语言。同时如果一门语言经常隐式转换类型，说明它是弱类型语言，PHP、JavaScript 和 Perl 是弱类型语言。

查看详情
无图
yq yq.aliyun.com / 2019-12-23 16:10

基于MaxCompute InformationSchema进行血缘关系分析

在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系，从而分析出数据的上下游依赖关系。本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。

查看详情
无图
yq yq.aliyun.com / 2019-12-05 17:07

Spark在MaxCompute的运行方式

左侧是原生Spark的架构图，右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上，该平台可以原生支持开源社区Yarn所支持的计算框架，如Spark等。

查看详情
无图
yq yq.aliyun.com / 2019-12-02 15:33

基于MaxCompute InformationSchema进行冷门表热门表访问分析

在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的使用情况，从而优化数据模型。一个MaxCompute项目中经常使用的表简称为热门表，使用次数较少或者很长时间不使用的表简称为冷门表，本文将介绍如何去通过MaxCompute元数据信息去分析热门表和冷门表。

查看详情
无图
yq yq.aliyun.com / 2019-12-02 15:32

MaxCompute按量计费计算任务消费监控告警

MaxCompute 按量计费资源为弹性伸缩资源，对于计算任务，按任务需求提供所需资源，对资源使用无限制，同时MaxCompute按量计费的账单为天账单，即当天消费需要第二天才出账，因此，有必要对计算任务的消费进行监控以免超预期消费而不可知。本文将介绍如何通过云监控配置MaxCompute按量计费计算任务消费监控告警。

查看详情
无图
yq yq.aliyun.com / 2019-11-22 15:27

Hive数据如何同步到MaxCompute之实践讲解

本次分享主要介绍 Hive数据如何迁移到MaxCompute。MMA（MaxCompute Migration Assist）是一款MaxCompute数据迁移工具，本文将为大家介绍MMA工具的功能、技术架构和实现原理，再通过实际操作MMA，演示将Hive数据迁移到MaxCompute。

查看详情
无图
yq yq.aliyun.com / 2019-11-22 15:25

日志数据如何同步到MaxCompute

日常工作中，企业需要将通过ECS、容器、移动端、开源软件、网站服务、JS等接入的实时日志数据进行应用开发。包括对日志实时查询与分析、采集与消费、数据清洗与流计算、数据仓库对接等场景。本次分享主要介绍日志数据如何同步到MaxCompute。具体讲解如何通过Tunnel，DataHub，日志服务SLS以及Kafka将日志数据投递到MaxCompute的参数介绍和详细同步过程等内容。

查看详情
无图
yq yq.aliyun.com / 2019-11-18 15:31

Kafka数据如何同步至MaxCompute实践讲解

本次分享主要介绍Kafka产品的原理和使用方式，以及同步数据到MaxCompute的参数介绍、独享集成资源组与自定义资源组的使用背景和配置方式、Kafka同步数据到MaxCompute的开发到生产的整体部署操作等内容。

查看详情
无图
yq yq.aliyun.com / 2019-11-18 15:29

MySQL/RDS数据如何同步到MaxCompute之实践讲解

大数据计算服务（MaxCompute，原名ODPS）是阿里云提供的一种快速、完全托管的EB级数据仓库解决方案。本文章中阿里云MaxCompute公有云技术支持人员刘力夺通过一个实验向大家介绍了阿里云关系型数据库产品RDS中的MySQL数据如何同步到MaxCompute，帮助用户大体了解MaxCompute产品以及其数据同步过程。

查看详情
无图