MaxCompute 2.0复杂数据类型之array--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

MaxCompute 2.0复杂数据类型之array (yq.aliyun.com)

【简介】

之前我们介绍过在 PyODPS DataFrame 中使用三方包。对于二进制包而言，MaxCompute 要求使用包名包含 cp27-cp27m 的 Wheel 包。但对于部分长时间未更新的包，例如 oss2 依赖的 crcmod，PyPI 并未提供 Wheel 包，因而需要自行打包。本文介绍了如何使用 quay.io/pypa/manylinux1_x86_64 镜像制作可在 MaxCompute 上使用的 Wheel 包。

点击查看原文 >>

由 @可耐芊小仙女 2019-03-08 16:57 / 0个评论

赞过的人： @技术头条

Redis的8大数据类型，写得非常好！ (mp.weixin.qq.com)

NoSQL 开发中或多或少都会用到，也是面试必问知识点。
最近这几天的面试每一场都问到了，但是感觉回答的并不好，还有很多需要梳理的知识点，这里通过几篇 Redis 笔记整个梳理一遍。

by @code小生 2021-09-26 21:22 查看详情

FIDL：Flutter界的AIDL，不局限于基础数据类型 (mp.weixin.qq.com)

Flutter的产品定义是一个高性能的跨平台的移动UI框架，能够用一套代码同时构建出Android/iOS/Web/MacOS应用。作为一套UI框架，它不具备一些系统的接口，自然还是避免不了跟原生打交道。于是乎，它提出了名为platform channel的东西，用于flutter和原生灵活的交换数据。以下为了描述方便，用Android代指原生。

by @DataFunBoy 2020-03-19 08:44 查看详情

Struct复杂数据类型的UDF编写、GenericUDF编写 (yq.aliyun.com)

MaxCompute 2.0版本升级后，Java UDF支持的数据类型从原来的BIGINT、STRING、DOUBLE、BOOLEAN扩展了更多基本的数据类型，同时还扩展支持了ARRAY、MAP、STRUCT等复杂类型，以及Writable参数。Java UDF使用复杂数据类型的方法，STRUCT对应com.aliyun.odps.data.Struct。com.aliyun.odps.data.Struct从反射看不出Field Name和Field Type，所以需要用@Resolve注解来辅助。即如果需要在UDF中使用STRUCT，要求在UDF Class上也标注上@Resolve注解。

by @可耐芊小仙女 2019-12-26 16:48 查看详情

MaxCompute - ODPS重装上阵　第六弹 - User Defined Type (yq.aliyun.com)

MaxCompute（原ODPS）是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用，支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外，也致力于提升SQL语言的用户体验和表达能力，提高广大ODPS开发者的生产力。

by @可耐芊小仙女 2019-12-23 16:12 查看详情

基于MaxCompute InformationSchema进行血缘关系分析 (yq.aliyun.com)

在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系，从而分析出数据的上下游依赖关系。本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。

by @可耐芊小仙女 2019-12-23 16:10 查看详情

Spark在MaxCompute的运行方式 (yq.aliyun.com)

左侧是原生Spark的架构图，右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上，该平台可以原生支持开源社区Yarn所支持的计算框架，如Spark等。

by @可耐芊小仙女 2019-12-05 17:07 查看详情

基于MaxCompute InformationSchema进行冷门表热门表访问分析 (yq.aliyun.com)

在实际的数据平台运营管理过程中，数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模，数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的使用情况，从而优化数据模型。一个MaxCompute项目中经常使用的表简称为热门表，使用次数较少或者很长时间不使用的表简称为冷门表，本文将介绍如何去通过MaxCompute元数据信息去分析热门表和冷门表。

by @可耐芊小仙女 2019-12-02 15:33 查看详情

MaxCompute按量计费计算任务消费监控告警 (yq.aliyun.com)

MaxCompute 按量计费资源为弹性伸缩资源，对于计算任务，按任务需求提供所需资源，对资源使用无限制，同时MaxCompute按量计费的账单为天账单，即当天消费需要第二天才出账，因此，有必要对计算任务的消费进行监控以免超预期消费而不可知。本文将介绍如何通过云监控配置MaxCompute按量计费计算任务消费监控告警。

by @可耐芊小仙女 2019-12-02 15:32 查看详情

Hive数据如何同步到MaxCompute之实践讲解 (yq.aliyun.com)

本次分享主要介绍 Hive数据如何迁移到MaxCompute。MMA（MaxCompute Migration Assist）是一款MaxCompute数据迁移工具，本文将为大家介绍MMA工具的功能、技术架构和实现原理，再通过实际操作MMA，演示将Hive数据迁移到MaxCompute。

by @可耐芊小仙女 2019-11-22 15:27 查看详情

日志数据如何同步到MaxCompute (yq.aliyun.com)

日常工作中，企业需要将通过ECS、容器、移动端、开源软件、网站服务、JS等接入的实时日志数据进行应用开发。包括对日志实时查询与分析、采集与消费、数据清洗与流计算、数据仓库对接等场景。本次分享主要介绍日志数据如何同步到MaxCompute。具体讲解如何通过Tunnel，DataHub，日志服务SLS以及Kafka将日志数据投递到MaxCompute的参数介绍和详细同步过程等内容。

by @可耐芊小仙女 2019-11-22 15:25 查看详情