MaxCompute问答整理之7月 (yq.aliyun.com)

【简介】

公司数仓的数据上云后,在使用MaxCompute计算引擎时,需要一个稳定、可靠的调度系统,将自身数据生产任务(代码)按照所需依赖关系、运行时间来调度运行,那么DataWorks就派上了用场。DataWorks提供简单模式和标准模式两种工作空间模式。简单模式指一个DataWorks工作空间对应一个MaxCompute项目,无法设置开发环境和生产环境,只能进行简单的数据开发。标准模式指一个DataWorks工作空间对应两个MaxCompute项目,可以设置开发和生产环境,提升代码开发规范。两个模式还存在项目、用户和权限的不同。大家可以通过学习官方文档或者是实操来加强认知。

点击查看全文 >>

@可耐芊小仙女 2019-08-07 15:29分享 / 0个评论
要不要再学学下面的文章?
整理出来几个比较实用的代码对比工具 (mp.weixin.qq.com)
在程序开发的过程中,程序员会经常对源代码以及库文件进行代码对比,在这篇文章里我们向大家介绍六款程序员常用的代码比较工具
by @code小生 2020-01-05 21:32 分享 查看详情
MaxCompute - ODPS重装上阵 第六弹 - User Defined Type (yq.aliyun.com)
MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。
by @可耐芊小仙女 2019-12-23 16:12 分享 查看详情
基于MaxCompute InformationSchema进行血缘关系分析 (yq.aliyun.com)
在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系,从而分析出数据的上下游依赖关系。本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。
by @可耐芊小仙女 2019-12-23 16:10 分享 查看详情
APT自动化生成代码整理 (mp.weixin.qq.com)
说到java的apt技术,其实已经算不是很陌生了,在以前阅读第三方框架butterknife、Dagger2等框架的时候,看到过apt的影子。他是squareup公司出的javapoet技术,通过在java的编译时期生成类,提高了在运行时期通过反射调用的效率。大家试想一下,如果butterknife所有的注解在运行时期都通过反射调用相应的findViewById的话,那得多慢啊。所以可以看到butterknife都是通过apt技术来生成相应的_ViewBinding,大家可以看下app-->build-->generated-->source-->apt下面找到对应的_ViewBinding。好了废话不多说,咋们下面来直接来撸码。
by @code小生 2019-12-12 18:38 分享 查看详情
Spark在MaxCompute的运行方式 (yq.aliyun.com)
左侧是原生Spark的架构图,右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上,该平台可以原生支持开源社区Yarn所支持的计算框架,如Spark等。
by @可耐芊小仙女 2019-12-05 17:07 分享 查看详情
吐血整理 | 1000行MySQL学习笔记,不怕你不会,就怕你不学! (yq.aliyun.com)
- 启动MySQL
net start mysql
-- 创建Windows服务
sc create mysql binPath= mysqld_bin_path(注意:等号与值之间有空格)
by @可耐芊小仙女 2019-12-05 17:06 分享 查看详情
基于MaxCompute InformationSchema进行冷门表热门表访问分析 (yq.aliyun.com)
在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的使用情况,从而优化数据模型。一个MaxCompute项目中经常使用的表简称为热门表,使用次数较少或者很长时间不使用的表简称为冷门表,本文将介绍如何去通过MaxCompute元数据信息去分析热门表和冷门表。
by @可耐芊小仙女 2019-12-02 15:33 分享 查看详情
MaxCompute按量计费计算任务消费监控告警 (yq.aliyun.com)
MaxCompute 按量计费资源为弹性伸缩资源,对于计算任务,按任务需求提供所需资源,对资源使用无限制,同时MaxCompute按量计费的账单为天账单,即当天消费需要第二天才出账,因此,有必要对计算任务的消费进行监控以免超预期消费而不可知。本文将介绍如何通过云监控配置MaxCompute按量计费计算任务消费监控告警。
by @可耐芊小仙女 2019-12-02 15:32 分享 查看详情
Hive数据如何同步到MaxCompute之实践讲解 (yq.aliyun.com)
本次分享主要介绍 Hive数据如何迁移到MaxCompute。MMA(MaxCompute Migration Assist)是一款MaxCompute数据迁移工具,本文将为大家介绍MMA工具的功能、技术架构和实现原理,再通过实际操作MMA,演示将Hive数据迁移到MaxCompute。
by @可耐芊小仙女 2019-11-22 15:27 分享 查看详情
日志数据如何同步到MaxCompute (yq.aliyun.com)
日常工作中,企业需要将通过ECS、容器、移动端、开源软件、网站服务、JS等接入的实时日志数据进行应用开发。包括对日志实时查询与分析、采集与消费、数据清洗与流计算、数据仓库对接等场景。本次分享主要介绍日志数据如何同步到MaxCompute。具体讲解如何通过Tunnel,DataHub,日志服务SLS以及Kafka将日志数据投递到MaxCompute的参数介绍和详细同步过程等内容。
by @可耐芊小仙女 2019-11-22 15:25 分享 查看详情