基于MaxCompute InformationSchema进行血缘关系分析 (yq.aliyun.com)

【简介】

在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系,从而分析出数据的上下游依赖关系。本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。

点击查看全文 >>

@可耐芊小仙女 2019-12-23 16:10分享 / 0个评论
要不要再学学下面的文章?
JavaScript 深拷贝性能分析 (justjavac.com)
如何在 JavaScript 中拷贝一个对象?对于这个很简单的问题,但是答案却不简单。
by @技术头条 2020-02-05 15:11 分享 查看详情
今日头条技术架构分析 (mp.weixin.qq.com)
今日头条创立于2012年3月,到目前仅4年时间。从十几个工程师开始研发,到上百人,再到200余人。产品线由内涵段子,到今日头条,今日特卖,今日电影等产品线。
by @code小生 2020-01-05 21:32 分享 查看详情
Kubernetes 下零信任安全架构分析 (yq.aliyun.com)
零信任安全最早由著名研究机构 Forrester 的首席分析师约翰.金德维格在 2010 年提出。零信任安全针对传统边界安全架构思想进行了重新评估和审视,并对安全架构思路给出了新的建议。其核心思想是,默认情况下不应该信任网络内部和外部的任何人/设备/系统,需要基于认证和授权重构访问控制的信任基础。诸如 IP 地址、主机、地理位置、所处网络等均不能作为可信的凭证。
by @可耐芊小仙女 2019-12-30 15:51 分享 查看详情
MaxCompute - ODPS重装上阵 第六弹 - User Defined Type (yq.aliyun.com)
MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。
by @可耐芊小仙女 2019-12-23 16:12 分享 查看详情
边缘计算和“寒武纪”有什么关系?阿里云资深专家刘强如是说 (yq.aliyun.com)
12月12日,第六届DEAS数字娱乐产业年度高峰会于厦门隆重召开,阿里云边缘计算产品首席架构师刘强受邀参会,并在“开启5G元年新场景”主题板块中发表《边缘计算驱动科技“寒武纪”时代》演讲,分享边缘计算在当下企业办公、安防、物流等城市场景的关键作用。
by @可耐芊小仙女 2019-12-20 16:02 分享 查看详情
Spark在MaxCompute的运行方式 (yq.aliyun.com)
左侧是原生Spark的架构图,右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上,该平台可以原生支持开源社区Yarn所支持的计算框架,如Spark等。
by @可耐芊小仙女 2019-12-05 17:07 分享 查看详情
基于MaxCompute InformationSchema进行冷门表热门表访问分析 (yq.aliyun.com)
在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的使用情况,从而优化数据模型。一个MaxCompute项目中经常使用的表简称为热门表,使用次数较少或者很长时间不使用的表简称为冷门表,本文将介绍如何去通过MaxCompute元数据信息去分析热门表和冷门表。
by @可耐芊小仙女 2019-12-02 15:33 分享 查看详情
MaxCompute按量计费计算任务消费监控告警 (yq.aliyun.com)
MaxCompute 按量计费资源为弹性伸缩资源,对于计算任务,按任务需求提供所需资源,对资源使用无限制,同时MaxCompute按量计费的账单为天账单,即当天消费需要第二天才出账,因此,有必要对计算任务的消费进行监控以免超预期消费而不可知。本文将介绍如何通过云监控配置MaxCompute按量计费计算任务消费监控告警。
by @可耐芊小仙女 2019-12-02 15:32 分享 查看详情
如何分析及处理 Flink 反压? (yq.aliyun.com)
反压(backpressure)是实时计算应用开发中,特别是流式计算中,十分常见的问题。反压意味着数据管道中某个节点成为瓶颈,处理速率跟不上上游发送数据的速率,而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦,消费端数据源是 pull-based 的,所以反压通常是从某个节点传导至数据源并降低数据源(比如 Kafka consumer)的摄入速率。
by @可耐芊小仙女 2019-11-28 16:48 分享 查看详情
Hive数据如何同步到MaxCompute之实践讲解 (yq.aliyun.com)
本次分享主要介绍 Hive数据如何迁移到MaxCompute。MMA(MaxCompute Migration Assist)是一款MaxCompute数据迁移工具,本文将为大家介绍MMA工具的功能、技术架构和实现原理,再通过实际操作MMA,演示将Hive数据迁移到MaxCompute。
by @可耐芊小仙女 2019-11-22 15:27 分享 查看详情