Spark在MaxCompute的运行方式 (yq.aliyun.com)

【简介】

左侧是原生Spark的架构图,右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上,该平台可以原生支持开源社区Yarn所支持的计算框架,如Spark等。

点击查看全文 >>

@可耐芊小仙女 2019-12-05 17:07分享 / 0个评论
要不要再学学下面的文章?
VS Code 连接远程服务器运行 Jupyter Notebook (mp.weixin.qq.com)
工欲善其事,必先利其器,开发工具这个东西觉得折腾下还是有好处的。但常常感觉专门抽出时间搞这个浪费时间,更常见的现象是已经明显感觉到当前的开发工具用的很别扭,而且告诉自己等这个忙完了要搭一个更方便的工具,到最后却没下文了直到下次再次遇到这种感觉。
by @code小生 2020-07-26 23:21 分享 查看详情
Android 通过Java sdk的方式接入OpenCv (mp.weixin.qq.com)
公司最近要做运动检测和眼球追踪,鉴于资费等因素,最后考虑使用OpenCv的相关Api来来满足业务需求。在使用过程中发现OpenCv的v4.2.0和v4.1.2接入后均存在一些bug,所以最后选择了v4.1.0版本。
by @code小生 2020-06-21 22:41 分享 查看详情
VS Code 连接远程服务器运行 Jupyter Notebook (mp.weixin.qq.com)
工欲善其事,必先利其器,开发工具这个东西觉得折腾下还是有好处的。但常常感觉专门抽出时间搞这个浪费时间,更常见的现象是已经明显感觉到当前的开发工具用的很别扭,而且告诉自己等这个忙完了要搭一个更方便的工具,到最后却没下文了直到下次再次遇到这种感觉。
by @code小生 2020-06-17 22:46 分享 查看详情
在 Windows 上运行 Linux (mp.weixin.qq.com)
之前了解过一些适用于linux的Windows子系统,最近又听人提起,于是在自己的Windows 10专业版上安装了一个Ubuntu。运行起来还真方便,以后在windows上开发Linux程序就不需要安装桌面虚拟化应用了。下面讲下具体的步骤。
by @code小生 2020-06-04 22:57 分享 查看详情
Android 后台运行白名单,优雅实现保活 (mp.weixin.qq.com)
我们知道,Android 系统会存在杀后台进程的情况,并且随着系统版本的更新,杀进程的力度还有越来越大的趋势。系统这种做法本身出发点是好的,因为可以节省内存,降低功耗,也避免了一些流氓行为。
by @code小生 2020-04-15 19:03 分享 查看详情
在 Amazon Linux 2 上运行 PostgreSQL (old-panda.com)
用 AWS 上现成的关系型数据库服务太贵怎么办?这篇短文详细记录了如何在一台最便宜的 EC2 机器上运行稳定可靠的 PostgreSQL 服务,小本生意,个人项目必备
by @OldPanda 2020-04-11 01:52 分享 查看详情
MaxCompute - ODPS重装上阵 第六弹 - User Defined Type (yq.aliyun.com)
MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外,也致力于提升SQL语言的用户体验和表达能力,提高广大ODPS开发者的生产力。
by @可耐芊小仙女 2019-12-23 16:12 分享 查看详情
基于MaxCompute InformationSchema进行血缘关系分析 (yq.aliyun.com)
在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系,从而分析出数据的上下游依赖关系。本文将介绍如何去根据MaxCompute InformationSchema中作业ID的输入输出表来分析出某张表的血缘关系。
by @可耐芊小仙女 2019-12-23 16:10 分享 查看详情
在 Cloudera Data Flow 上运行你的第一个 Flink 例子 (yq.aliyun.com)
Cloudera Data Flow(CDF) 作为 Cloudera 一个独立的产品单元,围绕着实时数据采集,实时数据处理和实时数据分析有多个不同的功能模块
by @可耐芊小仙女 2019-12-19 16:46 分享 查看详情
基于MaxCompute InformationSchema进行冷门表热门表访问分析 (yq.aliyun.com)
在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的使用情况,从而优化数据模型。一个MaxCompute项目中经常使用的表简称为热门表,使用次数较少或者很长时间不使用的表简称为冷门表,本文将介绍如何去通过MaxCompute元数据信息去分析热门表和冷门表。
by @可耐芊小仙女 2019-12-02 15:33 分享 查看详情