使用Airflow来调度Data Lake Analytics的任务 (yq.aliyun.com)

【简介】

今天我们来介绍一下使用Airflow来调度 Data Lake Analytics(后面简称DLA)的任务执行。DLA作为一个数据湖的解决方案,
客户有每天周期性的调度一些任务从DLA查询数据回流到业务系统的需求。因为DLA兼容
MySQL的协议,因此所有支持MySQL的协议的调度框架都天然支持DLA,今天就来介绍一下使用业界著名的
Apache Airflow 来调度DLA的作业。

点击查看全文 >>

@可耐芊小仙女 2019-03-22 17:26分享 / 0个评论
要不要再学学下面的文章?
Java 通用爬虫框架中多线程的使用 (www.jianshu.com)
本文总结了通用爬虫框架 NetDiscovery 在某些特定场景中如何使用多线程。
by @Tony沈哲 2019-06-16 22:33 分享 查看详情
云数据库 MySQL 8.0 重磅发布,更适合企业使用场景的RDS数据库 (yq.aliyun.com)
2019年5月29日15时,阿里云云数据库 MySQL 8.0 重磅发布,2倍以上性能提升,SQL窗口函数、JSON扩展语法等企业级新功能震撼上市!主要从技术层面介绍MySQL 8.0的优势和与过去版本对比。从MySQL社区的发展和阿里云对于开源社区贡献的一贯态度进行阐述,表明阿里云一直以来对于开源的支持和贡献,并基于此次8.0的发布,重申对于开源的贡献和影响。阐述产品和商业规划角度阐述本次发布的MySQL 8.0的意义,并且阐述RDS MySQL8.0的产品形态和未来产品发展的构想。
by @可耐芊小仙女 2019-05-30 16:38 分享 查看详情
容器服务kubernetes federation v2实践:多集群流量调度 (yq.aliyun.com)
在federation v2多集群环境中,通过前面几篇文章的介绍,我们可以很容易的进行服务多集群部署,考虑到业务部署和容灾需要,我们通常需要调整服务在各个集群的流量分布。本文下面简单介绍如何在阿里云上进行多集群流量调度。
by @可耐芊小仙女 2019-05-29 14:56 分享 查看详情
Windows 使用之那些你还不知道操作 (mp.weixin.qq.com)
建议更换 win10 系统

可能很多朋友看到这个建议,心里很不爽,还很不服气,别急,且看官方给出的信息。
by @code小生 2019-05-19 09:58 分享 查看详情
对比MySQL,一文看透HBase的能力及使用场景 (yq.aliyun.com)
MySQL + HBase 是我们日常应用中常用的两个数据库,分别解决应用的在线事务问题和大数据场景的海量存储问题。本文内容适合初次理解HBase的读者,包括技术、功能及场景,也欢迎老司机们补充和温故。
by @可耐芊小仙女 2019-05-16 15:18 分享 查看详情
使用DataX同步MaxCompute数据到TableStore(原OTS)优化指南 (yq.aliyun.com)
现在越来越多的技术架构下会组合使用MaxCompute和TableStore,用MaxCompute作大数据分析,计算的结果会导出到TableStore提供在线访问。MaxCompute提供海量数据计算的能力,而TableStore提供海量数据高并发低延迟读写的能力。将 MaxCompute内数据导出至TableStore,目前可选的几种主要途径包括:
by @可耐芊小仙女 2019-05-14 16:07 分享 查看详情
阿里云Kubernetes服务上使用Tekton完成应用发布初体验 (yq.aliyun.com)
Tekton 是一个功能强大且灵活的 Kubernetes 原生开源框架,用于创建持续集成和交付(CI/CD)系统。通过抽象底层实现细节,用户可以跨多云平台和本地系统进行构建、测试和部署。本文是基于阿里云Kubernetes服务部署Tekton Pipeline,并使用它完成源码拉取、应用打包、镜像推送和应用部署的实践过程。
by @可耐芊小仙女 2019-05-14 16:05 分享 查看详情
MaxCompute Studio使用心得系列7—作业对比 (yq.aliyun.com)
在数据开发过程中,我们通常需要将两个作业进行对比从而定位作业运行性能或者结果有差异的问题,但是对比作业时需要同时打开两个studio 的tab页,或者两个Logview页,不停切换进行对比,使用起来非常的不方便。MaxCompute Studio从3.1.0版本开始支持作业对比,可以在一个页面同时比较两个作业,并且能自动标注出作业的差异点。
by @可耐芊小仙女 2019-05-13 15:38 分享 查看详情
Data V数据可视化:一屏在手万物可视,企业如何在数据浪潮中脱颖而出? (yq.aliyun.com)
数据可视化是指将数据以视觉的形式来呈现,以帮助人们了解这些数据的意义。人类大脑对视觉信息的处理优于对文本的处理,因此使用图表、图形和设计元素把数据进行可视化,可以帮助人们更容易地解释数据模式、趋势、统计规律和数据相关性。
by @可耐芊小仙女 2019-05-05 16:25 分享 查看详情
招商银行为什么使用MySQL (wubx.net)
对于金融行业使用MySQL可以说也比较早,例如腾讯的财富通从开始到现都是基于MySQL构建,但对于传统银行企业使用MySQL我也是一直存在好奇的想法。 这次在3306π北京站有幸听了招商银行王龙的分享也解决了我几个疑问,特Mark一下。

招商银行在走向开源的道路为什么选择了MySQL,而不是其它数据库?
招商银行在使用MySQL大概的规模及情况是什么?
招商银行是如何管理他们的MySQL?
他们成功的心得是什么?
by @技术头条 2019-05-01 20:01 分享 查看详情