使用Airflow来调度Data Lake Analytics的任务 (yq.aliyun.com)

【简介】

今天我们来介绍一下使用Airflow来调度 Data Lake Analytics(后面简称DLA)的任务执行。DLA作为一个数据湖的解决方案,
客户有每天周期性的调度一些任务从DLA查询数据回流到业务系统的需求。因为DLA兼容
MySQL的协议,因此所有支持MySQL的协议的调度框架都天然支持DLA,今天就来介绍一下使用业界著名的
Apache Airflow 来调度DLA的作业。

点击查看全文 >>

@可耐芊小仙女 2019-03-22 17:26分享 / 0个评论
要不要再学学下面的文章?
从零开始入门 K8s | 应用存储和持久化数据卷:存储快照与拓扑调度 (yq.aliyun.com)
在使用存储时,为了提高数据操作的容错性,我们通常有需要对线上数据进行 snapshot ,以及能快速 restore 的能力。另外,当需要对线上数据进行快速的复制以及迁移等动作,如进行环境的复制、数据开发等功能时,都可以通过存储快照来满足需求,而 K8s 中通过 CSI Snapshotter controller 来实现存储快照的功能。
by @技术小编443 2019-10-16 16:19 分享 查看详情
从零开始入门 K8s | 应用存储和持久化数据卷:存储快照与拓扑调度 (yq.aliyun.com)
在使用存储时,为了提高数据操作的容错性,我们通常有需要对线上数据进行 snapshot ,以及能快速 restore 的能力。另外,当需要对线上数据进行快速的复制以及迁移等动作,如进行环境的复制、数据开发等功能时,都可以通过存储快照来满足需求,而 K8s 中通过 CSI Snapshotter controller 来实现存储快照的功能。
by @可耐芊小仙女 2019-10-15 17:34 分享 查看详情
Python 最强 IDE 详细使用指南! (mp.weixin.qq.com)
机器之心之前也没系统地介绍过 PyCharm,怎样配置环境、怎样 DeBug、怎样同步 GitHub 等等可能都是通过经验或者摸索学会的。在本文中,我们并不会提供非常完善的指南,但是会介绍 PyCharm 最主要的一些能力,了解这些后,后面就需要我们在实践中再具体学习了。
by @code小生 2019-10-13 23:33 分享 查看详情
使用 VS Code 上手体验 Flutter (mp.weixin.qq.com)
Flutter 目前支持 Android Studio/Intellij/Visual Studio Code/终端&文本编辑器 四种方式来编写, AS 我已经非常熟悉了,为了挑战下自己(no zuo no die),学一下 VS Code,指不定以后写前端还用得着,所以综合考虑下我选择了使用 VS Code 来学习 Flutter 开发。
by @code小生 2019-10-07 15:50 分享 查看详情
开发函数计算的正确姿势 —— 使用 ROS 进行资源编排 (yq.aliyun.com)
函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。Fun: Fun 是一个用于支持 Serverless 应用部署的工具,能帮助您便捷地管理函数计算、API 网关、日志服务等资源。它通过一个资源配置文件(template.yml),协助您进行开发、构建、部署操作。ROS: 阿里云资源编排服务(ROS)助您简化云计算资源的管理。您可以遵循ROS定义的模板规范,在模板中定义所需云计算资源的集合及资源间依赖关系。ROS自动完成所有资源的创建和配置,实现自动化部署和运维。
by @可耐芊小仙女 2019-09-24 16:25 分享 查看详情
Jetpack源码解析--ViewModel基本使用及源码解析 (mp.weixin.qq.com)
截止到目前为止,JetpackNote源码分析的文章已经有四篇文章了,这一系列的文章我的初衷是想仔细研究一下Jetpack,最终使用Jetpack组件写一个Demo,上一篇已经分析了LiveData,本篇文章将分析ViewModel.
by @code小生 2019-09-22 16:53 分享 查看详情
如何使用 Flink 每天实时处理百亿条日志? (mp.weixin.qq.com)
Sherlock.IO 是 eBay 现有的监控平台,每天要处理上百亿条日志、事件和指标。Flink Streaming job 实时处理系统用于处理其中的日志和事件。
by @zhisheng_blog 2019-09-22 13:38 分享 查看详情
Flink 从0到1学习 —— 如何使用 Side Output 来分流? (mp.weixin.qq.com)
之前在 Flink 从0到1学习—— Flink 不可以连续 Split(分流)? 讲过 Flink 使用连续的 Split 会有问题,当时提供了几种解决方法,有一种方法就是使用 Side Output 来进行,当时留了个余念,那么就在这篇文章详细的讲一波,教大家如何使用 Side Output 来分流。
by @zhisheng_blog 2019-09-22 13:35 分享 查看详情
手把手教你免费使用正版的 IntelliJ IDEA (mp.weixin.qq.com)
IDEA是个人最喜欢的IDE,它非常智能,懂我的心,极大地提高了个人编程效率;让人爱不释手,欲罢不能。

然而,这是一款收费软件,价格不菲。

本文教大家如何 免费,并且 光荣地 使用 正版 IntelliJ IDEA。
by @zhisheng_blog 2019-09-22 13:33 分享 查看详情
Hadoop YARN:调度性能优化实践 (mp.weixin.qq.com)
YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。

美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。
by @zhisheng_blog 2019-09-22 13:27 分享 查看详情