今天我们来介绍一下使用Airflow来调度 Data Lake Analytics(后面简称DLA)的任务执行。DLA作为一个数据湖的解决方案,
客户有每天周期性的调度一些任务从DLA查询数据回流到业务系统的需求。因为DLA兼容
MySQL的协议,因此所有支持MySQL的协议的调度框架都天然支持DLA,今天就来介绍一下使用业界著名的
Apache Airflow 来调度DLA的作业。
说起来有趣,NAS 除了“不同设备共享存储”这个功能之外,最重要的功能就是为设备扩容,但是 NAS 自己的存储容量不够了,又该如何。这篇文章分享下我目前使用外设给 NAS 扩容的思路,如何以相对低的成本来获取更大的容量和更稳妥的数据存放体验,也聊聊入手了几个月的硬盘阵列盒,以及之前使用过的各种模式的好处和踩坑之处。