BR 技术头条 技术链接、资讯与社区分享流
yq yq.aliyun.com / 2019-03-22 17:26 / by @可耐芊小仙女

使用Airflow来调度Data Lake Analytics的任务

打开原文 0 条评论
今天我们来介绍一下使用Airflow来调度 Data Lake Analytics(后面简称DLA)的任务执行。DLA作为一个数据湖的解决方案，
客户有每天周期性的调度一些任务从DLA查询数据回流到业务系统的需求。因为DLA兼容
MySQL的协议，因此所有支持MySQL的协议的调度框架都天然支持DLA，今天就来介绍一下使用业界著名的
Apache Airflow 来调度DLA的作业。

发表评论

相关分享

bl blog.codingnow.com / 2026-05-10 18:35

嵌入主线程消息循环的任务调度器

这篇文章记录了 soluna/ltask 在移植到 wasm 和非 Windows 平台过程中遇到的一个典型工程难题：如何在主线程事件循环中执行特定任务，同时仍保留原有多线程调度模型。

问题的核心来自图形 API 和平台约束。sokol 并非线程安全，OpenGL 又依赖当前线程状态，而 wasm 环境下主线程、worker、pthread API 的边界进一步放大了调度复杂度。

作者的解决思路不是重写整个调度器，而是在 ltask 中“打洞”：让某些必须在主线程回调中执行的 Lua 任务，临时从调度表中移出，由主线程接管执行，完成后再归还给调度器。

文章最有价值的地方，是把 coroutine、Lua 虚拟机、C 栈、主线程事件循环和图形 API 约束放在同一个工程场景中分析。它不适合泛泛阅读，但对做游戏引擎、wasm 移植或复杂运行时调度的开发者很有参考价值。

查看详情
无图
io www.iots.vip / 2025-01-12 11:53

Ansible使用Bitwarden存储Vault密码

本文介绍了如何使用 Bitwarden 的命令行客户端（bitwarden-cli）与 Ansible 集成，将 Ansible Vault 的密码存储在 Bitwarden 中，实现集中化管理。通过配置 vault_password_file，Ansible 可以调用存储在 Bitwarden 中的密码，避免在命令行中手动输入，提高安全性和便利性。该方法适用于需要在自动化流程中安全管理敏感信息的开发者和运维工程师。

查看详情
无图
fr frytea.com / 2025-01-12 11:45

配置 harbor 及 docker 等使用 https

默认情况下，Harbor不提供证书。可以在没有安全性的情况下部署Harbor，这样您就可以通过HTTP连接到它。但是，只有在没有连接到外部internet的空间隙测试或开发环境中才可以使用HTTP。在没有空间隙的环境中使用HTTP会暴露给中间人攻击。在生产环境中，始终使用HTTPS。如果启用带公证人的内容信任对所有images进行正确签名，则必须使用HTTPS。要配置HTTPS，必须创建SSL证书。您可以使用由受信任的第三方CA签名的证书，也可以使用自签名证书。本节介绍如何使用OpenSSL创建CA，以及如何使用CA签署服务器证书和客户端证书。

查看详情
无图
zh www.zhangxinxu.com / 2025-01-03 00:13

如何使用JS获取系统内存、CPU/GPU、电量等信息

这篇文章讲解了如何通过 JavaScript 获取设备的内存、CPU、GPU 和电池等硬件信息，详细介绍了可用的 API、兼容性及实践场景。通过代码示例和性能分析，展示了如何在前端优化中合理利用这些数据。内容适合从事前端开发的工程师以及关注性能优化和用户体验提升的技术人员，提供了实用的开发参考。

查看详情
无图
on onevcat.com / 2025-01-02 23:59

编译器，靠你了！使用类型改善状态设计

如何用类型表达状态？文章深度解析了在 Swift 中通过类型系统管理状态的实践方法，涵盖了类型安全设计、编译期检查和减少运行时错误的技巧。通过实例展示，将状态逻辑融入类型定义，提升代码的健壮性和可维护性，是探索函数式编程思想的绝佳案例！

查看详情
无图
so soulteary.com / 2025-01-02 23:57

使用开源软件搭建轻量的 NPM 私有仓库：Verdaccio

如何搭建轻量级 NPM 私有仓库？文章详细介绍了使用开源软件 Verdaccio 的实现方案，从环境准备到配置部署，再到权限管理和优化建议，完整覆盖每个步骤。同时分享了实际应用中的注意事项和性能调优经验，是团队项目管理和依赖控制的绝佳参考。值得尝试！

查看详情
无图
li lisenhui.cn / 2024-11-23 21:49

WSL运行时遇到未知异常错误无法使用

遇到 WSL 提示“发生未知错误”无法启动的问题？可能是系统更新、配置冲突或文件损坏导致。可通过重启服务、检查日志、重装 WSL 或升级内核来排查解决。保持系统与 WSL 的版本更新至关重要！

查看详情
无图
wi wiki.eryajf.net / 2024-11-02 17:03

AWS运维部署实践--使用sigma自建镜像仓库代替ECR

本文介绍了如何使用 `sigma` 替代 AWS 的 ECR 作为轻量级的镜像仓库解决方案。通过配置 `s3` 存储、端口监听等设置，实现了低资源占用下的高效镜像管理。文章详细提供了 `config.yaml` 文件的配置方案，以及 `sigma` 部署的具体步骤，适合在自建环境中替代 ECR 进行镜像管理。

查看详情
无图
du dusays.com / 2024-11-02 16:54

Linux 安全 Auditd 审计工具使用说明

本文介绍了 Linux 的 Auditd 审计工具，用于监控和记录安全相关事件。内容涵盖工具安装、审计规则配置、日志管理和规则持久化。审计规则包括文件、系统调用的监控，适合检测敏感操作。通过 `auditctl`、`ausearch` 和 `aureport` 等工具，管理员可以分析日志并生成报告，提升系统的安全性和合规性。

查看详情
无图