DataWorks调度配置最佳实战--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

【简介】

DataWorks基于MaxCompute作为核心的计算、存储引擎，提供了海量数据的离线加工分析、数据挖掘的能力。通过DataWorks，可对数据进行数据传输、数据转换等相关操作，从不同的数据存储引入数据，对数据进行转化处理，最后将数据提取到其他数据系统。

点击查看原文 >>

由 @幸运的猫耳 2018-09-17 15:56 / 0个评论

赞过的人： @技术头条

怎样在 Nginx 中配置防盗链 (dusays.com)

本文讲解了如何在 Nginx 中配置防盗链，主要通过验证 HTTP 请求中的 Referer 头部来防止未经授权的访问。配置方法包括使用 `valid_referers` 指令定义允许的 Referer，并在不符合条件时返回 403 错误。该配置适合防止图片、CSS 等静态资源被外部站点盗用，但需注意 Referer 头部可被伪造，建议结合其他安全措施。

by @技术头条 2024-11-02 16:53 查看详情

如何配置 Nginx 防止 CC 攻击 (dusays.com)

本文介绍了配置 Nginx 防御 CC 攻击的方法，包括限制请求速率和连接数、设置 IP 黑白名单、关闭慢速连接等。通过 `limit_req_zone` 和 `limit_conn_zone` 等指令，管理员可以有效控制单一 IP 的访问频率。此外，还建议设置文件类型和请求大小限制，并使用 Fail2Ban 工具监控日志，自动封禁异常 IP。这些措施有助于提升网站的安全性和稳定性。

by @技术头条 2024-11-02 16:51 查看详情

使用结构化数据管理 SSH 配置：SSH Config Tool (soulteary.com)

本文介绍了使用 SSH Config Tool 管理 SSH 配置的最佳实践。工具将复杂的 SSH 配置简化为 YAML 格式，实现模块化和自动化管理，适用于设备多、配置庞杂的场景。通过 YAML 文件生成精简的 SSH Config，可提高可读性，减少冗余。工具支持 Docker 运行和 Linux 管道，提供灵活的跨平台应用方式。

by @技术头条 2024-11-02 16:27 查看详情

ubuntu 配置 nfs 服务 (www.frytea.com)

本文介绍了解决Ubuntu虚拟机克隆后因netplan导致的网络连接问题。作者发现克隆后虚拟机会因UUID和MAC地址冲突而无法正确分配IP地址。通过重置/etc/machine-id文件、更新网络配置文件中的dhcp-identifier设置，以及使用cloud-init清理网络缓存，可以有效避免IP地址冲突。该方法适用于需要频繁克隆虚拟机的场景，确保每个实例能获得唯一的网络标识。

by @技术头条 2024-08-06 08:15 查看详情

如何为 Git 配置多个 SSH Key (blog.yuanpei.me)

相信大家都会遇到这种场景，即一台电脑上同时存在多个 Git 账号的情况。譬如，公司的项目使用 Gitlab 托管，而个人的项目使用 Github 托管，更不必说，云效、Gitee、码云、Coding 等形形色色的平台。在这种情况下，你需要为每个代码托管平台生成 SSH Key，然后将其对应的公钥复制到指定的位置。所以，如何让这些不同托管平台的 SSH Key 和平共处、互不影响呢？这就是今天这篇文章想要分享的冷知识。当然，对博主个人而言，最主要的目的，还是希望能将公司和个人两个身份区分开来，所以，下面以 Github 和 Gitlab 为例来展示具体的配置过程。

by @技术头条 2024-03-12 22:28 查看详情

Kratos漫游指南 2 - 配置 (farer.org)

这一篇讲讲Kratos配置组件的定义和使用。

微服务或者说云原生应用的配置最佳实践是将配置文件和应用代码分开管理——不将配置文件放入代码仓库，也不打包进容器镜像，而是在服务运行时，把配置文件挂载进去或者直接从配置中心加载。Kratos的config组件就是用来帮助应用从各种配置源加载配置。

by @技术头条 2024-01-13 23:30 查看详情

nginx TLS 配置建议（Mozilla Recommendation） (www.addesp.com)

本文主要按照 Mozilla 对于服务端 TLS 协议配置的建议来提供 nginx 的配置建议，按照这些建议进行配置可以让我们的站点更加安全。

by @技术头条 2023-12-26 22:35 查看详情

一个任务调度算法引起的性能问题 (blog.codingnow.com)

这两天遇到一个任务调度算法引起的性能问题，花了颇多精力排查和解决。问题出在我写的 ltask 这个 lua 多任务库上。ltask 最初是对 skynet 的一些反思中开始的，最初只是想换一种思路实现 skynet ：做一个库而不是框架、更少的锁竞争、避免服务因为消息队列堆积而过载……

by @技术头条 2023-10-24 23:52 查看详情

关于 Docker 容器配置信息的渐进式思考 (blog.yuanpei.me)

容器内的配置管理，唯一正确的方向就是让配置和容器分离。不管你是用文中这些方案中的哪一种，其关键就是让配置动态地在容器内生效，而非固化到容器中。

by @技术头条 2023-10-18 00:13 查看详情

如何在 Kubernetes 集群中设置动态 NFS 配置 (linux.cn)

在这篇文章中，我们将向你展示如何在 Kubernetes（k8s）集群中设置动态 NFS 配置。

Kubernetes 中的动态 NFS 存储配置允许你按需自动为 Kubernetes 应用配置和管理 NFS（网络文件系统）卷。它允许创建持久卷（PV）和持久卷声明（PVC），而无需手动干预或预配置存储。

NFS 配置程序负责动态创建 PV 并将其绑定到 PVC。它与 NFS 服务器交互，为每个 PVC 创建目录或卷。

by @技术头条 2023-07-30 17:34 查看详情