数据仓库项目中的数据建模和ETL日志体系 (insights.thoughtworks.cn)

【简介】

数据仓库项目跨功能需求开发不够完善,导致的各种问题,就我个人经验来说,主要体现在数据建模不够标准和ETL日志体系不够完善两个方面,本文会详细介绍一下,如何从跨功能需求的角度,构建标准的数据建模和完善的ETL日志体系。

点击查看原文 >>

@Thoughtworks 2021-01-08 10:35 / 0个评论
赞过的人: @IT技术博客大学习
要不要再学学下面的文章?
防止数据泄露的高效策略-翻译整理 (ixyzero.com)
简单来说,就是数据安全左移,在每一个阶段都做卡点和检测,提高入侵/获取敏感数据的成本,减少后续阶段的日志告警量,提高告警检测准确率,利用自动化工具/平台提高响应的速度和效率。
未授权不可访问;有账号凭证要检测是否正常(常用设备、常用网络、常见时间、常见操作行为、……);有账号也仅知其所需最小权限;梳理出的高权限账号的敏感操作进行重点关注。
数据尽量不落地,大部分操作在线即可完成,系统埋点要全面和准确;对于数据下载和外发格外关注,下载设备的DLP的健康状态和策略的有效性需要及时检查。
by @技术头条 2024-03-12 22:56 查看详情
基于接口数据变异的App健壮性测试实践 (tech.meituan.com)
本文主要介绍了对网络返回数据进行变异的客户端健壮性测试实践经验。文章第一部分介绍客户端健壮性测试的基本概念;第二部分分享了基于接口返回数据变异的App健壮性测试方案设计的思路;第三部分主要解读了变异数据的构造和异常检测方案设计;第四部分介绍了精简变异数据的探索方案。
by @技术头条 2024-03-12 22:45 查看详情
个人数据安全不完全指南 (thiscute.world)
这里介绍的并不是什么能一蹴而就获得超高安全性的傻瓜式方案,它需要你需要你有一定的技术背景跟时间投入,是一个长期的学习、实践与方案迭代的过程。另外如果你错误地使用了本文中介绍的工具或方案,可能反而会降低你的数据安全性,由此产生的任何损失与风险皆由你自己承担。
by @技术头条 2024-03-12 22:32 查看详情
Nginx日志分析-MIME types (ixyzero.com)
Nginx日志的分析,尤其是加白,在不是特别清楚功能和作用的情况下,还是应该细粒度的操作,比如先按照Content-Type加白,就比按照domain维度的加白粒度会更细一点,比按照uri来加白要更方便和准确一点。简单记录一下,方便后面有需要的时候参考。
by @技术头条 2024-01-14 18:57 查看详情
Kratos 漫游指南 3 - 日志 (farer.org)
本篇讲讲Kratos日志组件的使用方式。

在服务上线后,我们可以使用日志来观察程序的行为、诊断问题或者配置相应的告警等。定义良好的结构化日志,能够提高日志的检索效率,使处理问题变得更加方便。
by @技术头条 2024-01-13 23:30 查看详情
三方仓库如何实现Zadig流水线自动触发 (jokerbai.com)
最近因为公司的产研调整,决定将代码仓库从本地的 Gitlab 迁移到云效的 Codeup,不是 Gitlab 不够好,而是 Codeup 在度量、安全等方面比原生的 Gitlab 要好,再则公司的产研管理也迁移到了云效,也为了统一化管理。
有同学可能会问,都用云效了,为什么不直接用它的 AppStack,还要用 Zadig?
by @技术头条 2023-11-30 23:22 查看详情
网络侦察建模及防御概述 (blog.nsfocus.net)
通过梳理已有网络侦察模型,利用博弈论对网络侦察进行形式化建模,提出一个基于置信度更新的网络侦察模型,并对网络侦察防御相关技术进行概述。
by @技术头条 2023-11-29 23:41 查看详情
简要说明 HTTPS 是如何保证数据安全 (www.addesp.com)
本文简要介绍HTTPS协议是如何保证数据在传输过程中的安全的。
由于是以介绍为主,所以不会涉及细节,而且肯定会有一些错误。如果想要详细了解可自行查阅资料。
by @技术头条 2023-11-06 23:31 查看详情
从Nginx过滤打印user-agent为clb-healthcheck的日志聊聊Nginx的日志自定义打印 (wiki.eryajf.net)
通常我们的南北流量的链路是从云的 LB 到服务器的 Nginx 集群,为了利用好 lb 自动检测 Nginx 的功能,通常你会打开健康检查,此时,Nginx 的日志当中就会打印大量的健康检查日志,令人不胜其烦。
by @技术头条 2023-10-30 23:39 查看详情
Android|集成 slf4j + logback 作为日志框架 (mazhuang.org)
最近在做一个 Android APP 的日志改造,我搜了一下「Android 日志框架」,大多网友推荐的是 logger、timber、xLog 等等,看着也不错。不过出于几年后端开发的经验和习惯,我进一步了解,发现熟悉的 log4j 和 logback 在 Android 上也有人做过适配,所以最终决定使用 slf4j + logback,以在前后端开发中取得一致的体验。
by @技术头条 2023-10-30 22:56 查看详情