数据仓库项目中的数据建模和ETL日志体系 (insights.thoughtworks.cn)

【简介】

数据仓库项目跨功能需求开发不够完善,导致的各种问题,就我个人经验来说,主要体现在数据建模不够标准和ETL日志体系不够完善两个方面,本文会详细介绍一下,如何从跨功能需求的角度,构建标准的数据建模和完善的ETL日志体系。

点击查看全文 >>

@ThoughtWorks 2021-01-08 10:35分享 / 0个评论
赞过的人: IT技术博客大学习
要不要再学学下面的文章?
硬件安全:ARM体系架构的安全特性演进 (www.secrss.com)
安全从业者脑中有一系列的安全名词,比如安全三要素Confidenciality 、Integrity、Availability,比如硬件安全品牌TPM、TrustZone、SGX、Titan-M,比如软件层面的安全能力Isolation、Access Control,又比如漏洞缓解措施DEP、ASLR、CFI。

从这些名词可以看出,软件最基础的安全能力都得自于硬件的支持,如果一个硬件没有特权级别,那就不要期望能实现什么安全能力了(没有MPU,基本的隔离都没办法做了)。

硬件能力如同原材料,能做成什么样的美味佳肴就靠厨师(工程师)的本领了。

因此在考虑未来产品安全的发展趋势时,硬件安全的未来演进是非常值得参考的。硬件安全系列主要讲述下ARM指令集的演进、Intel SGX解决方案以及苹果和Google硬件安全芯片的应用。本篇文章就从我们最熟悉的ARM开始讲起。
by @shengting 2021-03-19 17:11 分享 查看详情
基于用户画像大数据的电商防刷架构 (www.iyunying.org)
“羊毛党”的行为距离欺诈只有一步之遥,他们的存在严重破环了活动的目的,侵占了活动的资源,使得正常的用户享受不到活动的直接好处。
by @shengting 2021-03-19 17:02 分享 查看详情
ThoughtWorks数据智能读书雷达 (insights.thoughtworks.cn)
这版《数据智能读书雷达》由ThoughtWorks数据智能事业部的同事们自发组织完成的。我们希望为即将进入数据领域工作的毕业生们、正计划将数据智能作为转型方向的个人以及企业内部新成立的急需快速成长的数据团队,提供了一份数据智能领域的快速成长指南。
by @ThoughtWorks 2021-02-26 14:46 分享 查看详情
Flink 在又拍云日志批处理中的实践 (zhuanlan.zhihu.com)
在选用 Flink 前,我们对日志批处理的整个业务需求分为三步:数据源采集、日志处理、结果的保存。我们的日志量在 100G/h,单机服务处理速度慢、扩容不方便,一些相似的需求都是以编码形式完成的。另外,数据处理流程复杂,需要在多个服务间流转,迫切需要一个方案来解决问题……
by @又拍云 2021-02-25 16:19 分享 查看详情
自定义C/C++日志输出函数 (www.kymjs.com)
在繁杂的项目中,日志打印必不可少。但是编写打印的工作,有时候是无趣的、繁琐的、浪费精力的。 如何能够快速、方便的编写打印;如何清晰、准确的定位;如何简单并优雅的实现;最后才能让我们摆脱这样枯燥的、重复的工作? 网上有很多强大的日志类工具,我也都使用过一些,有时候也并没有理想中的方便。今天我想分享给大家的一套我自己的解决方案。
by @技术头条 2021-02-13 23:40 分享 查看详情
演进式数据架构 (insights.thoughtworks.cn)
本文借助于《演进式架构》这本书中关于演进式架构体系的描述,探索我们如何在数据这个领域,设计出演进式数据架构。
by @ThoughtWorks 2021-01-27 15:34 分享 查看详情
一个 Java 开源商城项目,值得好好研究一下! (mp.weixin.qq.com)
大家都知道,每天最重要的事就是帮大家在GitHub上挖掘出最受程序员欢迎的开源项目,这不,今天GitHub热榜上又有一个项目成功引起了猿妹的注意——mall-swarm
by @code小生 2021-01-26 00:51 分享 查看详情
8 个超赞的机器学习项目 (mp.weixin.qq.com)
在人工智能的大潮中,机器学习项目琳琅满目。哪些项目是兼具代表性和实用性的呢?近日,一位名为 Kajal Yadav 的作者列出了 8 个经典的机器学习项目,实用又有趣。目前已在 medium 上获赞 1.7K。
by @code小生 2021-01-26 00:46 分享 查看详情
谷歌的这个开源项目霸榜 Github 第一,我服了! (mp.weixin.qq.com)
最近,谷歌专门为大型企业网络开源了一个漏洞扫描神器,主要用于数千个甚至数百万个物联网组成的企业系统。为了让大家放心使用,谷歌已经将“海啸”用于内部使用一个月之久了。
by @code小生 2021-01-18 15:22 分享 查看详情
麻广广-微服务架构下你的数据一致了吗? (insights.thoughtworks.cn)
数据一致性问题首先是个业务问题,其次才是个技术问题。在微服务架构下,我们期望每个服务职责单一,这种职责单一体现的是业务价值,如果微服务的拆分过小而导致业务难以实现,那这种拆分是不合理的,业务专家们非常有必要了解系统,从业务侧给出服务拆分的建议。
by @ThoughtWorks 2020-12-28 14:16 分享 查看详情