浅谈数据流水线--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

【简介】

数据流水线通常指从若干数据源中迁移数据，将迁移的数据进行复杂的数据处理之后，并加载到目标数据系统中的一系列流程，且数据的价值正是在每一步的流转中逐步产生的。数据流水线通常也是实现机器学习模型、数据分析、业务报表等技术的基础。

由 @Thoughtworks 2021-09-22 11:54 / 0个评论

本文分享了 Follow 应用中的核心设计理念，包括多种图标转换方式、Peek 模态预览、优雅的动效过渡（通过 Framer Motion）、层叠模态框的层级处理以及 AutoResize 组件的平滑高度调整。这些设计细节提升了用户体验，同时控制了动态效果强度，确保设备性能与用户偏好。

by @技术头条 2024-11-02 16:58 查看详情

Hive SQL如何找出连续日期数据之间的较大波动 (ixyzero.com)

本文介绍了在 Hive SQL 中如何识别连续日期数据的显著波动，适用于异常检测。使用窗口函数 `LAG` 和 `LEAD` 提取前后日期数据，通过对比当天与昨日、近几日的均值或分位数来判定异常。文中提供了查询示例，通过阈值设定（如倍数增加或p90分位数）识别异常值，帮助分析用户行为或数据波动，为风控和数据监控提供技术支持。

by @技术头条 2024-11-02 16:52 查看详情

新一代实验分析引擎：驱动履约平台的数据决策 (tech.meituan.com)

本文介绍了美团履约技术平台的新一代实验分析引擎，该引擎对核心实验框架进行了标准化，并融合了众多先进解决方案，有效解决小样本挑战。同时，提供了多样化的溢出效应应对策略，并针对不同业务场景提供了精准的方差和P值计算方法，以规避统计误差。希望对大家有所帮助或启发。

by @技术头条 2024-11-02 16:18 查看详情

浅谈 GUI 应用开发 (zgq.me)

本文深入探讨了 GUI 应用开发中的关键问题，从状态管理、生命周期到交互模式等多个角度分享了开发经验。无论你是前端开发者还是产品设计师，这篇文章都能为你在 GUI 开发中提供实用的见解和技巧。赶紧阅读，提升你的应用开发水平吧！

by @技术头条 2024-09-09 23:37 查看详情

防止数据泄露的高效策略-翻译整理 (ixyzero.com)

简单来说，就是数据安全左移，在每一个阶段都做卡点和检测，提高入侵/获取敏感数据的成本，减少后续阶段的日志告警量，提高告警检测准确率，利用自动化工具/平台提高响应的速度和效率。
未授权不可访问；有账号凭证要检测是否正常（常用设备、常用网络、常见时间、常见操作行为、……）；有账号也仅知其所需最小权限；梳理出的高权限账号的敏感操作进行重点关注。
数据尽量不落地，大部分操作在线即可完成，系统埋点要全面和准确；对于数据下载和外发格外关注，下载设备的DLP的健康状态和策略的有效性需要及时检查。

by @技术头条 2024-03-12 22:56 查看详情

基于接口数据变异的App健壮性测试实践 (tech.meituan.com)

本文主要介绍了对网络返回数据进行变异的客户端健壮性测试实践经验。文章第一部分介绍客户端健壮性测试的基本概念；第二部分分享了基于接口返回数据变异的App健壮性测试方案设计的思路；第三部分主要解读了变异数据的构造和异常检测方案设计；第四部分介绍了精简变异数据的探索方案。

by @技术头条 2024-03-12 22:45 查看详情

个人数据安全不完全指南 (thiscute.world)

这里介绍的并不是什么能一蹴而就获得超高安全性的傻瓜式方案，它需要你需要你有一定的技术背景跟时间投入，是一个长期的学习、实践与方案迭代的过程。另外如果你错误地使用了本文中介绍的工具或方案，可能反而会降低你的数据安全性，由此产生的任何损失与风险皆由你自己承担。

by @技术头条 2024-03-12 22:32 查看详情

浅谈安全方向的学习方法 (www.hackerpoet.com)

最近经历了一次ctf培训之后，突然对安全学习有了一点新的理解，所以写下文章来记录。

by @技术头条 2024-03-10 19:36 查看详情

浅谈下awd挖洞起手式 (www.hackerpoet.com)

想着awd模式关于挖洞的起手还是有一些可以探究的地方，于是写下这篇文章，本文只针对于php的题目。

by @技术头条 2024-03-10 19:33 查看详情

浅谈Redis分布式锁(上) (example.com)

不论面试还是实际工作中，Redis都是避无可避的技术点。在我心里，MySQL和Redis是衡量一个程序员是否“小有所成”的两把标尺。如果他能熟练使用MySQL和Redis，以小化大，充分利用现有资源出色地完成当下需求，说明他已经成长了。

本篇文章我们一起来探讨Redis分布式锁相关的内容。

说到锁，大家第一时间想到的应该是synchronized关键字或ReentrantLock，随即想到偏向锁、自旋锁、重量级锁或者CAS甚至AQS。一般来说，我不喜欢一下子引入这么多概念，可能会把问题弄复杂，但为了方便大家理解Redis分布式锁，这里稍微提一下。

by @技术头条 2024-01-13 23:26 查看详情