大数据项目中的QA需要迎接新的挑战 (insights.thoughtworks.cn)

【简介】

大数据类项目在未来的地位越发重要,而作为QA,在大数据项目急速扩张的大背景下,也将迎来新的机遇和挑战。

点击查看原文 >>

@Thoughtworks 2020-09-14 10:28 / 0个评论
赞过的人: @技术头条 @IT技术博客大学习
要不要再学学下面的文章?
职场需要主动争取,否则根本轮不到你 (ixyzero.com)
在职场中,机会往往不会自动找上门,只有主动争取,才能把握自己的成长和发展空间。不要害怕表达自己的想法,展示自己的能力,否则机会可能早已落入他人之手!
by @技术头条 2024-11-23 21:53 查看详情
什么是 OWASP 安全项目 (dusays.com)
本文介绍了 OWASP 安全项目的核心内容,包括常见的十大安全风险,如注入攻击、身份验证失效、敏感数据暴露等。文章详细说明了每种风险的原理及其防护措施,例如注入攻击的过滤策略、跨站脚本(XSS)防护以及安全配置错误的避免方法。这些措施帮助开发者提高 Web 应用的安全性,避免常见漏洞的利用。
by @技术头条 2024-11-02 16:56 查看详情
Hive SQL如何找出连续日期数据之间的较大波动 (ixyzero.com)
本文介绍了在 Hive SQL 中如何识别连续日期数据的显著波动,适用于异常检测。使用窗口函数 `LAG` 和 `LEAD` 提取前后日期数据,通过对比当天与昨日、近几日的均值或分位数来判定异常。文中提供了查询示例,通过阈值设定(如倍数增加或p90分位数)识别异常值,帮助分析用户行为或数据波动,为风控和数据监控提供技术支持。
by @技术头条 2024-11-02 16:52 查看详情
OpenTelemetry在企业内部应用所需要的技术栈 (crossoverjie.top)
本文详细解析了 OpenTelemetry 在企业中的技术栈应用,涵盖日志、指标和链路追踪的整合方案,帮助实现系统全方位的可观测性。介绍了 OpenTelemetry 的架构和关键组件如 Collector、eBPF,以及 SigNoz 和 OpenObserve 等开源工具,以实现统一的数据存储和可视化,适合需要高效、灵活监控的企业部署。
by @技术头条 2024-11-02 16:35 查看详情
新一代实验分析引擎:驱动履约平台的数据决策 (tech.meituan.com)
本文介绍了美团履约技术平台的新一代实验分析引擎,该引擎对核心实验框架进行了标准化,并融合了众多先进解决方案,有效解决小样本挑战。同时,提供了多样化的溢出效应应对策略,并针对不同业务场景提供了精准的方差和P值计算方法,以规避统计误差。希望对大家有所帮助或启发。
by @技术头条 2024-11-02 16:18 查看详情
如何找到并快速上手一个开源项目 (crossoverjie.top)
本文总结了如何参与开源项目。作者分享了从选择项目、了解社区规则到贡献代码的经验。文章建议新手从改善文档和修复小问题开始,逐步加深对项目的理解。同时,积极参与社区讨论和代码评审,能帮助提升技术水平和社区影响力。作者还强调了耐心和持续贡献的重要性。
by @技术头条 2024-08-06 08:08 查看详情
关于 ChatGPT 的流式传输,你需要知道的一切 (blog.yuanpei.me)
本文深入探讨了生成式 AI 产品如 ChatGPT 的流式输出效果,阐释了其目的在于减少用户等待时间,而非简单模仿人类行为。文章详细介绍了 Server-Sent Events(SSE)技术在实现流式传输中的应用,并通过代码示例展示了服务端配置和客户端数据接收的方法。同时,讨论了 WebSocket 技术作为 SSE 的替代方案,强调了在 AI 应用开发中实现流式传输的重要性。此外,文中还介绍了 .NET 中的 IAsyncEnumerable 接口,并讨论了在生成式 AI 中实现取消/停止生成功能的挑战,提出了基于 WebSocket 的双向通信机制来解决这一问题。最后,文章总结了流式传输在 AI 与人类交互中的重要性,并提出了对 AI 智能本质的思考。|
by @技术头条 2024-08-06 07:33 查看详情
美团大规模KV存储挑战与架构实践 (tech.meituan.com)
KV 存储作为美团一项重要的在线存储服务,承载了在线服务每天万亿级的请求量,并且保持着 99.995% 的服务可用性。在 DataFunSummit 2023 数据基础架构峰会上,我们分享了《美团大规模 KV 存储挑战与架构实践》,本文为演讲内容的整理。文章主要分为四个部分:第一部分介绍了美团 KV 存储发展历程;第二部分分享了内存 KV Squirrel 挑战和架构实践;第三部分阐述了持久化 KV Cellar 挑战和架构实践;最后一部分介绍了未来的发展规划。希望这些内容对大家有所帮助或启发。
by @技术头条 2024-03-21 22:53 查看详情
防止数据泄露的高效策略-翻译整理 (ixyzero.com)
简单来说,就是数据安全左移,在每一个阶段都做卡点和检测,提高入侵/获取敏感数据的成本,减少后续阶段的日志告警量,提高告警检测准确率,利用自动化工具/平台提高响应的速度和效率。
未授权不可访问;有账号凭证要检测是否正常(常用设备、常用网络、常见时间、常见操作行为、……);有账号也仅知其所需最小权限;梳理出的高权限账号的敏感操作进行重点关注。
数据尽量不落地,大部分操作在线即可完成,系统埋点要全面和准确;对于数据下载和外发格外关注,下载设备的DLP的健康状态和策略的有效性需要及时检查。
by @技术头条 2024-03-12 22:56 查看详情
十亿行的挑战 (colobu.com)
国外的程序员休完他们的假期之后在玩什么?他们在玩十亿行的代码挑战。

工程师贡纳尔·莫林在元旦发起一个挑战(1BRC),挑战从 1 月 1 日持续到 1 月 31 日。
如果你决定接受它,你的任务看似简单: 编写一个 Java 程序,用于从文本文件中检索温度测量值并计算每个气象站的最小、平均值和最高温度。只有一点需要注意:文件有 1,000,000,000 行!(1 billion, 10亿行)。
by @技术头条 2024-03-12 22:46 查看详情