如何面对数据项目开发和管理中的挑战 (insights.thoughtworks.cn)

【简介】

近几年,随着数据和人工智能越来越受关注,数据与人工智能项目(统称数据项目)也遍地开花,和传统应用类项目相比,数据项目有其自身的特点和挑战,本文就来盘一下这些挑战。

点击查看原文 >>

@Thoughtworks 2022-08-30 16:45 / 0个评论
赞过的人: @IT技术博客大学习
要不要再学学下面的文章?
什么是 OWASP 安全项目 (dusays.com)
本文介绍了 OWASP 安全项目的核心内容,包括常见的十大安全风险,如注入攻击、身份验证失效、敏感数据暴露等。文章详细说明了每种风险的原理及其防护措施,例如注入攻击的过滤策略、跨站脚本(XSS)防护以及安全配置错误的避免方法。这些措施帮助开发者提高 Web 应用的安全性,避免常见漏洞的利用。
by @技术头条 2024-11-02 16:56 查看详情
Hive SQL如何找出连续日期数据之间的较大波动 (ixyzero.com)
本文介绍了在 Hive SQL 中如何识别连续日期数据的显著波动,适用于异常检测。使用窗口函数 `LAG` 和 `LEAD` 提取前后日期数据,通过对比当天与昨日、近几日的均值或分位数来判定异常。文中提供了查询示例,通过阈值设定(如倍数增加或p90分位数)识别异常值,帮助分析用户行为或数据波动,为风控和数据监控提供技术支持。
by @技术头条 2024-11-02 16:52 查看详情
Linux 文件管理之特殊权限 (frytea.com)
本文介绍了 Linux 中的特殊权限设置,包括 SUID、SGID 和 Sticky Bit。SUID 允许普通用户执行特定程序时以程序属主的权限运行;SGID 使目录中文件继承目录属组,便于共享;Sticky Bit 则限制用户删除或重命名共享目录中的文件。通过这些权限设置,用户可实现更灵活的文件与目录管理。
by @技术头条 2024-11-02 16:46 查看详情
StarRocks 开发环境搭建踩坑指北 (crossoverjie.top)
本文详细介绍了在本地搭建 StarRocks 开发环境的步骤,包括启动前端(FE)和后端(BE)的配置及调试方法。通过本地启动 FE 并使用 Docker 运行 BE,实现了本地调试和测试。作者分享了常见问题解决方案,如端口冲突和网络配置问题,为 StarRocks 开发环境搭建提供了实用指南。
by @技术头条 2024-11-02 16:42 查看详情
Linux 文件管理之默认权限 umask (frytea.com)
本文介绍了 Linux 中的 `umask` 命令,用于设置文件和目录的默认权限。通过修改 `umask` 掩码值,可控制新建文件的权限,如将 `0022` 改为 `0002` 以调整用户组权限。文章演示了如何查看和更改 `umask`,以及如何使修改永久生效。
by @技术头条 2024-11-02 16:41 查看详情
基于 Docker 搭建开发环境(三):链路追踪 (www.diguage.com)
本文介绍了通过 Docker 配置 OpenTelemetry 和 Jaeger,实现分布式链路追踪。详细讲解了如何使用 OpenTelemetry Agent 和 Collector 配置尾部采样策略,识别慢请求和错误。结合 Prometheus 和 Grafana,构建全面的监控和追踪系统。提供了具体的 `docker-compose.yml` 配置文件示例,适合需要全链路可观测性的分布式应用开发环境。
by @技术头条 2024-11-02 16:34 查看详情
基于 Docker 搭建开发环境(二):EFK 日志套件 (www.diguage.com)
本文介绍了如何使用 Docker 和 EFK(Elasticsearch、Fluentd、Kibana)套件构建日志管理系统,通过 Fluentd 将 NACOS 和业务日志集中发送至 Elasticsearch,方便数据分析和故障排查。文章提供了 `docker-compose.yml` 配置文件示例,解决了插件安装、权限设置和健康检查等常见问题,为构建灵活高效的日志管理系统提供了实用方法。
by @技术头条 2024-11-02 16:33 查看详情
基于 Docker 搭建开发环境(一):数据库+监控 (www.diguage.com)
本文介绍了使用 Docker 构建开发环境的步骤,涵盖 MySQL 数据库配置、Nacos 服务发现与配置管理、Prometheus 监控及 Grafana 可视化。通过 Docker Compose 结构化配置,实现了多组件集成。文章提供了详细的 `docker-compose.yml` 文件示例,并探讨了自动接入监控、应用打包等优化方向,适用于需要集中管理多项开发工具的场景。
by @技术头条 2024-11-02 16:33 查看详情
新一代实验分析引擎:驱动履约平台的数据决策 (tech.meituan.com)
本文介绍了美团履约技术平台的新一代实验分析引擎,该引擎对核心实验框架进行了标准化,并融合了众多先进解决方案,有效解决小样本挑战。同时,提供了多样化的溢出效应应对策略,并针对不同业务场景提供了精准的方差和P值计算方法,以规避统计误差。希望对大家有所帮助或启发。
by @技术头条 2024-11-02 16:18 查看详情
浅谈 GUI 应用开发 (zgq.me)
本文深入探讨了 GUI 应用开发中的关键问题,从状态管理、生命周期到交互模式等多个角度分享了开发经验。无论你是前端开发者还是产品设计师,这篇文章都能为你在 GUI 开发中提供实用的见解和技巧。赶紧阅读,提升你的应用开发水平吧!
by @技术头条 2024-09-09 23:37 查看详情