云原生数据湖解决方案打破数据孤岛,大数据驱动互娱行业发展 (developer.aliyun.com)

【简介】

数据湖是以集中、统一方式存储各种类型数据,数据湖可以与多种计算引擎直接对接,我们使用OSS作为数据湖底座,数据统一存储在OSS中,有效消除了数据孤岛现象,多种计算与处理分析引擎能够直接对存储在数据湖中的数据进行处理与分析,避免数据在不同引擎中反复复制,减少了不必要的资源损耗。

点击查看原文 >>

@可耐芊小仙女 2020-10-30 18:06 / 0个评论
要不要再学学下面的文章?
Hive SQL如何找出连续日期数据之间的较大波动 (ixyzero.com)
本文介绍了在 Hive SQL 中如何识别连续日期数据的显著波动,适用于异常检测。使用窗口函数 `LAG` 和 `LEAD` 提取前后日期数据,通过对比当天与昨日、近几日的均值或分位数来判定异常。文中提供了查询示例,通过阈值设定(如倍数增加或p90分位数)识别异常值,帮助分析用户行为或数据波动,为风控和数据监控提供技术支持。
by @技术头条 2024-11-02 16:52 查看详情
容器技术驱动下的代码沙箱实践与思考 (blog.yuanpei.me)
本文探讨了基于容器技术的代码沙箱应用,旨在隔离代码执行环境,提升安全性和稳定性。通过 Docker 容器创建语言镜像,支持多语言代码执行。文章介绍了使用 Jupyter 实现代码可视化,并借助 nbformat 和 nbconvert 管理和执行 Jupyter 笔记本,增强代码展示效果。此方案不仅提高了开发灵活性,还便于在 AI 编程中实时展示和分析结果。
by @技术头条 2024-11-02 16:40 查看详情
温故而知新:后端通用查询方案的再思考 (blog.yuanpei.me)
本文探讨了后端通用查询方案的设计,通过 `Gridify` 库启发,提出基于泛型和接口的查询模型,优化分页和过滤功能。实现细节包括 `QueryParameter` 类和 `IQueryableFilter` 接口的使用,自定义模型绑定方式,使查询参数更灵活,支持多种前后端兼容格式。文章强调开发中平衡灵活性与规范性,并认为在 AI 辅助编程背景下,程序员应专注于复杂问题解决和生产关系的改善。
by @技术头条 2024-11-02 16:39 查看详情
第一性原理思考:解决问题的通用框架(续) (blog.devtang.com)
本文深入探讨了几种思维框架,包括28原理、谬误推导和终局思维等,帮助在决策中聚焦关键因素,判断信息真伪。文章还列举了常见误区,如误把相关性当因果、从众心理和情绪化决策等,提醒在信息泛滥中保持清晰的逻辑思维。通过案例分析,这些思维模式能有效提升问题解决和决策的效率。
by @技术头条 2024-11-02 16:25 查看详情
第一性原理思考:解决问题的通用框架 (blog.devtang.com)
本文介绍了解决问题的通用框架,基于“第一性原理”思考,分为信息收集、建模、判断和策略迭代四步。通过广泛收集经验与原始数据,建立问题模型,量化核心指标并不断优化策略,可以逐步解决复杂问题。框架虽无法保证执行到位,但帮助接近真实问题,为复杂决策提供可靠支持。
by @技术头条 2024-11-02 16:20 查看详情
新一代实验分析引擎:驱动履约平台的数据决策 (tech.meituan.com)
本文介绍了美团履约技术平台的新一代实验分析引擎,该引擎对核心实验框架进行了标准化,并融合了众多先进解决方案,有效解决小样本挑战。同时,提供了多样化的溢出效应应对策略,并针对不同业务场景提供了精准的方差和P值计算方法,以规避统计误差。希望对大家有所帮助或启发。
by @技术头条 2024-11-02 16:18 查看详情
领域驱动设计DDD在B端营销系统的实践 (tech.meituan.com)
领域驱动设计(DDD)在复杂业务系统中的应用非常有效,特别是在 B 端营销系统中。本文分享了美团如何通过 DDD 实践,优化营销系统的架构与设计,提升业务应对能力。想了解如何应对复杂业务需求的变化?千万别错过!
by @技术头条 2024-09-09 23:41 查看详情
Nginx 反代 SSL_do_handshake 问题解决思路 (dusays.com)
遇到 Nginx 反代时的 SSL_do_handshake 错误?本文深入分析了该问题的原因,并提供了详细的解决方案,包括如何配置 Nginx 以避免 502 错误。如果你在运维中遇到 SSL 问题,这篇文章能帮你快速解决!
by @技术头条 2024-09-09 23:35 查看详情
对比脚本型和编译型游戏服务器的热更新方案 (www.codedump.info)
本文对比游戏服务器中C++搭配脚本语言(Lua、Python)以及纯编译型语言(C++、Golang)来进行开发时,进行线上服务器热更新的方案。
by @技术头条 2024-03-21 23:21 查看详情
IM服务器设计-如何解决消息的乱序 (www.codedump.info)
IM消息需要面对的另一个难题:如何保证收到的消息不乱序。下面先展开看看要解决这个难题有哪些障碍。
by @技术头条 2024-03-21 23:00 查看详情