mp mp.weixin.qq.com / 2017-09-07 10:20 / by @帘卷一庭秋

面向大数据的分布式调度

大数据的分布式调度是在进行数据ETL过程中起到了总体的承上启下的角色，整个数据的生产、交付、消费都会贯穿其中，本文从调度、分布式调度的特征展开，再对大数据调度个性化特征的一些阐述，由满足大数据使用的架构和业务场景的需求上娓娓道来，从实践的角度分享如何打造一个高可用、高效率、灵活性的大数据调度平台。

赞过的人

@技术头条

bl blog.codingnow.com / 2026-05-10 18:35

嵌入主线程消息循环的任务调度器

这篇文章记录了 soluna/ltask 在移植到 wasm 和非 Windows 平台过程中遇到的一个典型工程难题：如何在主线程事件循环中执行特定任务，同时仍保留原有多线程调度模型。

问题的核心来自图形 API 和平台约束。sokol 并非线程安全，OpenGL 又依赖当前线程状态，而 wasm 环境下主线程、worker、pthread API 的边界进一步放大了调度复杂度。

作者的解决思路不是重写整个调度器，而是在 ltask 中“打洞”：让某些必须在主线程回调中执行的 Lua 任务，临时从调度表中移出，由主线程接管执行，完成后再归还给调度器。

文章最有价值的地方，是把 coroutine、Lua 虚拟机、C 栈、主线程事件循环和图形 API 约束放在同一个工程场景中分析。它不适合泛泛阅读，但对做游戏引擎、wasm 移植或复杂运行时调度的开发者很有参考价值。

查看详情

无图

ix ixyzero.com / 2025-01-12 12:08

学习了解数据仓库中的分层概念

本文详细介绍了数据仓库的分层概念，包括数据运营层（ODS）、数据仓库层（DW）和数据应用层（APP）。其中，DW层进一步细分为数据明细层（DWD）、数据中间层（DWM）和数据服务层（DWS）。文章阐述了各层的功能和作用，并通过实例说明如何在实际业务中应用这些分层概念。该内容适合数据工程师、数据分析师、数据架构师以及对数据仓库设计和实现感兴趣的技术人员阅读。

查看详情

无图

ma mazhuang.org / 2025-01-12 12:05

Java｜如何用一个统一结构接收成员名称不固定的数据

文章通过企业微信接口示例，介绍用 Jackson 的 @JsonAlias 注解处理 Java 中不固定字段名的 JSON 数据，提升解析通用性。适合需统一处理多样 JSON 数据的 Java 开发者。

查看详情

无图

bl blog.delphij.net / 2025-01-03 00:15

数据的长期保存

这篇文章探讨了长期数据保存的策略与实践，详细分析了存储介质的选择、数据完整性保障方法以及常见的管理问题和解决方案。作者结合实践经验，提出了一套适用于个人和企业的数据保存规划。内容适合关注数据存储、安全备份及长期保存技术的开发者、IT 管理人员，以及对数据安全感兴趣的读者，提供了具有实用价值的参考建议。

查看详情

无图

so soulteary.com / 2025-01-02 23:58

ThinkPad + Redis：构建亿级数据毫秒级查询的平民方案

如何用普通设备实现海量数据的毫秒级查询？文章分享了在 ThinkPad 上构建 Redis 系统的完整方案，详细解析了数据分片、查询优化和资源调配等关键技术，还提供了针对高效查询的实际案例。轻量化实现，高性能表现，为开发者提供了实用的参考思路，值得深入学习！

查看详情

无图

ix ixyzero.com / 2024-11-02 16:52

Hive SQL如何找出连续日期数据之间的较大波动

本文介绍了在 Hive SQL 中如何识别连续日期数据的显著波动，适用于异常检测。使用窗口函数 `LAG` 和 `LEAD` 提取前后日期数据，通过对比当天与昨日、近几日的均值或分位数来判定异常。文中提供了查询示例，通过阈值设定（如倍数增加或p90分位数）识别异常值，帮助分析用户行为或数据波动，为风控和数据监控提供技术支持。

查看详情

无图

te tech.meituan.com / 2024-11-02 16:18

新一代实验分析引擎：驱动履约平台的数据决策

本文介绍了美团履约技术平台的新一代实验分析引擎，该引擎对核心实验框架进行了标准化，并融合了众多先进解决方案，有效解决小样本挑战。同时，提供了多样化的溢出效应应对策略，并针对不同业务场景提供了精准的方差和P值计算方法，以规避统计误差。希望对大家有所帮助或启发。

查看详情

无图

ix ixyzero.com / 2024-03-12 22:56

防止数据泄露的高效策略-翻译整理

简单来说，就是数据安全左移，在每一个阶段都做卡点和检测，提高入侵/获取敏感数据的成本，减少后续阶段的日志告警量，提高告警检测准确率，利用自动化工具/平台提高响应的速度和效率。
未授权不可访问；有账号凭证要检测是否正常（常用设备、常用网络、常见时间、常见操作行为、……）；有账号也仅知其所需最小权限；梳理出的高权限账号的敏感操作进行重点关注。
数据尽量不落地，大部分操作在线即可完成，系统埋点要全面和准确；对于数据下载和外发格外关注，下载设备的DLP的健康状态和策略的有效性需要及时检查。

查看详情

无图

te tech.meituan.com / 2024-03-12 22:45

基于接口数据变异的App健壮性测试实践

本文主要介绍了对网络返回数据进行变异的客户端健壮性测试实践经验。文章第一部分介绍客户端健壮性测试的基本概念；第二部分分享了基于接口返回数据变异的App健壮性测试方案设计的思路；第三部分主要解读了变异数据的构造和异常检测方案设计；第四部分介绍了精简变异数据的探索方案。

查看详情

无图

th thiscute.world / 2024-03-12 22:32

个人数据安全不完全指南

这里介绍的并不是什么能一蹴而就获得超高安全性的傻瓜式方案，它需要你需要你有一定的技术背景跟时间投入，是一个长期的学习、实践与方案迭代的过程。另外如果你错误地使用了本文中介绍的工具或方案，可能反而会降低你的数据安全性，由此产生的任何损失与风险皆由你自己承担。

查看详情

无图

面向大数据的分布式调度

赞过的人

发表评论

相关分享