spark源码分析之任务调度篇
spark源码分析之任务调度篇
相关分享
0
喜欢
bl
blog.codingnow.com
/
2026-05-10 18:35
嵌入主线程消息循环的任务调度器
这篇文章记录了 soluna/ltask 在移植到 wasm 和非 Windows 平台过程中遇到的一个典型工程难题：如何在主线程事件循环中执行特定任务，同时仍保留原有多线程调度模型。
问题的核心来自图形 API 和平台约束。sokol 并非线程安全，OpenGL 又依赖当前线程状态，而 wasm 环境下主线程、worker、pthread API 的边界进一步放大了调度复杂度。
作者的解决思路不是重写整个调度器，而是在 ltask 中“打洞”：让某些必须在主线程回调中执行的 Lua 任务，临时从调度表中移出，由主线程接管执行，完成后再归还给调度器。
文章最有价值的地方，是把 coroutine、Lua 虚拟机、C 栈、主线程事件循环和图形 API 约束放在同一个工程场景中分析。它不适合泛泛阅读，但对做游戏引擎、wasm 移植或复杂运行时调度的开发者很有参考价值。
无图
1
喜欢
pa
paper.seebug.org
/
2025-01-03 00:13
Qwen2 源码阅读——核心代码跟读
这篇文章深入探讨了现代内存管理中的漏洞利用技术，重点分析了堆布局操作的细节和在实际攻击中的应用场景。通过具体案例展示了如何构造和利用堆漏洞，揭示了内存分配机制中的潜在安全隐患。内容适合安全研究人员、漏洞挖掘工程师以及对内存安全和攻防技术感兴趣的技术爱好者，提供了深度学习和实践参考。
无图
1
喜欢
te
tech.meituan.com
/
2024-11-02 16:18
新一代实验分析引擎：驱动履约平台的数据决策
本文介绍了美团履约技术平台的新一代实验分析引擎，该引擎对核心实验框架进行了标准化，并融合了众多先进解决方案，有效解决小样本挑战。同时，提供了多样化的溢出效应应对策略，并针对不同业务场景提供了精准的方差和P值计算方法，以规避统计误差。希望对大家有所帮助或启发。
无图
1
喜欢
te
tech.meituan.com
/
2024-09-09 23:41
Spark向量化计算在美团生产环境的实践
美团在 Spark 生产环境中引入了向量化计算，使用 Gluten 和 Velox 框架，实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战，适合关注大数据优化的技术人员。
无图
1
喜欢
bl
blog.codingnow.com
/
2024-08-06 07:44
工人任务分配系统
在矮人要塞 like 的游戏中，都有一套基于工人的任务分发系统。玩家通常不能像 RTS 中那样直接操作工人去工作，而是对要做的事情下达任务，等着工人自主去完成。
由于任务数量通常远多于工人数量，这个任务分发系统中大多配有优先级设置，可以让诸多任务有条不紊的进行。调整优先级变成玩家主动操控的渠道。初玩这类游戏，会有点不习惯：感觉难以在微观层面直接做自己像做的事情。像捡块石头放进指定仓库这件事，无法像玩 RTS 游戏那样，先点选工人，再针对石头发出拾取指令…… 但习惯之后，恐怕又回不去了。比如我在玩 Ratopia 时，就对操控鼠王直接干活烦躁不已。
无图
1
喜欢
pa
paper.seebug.org
/
2024-03-12 22:49
通过漫游交换进行隐蔽访问的新型后门 GTPDOOR 分析
GTPDOOR 是一种基于 Linux 的恶意软件，旨在部署在邻近 GRX（GPRS 交换网络）的电信网络系统中，具有通过GTP-C（GPRS 隧道协议- 控制平面）信令消息传递 C2 流量的功能。这使得 C2 流量能够与正常流量混合，并重新利用可能对 GRX 网络开放且暴露的已允许端口。
无图
0
喜欢
l1
l1n.wang
/
2024-01-17 23:09
HTTPS通信过程分析
为什么需要HTTPS？HTTP缺点： 1. 明文传输； 2.C/S两端不存在验证机制，无法确认对方身份，可能存在中间人攻击。
无图
0
喜欢
ix
ixyzero.com
/
2024-01-14 18:57
Nginx日志分析-MIME types
Nginx日志的分析，尤其是加白，在不是特别清楚功能和作用的情况下，还是应该细粒度的操作，比如先按照Content-Type加白，就比按照domain维度的加白粒度会更细一点，比按照uri来加白要更方便和准确一点。简单记录一下，方便后面有需要的时候参考。
无图
0
喜欢
bl
blog.nsfocus.net
/
2024-01-13 23:43
QUIC协议解析与DDoS攻击分析
QUIC（Quick UDP Internet Connections）协议是一种基于UDP的新型可靠传输协议，目前主要用于HTTP/3.0。近年来，现网中逐步发现了一些基于QUIC协议的DDoS攻击痕迹，并且友商也已经开始了关于QUIC协议的DDoS攻防相关研究。因此，ADS团队针对该协议进行了一系列的分析和实验，为相关的DDoS攻击防御技术研究打下基础。
无图
1
喜欢
pa
paper.seebug.org
/
2023-11-06 22:59
TinyInst 的插桩实现原理分析
TinyInst 是一个基于调试器原理的轻量级动态检测库，由 Google Project Zero 团队开源，支持 Windows、macOS、Linux 和 Android 平台。同 DynamoRIO、PIN 工具类似，解决二进制程序动态检测的需求，不过相比于前两者 TinyInst 更加轻量级，更加便于用户理解，更加便于程序员进行二次开发。
本文将通过分析 TinyInst 在 Windows 平台上的插桩源码，来理解 TinyInst 的基本运行原理；为后续调试 TinyInst 的衍生工具(如 Jackalope fuzzing 工具)或二次开发打下基础。
无图