spark源码分析之Executor启动与任务提交篇--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

bl blog.codingnow.com / 2026-05-10 18:35

嵌入主线程消息循环的任务调度器

这篇文章记录了 soluna/ltask 在移植到 wasm 和非 Windows 平台过程中遇到的一个典型工程难题：如何在主线程事件循环中执行特定任务，同时仍保留原有多线程调度模型。

问题的核心来自图形 API 和平台约束。sokol 并非线程安全，OpenGL 又依赖当前线程状态，而 wasm 环境下主线程、worker、pthread API 的边界进一步放大了调度复杂度。

作者的解决思路不是重写整个调度器，而是在 ltask 中“打洞”：让某些必须在主线程回调中执行的 Lua 任务，临时从调度表中移出，由主线程接管执行，完成后再归还给调度器。

文章最有价值的地方，是把 coroutine、Lua 虚拟机、C 栈、主线程事件循环和图形 API 约束放在同一个工程场景中分析。它不适合泛泛阅读，但对做游戏引擎、wasm 移植或复杂运行时调度的开发者很有参考价值。

查看详情

无图

pa paper.seebug.org / 2025-01-03 00:13

Qwen2 源码阅读——核心代码跟读

这篇文章深入探讨了现代内存管理中的漏洞利用技术，重点分析了堆布局操作的细节和在实际攻击中的应用场景。通过具体案例展示了如何构造和利用堆漏洞，揭示了内存分配机制中的潜在安全隐患。内容适合安全研究人员、漏洞挖掘工程师以及对内存安全和攻防技术感兴趣的技术爱好者，提供了深度学习和实践参考。

查看详情

无图

te tech.meituan.com / 2024-11-02 16:18

新一代实验分析引擎：驱动履约平台的数据决策

本文介绍了美团履约技术平台的新一代实验分析引擎，该引擎对核心实验框架进行了标准化，并融合了众多先进解决方案，有效解决小样本挑战。同时，提供了多样化的溢出效应应对策略，并针对不同业务场景提供了精准的方差和P值计算方法，以规避统计误差。希望对大家有所帮助或启发。

查看详情

无图

te tech.meituan.com / 2024-09-09 23:41

Spark向量化计算在美团生产环境的实践

美团在 Spark 生产环境中引入了向量化计算，使用 Gluten 和 Velox 框架，实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战，适合关注大数据优化的技术人员。

查看详情

无图

bl blog.codingnow.com / 2024-08-06 07:44

工人任务分配系统

在矮人要塞 like 的游戏中，都有一套基于工人的任务分发系统。玩家通常不能像 RTS 中那样直接操作工人去工作，而是对要做的事情下达任务，等着工人自主去完成。

由于任务数量通常远多于工人数量，这个任务分发系统中大多配有优先级设置，可以让诸多任务有条不紊的进行。调整优先级变成玩家主动操控的渠道。初玩这类游戏，会有点不习惯：感觉难以在微观层面直接做自己像做的事情。像捡块石头放进指定仓库这件事，无法像玩 RTS 游戏那样，先点选工人，再针对石头发出拾取指令…… 但习惯之后，恐怕又回不去了。比如我在玩 Ratopia 时，就对操控鼠王直接干活烦躁不已。

查看详情

无图

pa paper.seebug.org / 2024-03-12 22:49

通过漫游交换进行隐蔽访问的新型后门 GTPDOOR 分析

GTPDOOR 是一种基于 Linux 的恶意软件，旨在部署在邻近 GRX（GPRS 交换网络）的电信网络系统中，具有通过GTP-C（GPRS 隧道协议- 控制平面）信令消息传递 C2 流量的功能。这使得 C2 流量能够与正常流量混合，并重新利用可能对 GRX 网络开放且暴露的已允许端口。

查看详情

无图

l1 l1n.wang / 2024-01-17 23:09

HTTPS通信过程分析

为什么需要HTTPS？HTTP缺点： 1. 明文传输； 2.C/S两端不存在验证机制，无法确认对方身份，可能存在中间人攻击。

查看详情

无图

ix ixyzero.com / 2024-01-14 18:57

Nginx日志分析-MIME types

Nginx日志的分析，尤其是加白，在不是特别清楚功能和作用的情况下，还是应该细粒度的操作，比如先按照Content-Type加白，就比按照domain维度的加白粒度会更细一点，比按照uri来加白要更方便和准确一点。简单记录一下，方便后面有需要的时候参考。

查看详情

无图

bl blog.nsfocus.net / 2024-01-13 23:43

QUIC协议解析与DDoS攻击分析

QUIC（Quick UDP Internet Connections）协议是一种基于UDP的新型可靠传输协议，目前主要用于HTTP/3.0。近年来，现网中逐步发现了一些基于QUIC协议的DDoS攻击痕迹，并且友商也已经开始了关于QUIC协议的DDoS攻防相关研究。因此，ADS团队针对该协议进行了一系列的分析和实验，为相关的DDoS攻击防御技术研究打下基础。

查看详情

无图

pa paper.seebug.org / 2023-11-06 22:59

TinyInst 的插桩实现原理分析

TinyInst 是一个基于调试器原理的轻量级动态检测库，由 Google Project Zero 团队开源，支持 Windows、macOS、Linux 和 Android 平台。同 DynamoRIO、PIN 工具类似，解决二进制程序动态检测的需求，不过相比于前两者 TinyInst 更加轻量级，更加便于用户理解，更加便于程序员进行二次开发。

本文将通过分析 TinyInst 在 Windows 平台上的插桩源码，来理解 TinyInst 的基本运行原理；为后续调试 TinyInst 的衍生工具(如 Jackalope fuzzing 工具)或二次开发打下基础。

查看详情

无图

spark源码分析之Executor启动与任务提交篇

发表评论

相关分享