BR 技术头条 技术链接、资讯与社区分享流

相关分享

te tech.meituan.com / 2024-09-09 23:41

Spark向量化计算在美团生产环境的实践

美团在 Spark 生产环境中引入了向量化计算，使用 Gluten 和 Velox 框架，实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战，适合关注大数据优化的技术人员。

查看详情
无图
bl blog.codingnow.com / 2024-03-13 13:20

以非阻塞方式执行一个函数

用过 skynet 的应该都碰到过：当我们在服务中不小心调用了一个长时间运行而不返回的 C 函数，会独占一个工作线程。同时，这个被阻塞的服务也无法处理新的消息。一旦这种情况发生，看似是无解的。我们通常认为，是设计问题导致了这种情况发生。skynet 的框架在监测到这种情况发生时，会输出 maybe in an endless loop 。

如果是 Lua 函数产生的死循环，可以通过发送 signal 打断正在运行运行的 Lua 虚拟机，但如果是陷入 C 函数中，只能事后追查 bug 了。

那么，如果我原本就预期一段 C 代码会运行很长时间，有没有可能从底层支持以非阻塞方式运行这段代码呢？即，在这段代码运行期间，该服务还可以接收并处理新的消息？

查看详情
无图
al www.alloyteam.com / 2022-07-24 21:17

Webpack 打包后代码执行时机分析与优化

代码执行时机将决定着是否能够正常执行，当依赖文件没加载完成就开始执行、使用对应模块，那么将会导致执行异常。这在 “存在资源加载失败时，加载重试影响原来文件的执行顺序” 的场景下尤为常见。

webpack 构建除了进行模块依赖管理，实际上，也天然地管理了 entry 与 chunk 多文件的执行时机，但缺少了对 external 文件管理，当 external 文件加载失败或未完成时，执行、使用对应模块同样将导致异常。为此，wait-external-webpack-plugin 应运而生，以 webpack 插件的形式，补充 external 的执行管理。本文将进行简要说明。

查看详情
无图
mp mp.weixin.qq.com / 2021-07-25 22:00

MyBatis的执行流程，写得太好了！

MyBatis可能很多人都一直在用，但是MyBatis的SQL执行流程可能并不是所有人都清楚了，那么既然进来了，通读本文你将收获如下：

查看详情
无图
de developer.aliyun.com / 2020-11-04 10:01

用 Mars Remote API 轻松分布式执行 Python 函数

Mars 是一个并行和分布式 Python 框架，能轻松把单机大家耳熟能详的的 numpy、pandas、scikit-learn 等库，以及 Python 函数利用多核或者多机加速。这其中，并行和分布式 Python 函数主要利用 Mars Remote API。

查看详情
无图
mp mp.weixin.qq.com / 2020-05-18 13:36

这款神器，能把 Python 代码执行过程看地一清二楚

对于一些刚入门 Python 的朋友来说，代码稍微复杂些就难以搞懂代码内部到底是怎么运行的了，而且有时一运行就报错，难以一下发现错误，只会用 Print 去慢慢找异常的地方，效率很低下。

查看详情
无图
mp mp.weixin.qq.com / 2020-03-15 18:15

这款神器，能把 Python 代码执行过程看地一清二楚

对于一些刚入门 Python 的朋友来说，代码稍微复杂些就难以搞懂代码内部到底是怎么运行的了，而且有时一运行就报错，难以一下发现错误，只会用 Print 去慢慢找异常的地方，效率很低下。

查看详情
无图
yq yq.aliyun.com / 2019-12-05 17:07

Spark在MaxCompute的运行方式

左侧是原生Spark的架构图，右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上，该平台可以原生支持开源社区Yarn所支持的计算框架，如Spark等。

查看详情
无图
yq yq.aliyun.com / 2019-11-15 15:24

Apache Flink 进阶（六）：Flink 作业执行深度解析

本文根据 Apache Flink 系列直播课程整理而成，由 Apache Flink Contributor、网易云音乐实时计算平台研发工程师岳猛分享。主要分享内容为 Flink Job 执行作业的流程，文章将从两个方面进行分享：一是如何从 Program 到物理执行计划，二是生成物理执行计划后该如何调度和执行。

查看详情
无图