【Spark Summit EU 2016】在多核机器上提升Spark性能--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

te tech.meituan.com / 2024-09-09 23:41

Spark向量化计算在美团生产环境的实践

美团在 Spark 生产环境中引入了向量化计算，使用 Gluten 和 Velox 框架，实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战，适合关注大数据优化的技术人员。

无图

co colobu.com / 2024-09-08 23:34

四种字符串和bytes互相转换方式的性能比较

在 Go 中，字符串和字节数组的互转性能是很多开发者关注的问题。本文详细对比了四种转换方式，包括新型 unsafe 方法和 Kubernetes 实现，并通过 Benchmark 测试揭示了它们的性能差异。想要优化你的 Go 项目性能？不妨看看这篇详细的实测分析！

查看详情

无图

co colobu.com / 2024-08-06 07:51

“测试 Rust 的 I/O 性能”

这篇文章探讨了在Linux上使用Rust进行文件I/O操作的性能测试。作者通过多种方法对读取大文件进行基准测试，包括使用标准BufReader、Direct I/O、内存映射（Mmap）以及io_uring等技术。结果显示，使用AVX-512指令集的内存映射实现是最快的方法，其读取速度超过8.4 GB/s。文章强调不同技术的性能差异，并提供代码示例供开发者参考。

查看详情

无图

jo jokerbai.com / 2023-11-30 23:34

系统性能指标：洞察系统运行的关键脉搏

在当今数字时代，软件系统在我们的生活和工作中发挥着越来越重要的作用。我们需要确保这些系统能够在高负载、高并发的情况下稳定运行，为用户提供良好的体验。为了实现这一目标，我们需要关注系统性能监控指标，洞察系统运行的关键脉搏。本文将从指标分类、指标详细说明等方面介绍系统性能监控指标的相关知识，帮助你更好地理解和应用这些关键数据。

查看详情

无图

bl blog.codingnow.com / 2023-10-24 23:52

一个任务调度算法引起的性能问题

这两天遇到一个任务调度算法引起的性能问题，花了颇多精力排查和解决。问题出在我写的 ltask 这个 lua 多任务库上。ltask 最初是对 skynet 的一些反思中开始的，最初只是想换一种思路实现 skynet ：做一个库而不是框架、更少的锁竞争、避免服务因为消息队列堆积而过载……

查看详情

无图

co colobu.com / 2023-07-23 12:30

高性能批量读写网络包

虽然网络协议栈提供了丰富的功能，让我们可以方便的实现网络的数据交流，但是有时候我们对协议栈的性能还是不是那么满意的，前几篇文章我也介绍了通过XDP等技术高效处理网络数据的方式，但是毕竟XDP还没有那么广泛的应用，使用起来也还不是那么简单，如果我们通过编程语言提供的标准库来实现数据的读写，还怎么能提高性能呢？今天就介绍一种方式，批量的读写数据包。

查看详情

无图

le www.lesca.cn / 2023-07-23 11:38