相关分享
Spark向量化计算在美团生产环境的实践
美团在 Spark 生产环境中引入了向量化计算,使用 Gluten 和 Velox 框架,实现了大数据任务的加速和资源优化。本文详细讲解了 Spark 向量化的原理、性能提升以及美团的实施过程和遇到的挑战,适合关注大数据优化的技术人员。
四种字符串和bytes互相转换方式的性能比较
在 Go 中,字符串和字节数组的互转性能是很多开发者关注的问题。本文详细对比了四种转换方式,包括新型 unsafe 方法和 Kubernetes 实现,并通过 Benchmark 测试揭示了它们的性能差异。想要优化你的 Go 项目性能?不妨看看这篇详细的实测分析!
“测试 Rust 的 I/O 性能”
这篇文章探讨了在Linux上使用Rust进行文件I/O操作的性能测试。作者通过多种方法对读取大文件进行基准测试,包括使用标准BufReader、Direct I/O、内存映射(Mmap)以及io_uring等技术。结果显示,使用AVX-512指令集的内存映射实现是最快的方法,其读取速度超过8.4 GB/s。文章强调不同技术的性能差异,并提供代码示例供开发者参考。
系统性能指标:洞察系统运行的关键脉搏
在当今数字时代,软件系统在我们的生活和工作中发挥着越来越重要的作用。我们需要确保这些系统能够在高负载、高并发的情况下稳定运行,为用户提供良好的体验。为了实现这一目标,我们需要关注系统性能监控指标,洞察系统运行的关键脉搏。本文将从指标分类、指标详细说明等方面介绍系统性能监控指标的相关知识,帮助你更好地理解和应用这些关键数据。
一个任务调度算法引起的性能问题
这两天遇到一个任务调度算法引起的性能问题,花了颇多精力排查和解决。问题出在我写的 ltask 这个 lua 多任务库上。ltask 最初是对 skynet 的一些反思中开始的,最初只是想换一种思路实现 skynet :做一个库而不是框架、更少的锁竞争、避免服务因为消息队列堆积而过载……
新手如何快速参与开源项目
这半年时间大大小小提了十几个 PR ,也逐渐捋清楚了一些上手的方法和套路,所以如果你也想参与开源,但苦于不知道如何入门,看完后希望对你有所帮助。
高性能批量读写网络包
虽然网络协议栈提供了丰富的功能,让我们可以方便的实现网络的数据交流,但是有时候我们对协议栈的性能还是不是那么满意的,前几篇文章我也介绍了通过XDP等技术高效处理网络数据的方式,但是毕竟XDP还没有那么广泛的应用,使用起来也还不是那么简单,如果我们通过编程语言提供的标准库来实现数据的读写,还怎么能提高性能呢?今天就介绍一种方式,批量的读写数据包。
QNAP 威联通 SMB 掉速及性能提升
SMB 掉速和多方面因素有关:磁盘性能、网络吞吐、SMB 设置。
现在将从这三方面介绍如何测试瓶颈,以及提升。
通过编写嵌入式系统入门边缘计算
用于操控无线调制解调器的 AT 设备包是 RTOS 最流行的扩展功能之一。
RTOS 是一个开源的嵌入式设备操作系统,由 RT-Thread 开发。它为开发者提供了标准化的、友好的基础架构,开发者可以基于各种设备编写代码,它包含大量有用的类库和工具包,使开发过程更加便捷。
RTOS 使用的是模块方式,以便于扩展,这一点跟 Linux 类似。各种软件包可以让开发者将 RTOS 用于任何想要的目标设备。RTOS 最常用的一种扩展是 AT 设备包,它包含各种不同 AT 设备(例如调制解调器)的移植文件和示例代码。
在超过 62,000 次下载中(截止至撰写本文时),最流行的 RTOS 扩展之一是 AT 设备包,其中包括用于不同 AT 设备的移植文件和示例代码。
隐私计算在医疗行业的应用
隐私计算是指在提供隐私保护的前提下,实现数据价值挖掘的技术体系,目前主要包括三大核心技术,分别是:联邦学习(Federated Learning)、安全多方计算(Secure Multi-Party Computation)和可信执行环境(Trusted Execution Environment)。 隐私计算基于同态加密和密码学底层协议,可以实现“数据可用不可见”的效果,在满足法律法规和数据安全的条件下,加速数据的流转。
