在大型Spark应用中，很大一部分稳定性和性能的调试都应该花在JVM的GC上面。Intel上海团队编写的这篇文章深入浅出，从GC原理到具体参数调节，专门针对Spark JVM GC性能调优。 来自：@hashjoin (databricks.com)
由 @技术头条 2015-05-30 11:03 / 0个评论
赞过的人： @技术头条
要不要再学学下面的文章？
使用eBPF编写系统调用跟踪器 (colobu.com)
本文总结了如何使用eBPF编写一个名为BeeTracer的系统调用跟踪器。文章介绍了eBPF的基本概念及其优势，并详细描述了在Rust中实现该工具的步骤。通过利用eBPF的tracepoints和maps功能，BeeTracer可以高效地捕获并记录Linux系统调用的细节。作者还提供了代码示例，展示了如何在内核空间进行实时跟踪。
by @技术头条 2024-08-06 07:57 查看详情
“测试 Rust 的 I/O 性能” (colobu.com)
这篇文章探讨了在Linux上使用Rust进行文件I/O操作的性能测试。作者通过多种方法对读取大文件进行基准测试，包括使用标准BufReader、Direct I/O、内存映射（Mmap）以及io_uring等技术。结果显示，使用AVX-512指令集的内存映射实现是最快的方法，其读取速度超过8.4 GB/s。文章强调不同技术的性能差异，并提供代码示例供开发者参考。
by @技术头条 2024-08-06 07:51 查看详情
DDD在大众点评交易系统演进中的应用 (tech.meituan.com)
本文整理自美团技术沙龙第73期《基于领域驱动设计（DDD）的架构演进和实践》，主要介绍了DDD的核心概念、常见的设计思路，并结合DDD介绍大众点评交易系统的演进过程，最后做了一些总结和思考。希望这些内容能够对大家有所帮助或启发。
by @技术头条 2024-08-06 07:50 查看详情
如何根据LLM的参数估算内存（显存）使用量 (it.deepinmind.com)
理解像Mistral-7B这样的模型的内存需求量对于优化其部署和使用至关重要。对于考虑使用云计算服务进行模型训练和推理的人来说更是如此，因为它会影响到硬件的选择和整体成本。
by @技术头条 2024-04-03 01:54 查看详情
百亿大规模图在广告场景的应用 (tech.meituan.com)
本文通过搜索推荐项目进行外卖搜索广告弱供给填充，提高流量变现效率。我们提出外卖多场景异构大图、异构大图在线建模技术演进路线，解决外卖搜索推荐业务多渠道、即时化的挑战。相关成果发表CIKM2023会议一篇。联合机器学习平台搭建大规模图训练、在线推理引擎GraphET，满足近百亿边规模、复杂图结构的多个业务落地。
by @技术头条 2024-03-31 21:17 查看详情
从存储模型聊一聊时序数据库的应用场景 (www.codedump.info)
本文介绍时序数据库的存储模型，只有理解了时序数据的存储模型，才能更好的了解时序数据库的优缺点以及其适用场景。
by @技术头条 2024-03-21 23:25 查看详情
Memcached的存储原理解析 (www.codedump.info)
最近工作上的需要，需要做一个LRU形式管理内存的分配器，首先想到的就是Memcached这个项目。早些年粗略的看过一些，有个大体的了解，这一次看下来发现其LRU算法做了不少的改动。
by @技术头条 2024-03-21 23:21 查看详情
B树、B+树索引算法原理（下） (www.codedump.info)
在上一篇文章中，介绍了数据库索引的简单概念，以及B树的结构及核心算法，这一篇将继续介绍B树的变形B+树。
by @技术头条 2024-03-21 23:02 查看详情
B树、B+树索引算法原理（上） (www.codedump.info)
这一段时间由于在阅读boltdb代码的缘故，找机会学习了B树及B+树的算法原理，这个系列会花两个篇幅分别介绍这两种数据结构的实现，其用于数据库索引中的基本原理。
by @技术头条 2024-03-21 23:01 查看详情
使用零一万物 200K 模型和 Dify 快速搭建模型应用 (soulteary.com)
本篇文章，我们聊聊如何使用 LLM IDE (Dify) 快速搭建一个模型应用，以及使用超长上下文的 200K 模型，完成懒人式的电子书翻译。
by @技术头条 2024-03-21 22:55 查看详情
使用微博登录，分享你的文章到本站