实战经验 | Cassandra Java堆外内存排查经历全记录--技术头条 -- 微博大V帮你宣传技术博文开发者头条码农头条

实战经验 | Cassandra Java堆外内存排查经历全记录 (yq.aliyun.com)

【简介】

最近准备上线cassandra这个产品，同事在做一些小规格ECS(8G)的压测。压测时候比较容易触发OOM Killer，把cassandra进程干掉。问题是8G这个规格我配置的heap(Xmx)并不高（约6.5g）已经留出了足够的空间给系统。只有可能是Java堆外内存使用超出预期，导致RES增加，才可能触发OOM。

点击查看原文 >>

由 @可耐芊小仙女 2019-08-26 15:50 / 0个评论

如何根据LLM的参数估算内存（显存）使用量 (it.deepinmind.com)

理解像Mistral-7B这样的模型的内存需求量对于优化其部署和使用至关重要。对于考虑使用云计算服务进行模型训练和推理的人来说更是如此，因为它会影响到硬件的选择和整体成本。

by @技术头条 2024-04-03 01:54 查看详情

记一次无法弹出移动硬盘的记录 (lisenhui.cn)

或许在当下云计算时代，已经很少有人会用到移动硬盘或U盘的经验，亦或者大多数人都没有弹出移动设备后再拨出的习惯。笔者因早年在使用U盘时经历过直接拨出U盘导致其报废的“惨痛”教训，因此对移出设备的操作是铭记于心，万不敢直接拨插移动设备。但就是这个只需点击一次移出设备的操作，很多时候就会让我们有些烦恼，因为它有时候总喜欢和你对着干。这不今天就遇上一件无法解释的诡异现象:移动硬盘无法弹出，尝试过之前的各种妙招后仍是无济于事，最后也只是能祭出万能的关机大法才算是得以解脱。

by @技术头条 2024-03-13 13:20 查看详情

JVM内存问题排查流程 (l1n.wang)

首先确认问题现象，可以通过服务状态，监控面板、日志信息、监控工具（VisualVM）等，确认问题类型：
1、内存使用率居高不下、内存缓慢增加、OOM等；
2、频繁GC：Full GC等；
发现问题不建议重启，留存状态。

by @技术头条 2024-03-12 22:26 查看详情

Java SPI机制学习与常用框架SPI案例 (l1n.wang)

SPI（Service ProviderInterface）是JDK内置的服务提供机制，常用于框架的动态扩展，类似于可拔插机制。提供方将接口实现类配置在classpath下的指定位置，调用方读取并加载。当提供方发生变化时，接口的实现也会改变。Java生态中JDK、Dubbo、Spring等都通过SPI提供了动态扩展的能力。

by @技术头条 2024-01-17 23:19 查看详情

解析Java动态代理机制的实现 (l1n.wang)

代理模式主要是Proxy对原始方法做了一层包装，用以增加一些新的统一处理逻辑，来增强目标对象的功能。静态代理是传统设计模式中一种传统的实现方案，动态代理能将代理对象的创建延迟到程序运行阶段。

by @技术头条 2024-01-17 23:16 查看详情

Java ZGC 调优 (www.diguage.com)

本篇文章讨论了 ZGC 的各种 JVM 调整参数，旨在优化其在 Java 应用程序中的性能。通过利用这些调整选项，开发人员可以对 ZGC 进行微调，以根据其特定需求提供最佳性能。此外，仔细分析 GC 日志和监控 ZGC 的行为可以为了解其性能特征提供有价值的信息。通过尝试使用这些调整参数并密切监控 GC 日志，开发人员可以释放 ZGC 的全部潜能，并确保其 Java 应用程序中的垃圾回收效率。

by @技术头条 2024-01-14 18:58 查看详情

应用程序的内存是大还是小？ (www.diguage.com)

应该在内存容量大的少量实例（即机器）上运行应用程序，还是在内存容量小的大量实例上运行应用程序？哪种策略是最佳的？这个问题可能会经常遇到。在开发应用程序长达 20 年，且构建了 JVM 性能工程/故障排除工具（ GCeasy、 FastThread,、 HeapHero）之后，我仍然不知道这个问题的正确答案。同时，我相信这个问题也没有非黑即白的答案。在本文中，我想与大家分享一下我对这个问题的看法和经验。

by @技术头条 2024-01-13 23:50 查看详情

32 位的操作系统也能使用超过4G的内存-PAE 技术简介 (www.addesp.com)

阅读本文章前请确认对X86下的分页机制有最基本的了解，否则将难以理解本文中提到的内容。本文介绍的内容均位X86架构下的PAE技术，而不是ARM架构下的LPAE技术，虽然两者从本质来说是一样的。

by @技术头条 2023-11-06 23:32 查看详情

记录一下当年把 FreeBSD 中 zlib 砍到只剩一份的过程 (blog.delphij.net)

软件项目中，实现同一功能的源代码只保留一份是一项十分重要的最佳实践，这种做法可以带来许多显而易见的好处。

FreeBSD 是一个有相当长历史的项目，而 zlib 是一个很常用的库，并且当时在整个系统中有多处不同的副本，因此我们希望这个迁移的过程尽可能平滑而尽量不要直接导致整个项目无法联编，或是需要长时间禁用某些模块的情况。

by @技术头条 2023-10-24 23:52 查看详情

HDFS的一些知识点记录 (ixyzero.com)

HDFS的内部数据安全风险很多，总的来看，对于内部监控来说，一方面是将本来限制在IDC内部才可访问的Hadoop相关系统通过WebHDFS等HTTP(S)形式的API对办公网或外部进行了开放，扩大了攻击面，这个需要从Web/API层面去做分析和监控预警；另一方面是安全认证/加密等措施执行不到位，导致攻击者只要获取到master/namenode等地址信息就可以直接通过alluxio/hadoop等客户端直连，然后通过文件拷贝等方式获取parquet文件从而拿到敏感数据完成攻击，这个需要从主机层的异常命令操作分析来监控预警相关风险。

by @技术头条 2023-09-10 23:29 查看详情