如何根据LLM的参数估算内存(显存)使用量 (it.deepinmind.com)

【简介】

理解像Mistral-7B这样的模型的内存需求量对于优化其部署和使用至关重要。对于考虑使用云计算服务进行模型训练和推理的人来说更是如此,因为它会影响到硬件的选择和整体成本。

点击查看原文 >>

@技术头条 2024-04-03 01:54 / 原作者微博:@Java译站 / 0个评论
赞过的人: @IT技术博客大学习
要不要再学学下面的文章?
什么是1-bit LLM (it.deepinmind.com)
生成式AI领域正在飞速发展,最新加入这个快速演进领域的是一1比特LLMs。你可能不相信,但它可以改变很多事情,并有助于消除与LLMs相关的一些最大挑战,尤其是它们庞大尺寸问题。

通常情况下(不总是这样),无论是LLMs还是逻辑回归等机器学习模型,其权重都以32位浮点数或16位浮点数的形式存储。

这就是为什么我们无法在本地系统和生产环境中使用GPT等大型模型的原因。因为这些模型具有大量权重,由于权重的高精度值导致模型体积庞大。
by @技术头条 2024-04-03 01:39 查看详情
JVM内存问题排查流程 (l1n.wang)
首先确认问题现象,可以通过服务状态,监控面板、日志信息、监控工具(VisualVM)等,确认问题类型:
1、内存使用率居高不下、内存缓慢增加、OOM等;
2、频繁GC:Full GC等;
发现问题不建议重启,留存状态。
by @技术头条 2024-03-12 22:26 查看详情
应用程序的内存是大还是小? (www.diguage.com)
应该在内存容量大的少量实例(即机器)上运行应用程序,还是在内存容量小的大量实例上运行应用程序?哪种策略是最佳的?这个问题可能会经常遇到。在开发应用程序长达 20 年,且构建了 JVM 性能工程/故障排除工具( GCeasy、 FastThread,、 HeapHero)之后,我仍然不知道这个问题的正确答案。同时,我相信这个问题也没有非黑即白的答案。在本文中,我想与大家分享一下我对这个问题的看法和经验。
by @技术头条 2024-01-13 23:50 查看详情
32 位的操作系统也能使用超过4G的内存-PAE 技术简介 (www.addesp.com)
阅读本文章前请确认对X86下的分页机制有最基本的了解,否则将难以理解本文中提到的内容。本文介绍的内容均位X86架构下的PAE技术,而不是ARM架构下的LPAE技术,虽然两者从本质来说是一样的。
by @技术头条 2023-11-06 23:32 查看详情
StealthHook - 一种在不修改内存保护的情况下挂钩函数的方法 (paper.seebug.org)
最近看了一下x86matthew关于hook方法的一篇文章,相对于传统的一些hook方式,个人认为StealthHook的最大优点并不在于不修改内存保护,而是其隐蔽性,这种hook方式是难以检测的,因为其没有直接作用于目标函数。

此hook方式,实际上并没有去hook目标函数,而是通过目标函数内的子函数,去获取了进入目标函数时,栈上保存的返回地址,通过修改这个地址,即可劫持执行流程,在函数返回前,执行我们的代码。
by @技术头条 2023-02-12 14:09 查看详情
可信执行环境之AMD内存加密技术概述 (blog.nsfocus.net)
本文将简单介绍主流可信执行环境技术之一的AMD内存加密技术,简述其技术架构、原理与应用场景。
by @技术头条 2023-01-04 23:42 查看详情
内存马的攻防博弈之旅之gRPC内存马 (blog.nsfocus.net)
内存马就是在系统动态创建对外提供服务的恶意后门接口,并且整个过程没有文件落地,全都在内存中执行,故称之为内存马。

目前已经有基于Filter,servlet,service,websocket等方式实现的内存马。本文将介绍利用gRPC协议的新型的内存马的实现与防御。
by @技术头条 2022-12-18 20:47 查看详情
Redis过期Key、内存回收的一些细节 (www.ipcpu.com)
Redis可以说是一个内存级数据库,受限于物理内存的大小,我们会限制Redis对内存的使用,这在Redis中主要体现在以下两个方面:
1、删除已经过期的Key;
2、内存使用达到maxmemory上限时触发内存溢出控制策略;
by @技术头条 2022-12-10 22:59 查看详情
K8S/Docker中对于容器内存的监控 (www.ipcpu.com)
在使用Docker或者Kubernetes时,我们经常需要监控容器或者Pod的内存,同时我们也经常收到反馈内存不准确的情况,这不仅是因为存在Buffer、Cache的影响,不同的算法指标也会得出不同的结果。

接下来我们先回顾下我们最古老的计算方法,然后分别取分析docker stats 和 kubectl top 中的内存计算方法。
by @技术头条 2022-12-10 22:58 查看详情
Java 正确获取对象内存地址的方式 (www.awaimai.com)
在本教程中,我们将了解如何在 Java 中查找对象的内存地址。

在此之前,我们需要说明的是,运行时数据区的内存布局不是 JVM 规范的一部分,完全由实现者自行决定。因此,每种 JVM 可能回用不同的策略布局内存中的对象和数组。

在本教程中,我们主要讨论 HotSpot JVM。
by @技术头条 2022-06-19 23:24 查看详情