it it.deepinmind.com / 2024-04-03 01:54 / by @技术头条 / 原作者：@Java译站

如何根据LLM的参数估算内存（显存）使用量

打开原文喜欢 1 请先微博登录后参与 0 条评论

本机暂存

理解像Mistral-7B这样的模型的内存需求量对于优化其部署和使用至关重要。对于考虑使用云计算服务进行模型训练和推理的人来说更是如此，因为它会影响到硬件的选择和整体成本。

赞过的人

so soulteary.com / 2025-01-12 12:02

突破内存限制：Mac Mini M2 服务器化实践指南

文章介绍了如何将 Mac Mini M2 转变为高性价比的服务器，突破内存限制。作者通过安装 Ubuntu 系统，利用持久化 KV 系统替代传统 Redis，优化内存与硬盘的数据交换，提升性能。适合对家庭服务器搭建、Mac Mini 改造、Linux 系统部署感兴趣的技术爱好者和开发者。

查看详情

无图

zh www.zhangxinxu.com / 2025-01-03 00:13

如何使用JS获取系统内存、CPU/GPU、电量等信息

这篇文章讲解了如何通过 JavaScript 获取设备的内存、CPU、GPU 和电池等硬件信息，详细介绍了可用的 API、兼容性及实践场景。通过代码示例和性能分析，展示了如何在前端优化中合理利用这些数据。内容适合从事前端开发的工程师以及关注性能优化和用户体验提升的技术人员，提供了实用的开发参考。

查看详情

无图

it it.deepinmind.com / 2024-04-03 01:39

生成式AI领域正在飞速发展，最新加入这个快速演进领域的是一1比特LLMs。你可能不相信，但它可以改变很多事情，并有助于消除与LLMs相关的一些最大挑战，尤其是它们庞大尺寸问题。

通常情况下（不总是这样），无论是LLMs还是逻辑回归等机器学习模型，其权重都以32位浮点数或16位浮点数的形式存储。

这就是为什么我们无法在本地系统和生产环境中使用GPT等大型模型的原因。因为这些模型具有大量权重，由于权重的高精度值导致模型体积庞大。

查看详情

无图

l1 l1n.wang / 2024-03-12 22:26

JVM内存问题排查流程

首先确认问题现象，可以通过服务状态，监控面板、日志信息、监控工具（VisualVM）等，确认问题类型：
1、内存使用率居高不下、内存缓慢增加、OOM等；
2、频繁GC：Full GC等；
发现问题不建议重启，留存状态。

查看详情

无图

di www.diguage.com / 2024-01-13 23:50

应用程序的内存是大还是小？

应该在内存容量大的少量实例（即机器）上运行应用程序，还是在内存容量小的大量实例上运行应用程序？哪种策略是最佳的？这个问题可能会经常遇到。在开发应用程序长达 20 年，且构建了 JVM 性能工程/故障排除工具（ GCeasy、 FastThread,、 HeapHero）之后，我仍然不知道这个问题的正确答案。同时，我相信这个问题也没有非黑即白的答案。在本文中，我想与大家分享一下我对这个问题的看法和经验。

查看详情

无图

ad www.addesp.com / 2023-11-06 23:32

32 位的操作系统也能使用超过4G的内存-PAE 技术简介

阅读本文章前请确认对X86下的分页机制有最基本的了解，否则将难以理解本文中提到的内容。本文介绍的内容均位X86架构下的PAE技术，而不是ARM架构下的LPAE技术，虽然两者从本质来说是一样的。

查看详情

无图

pa paper.seebug.org / 2023-02-12 14:09

StealthHook - 一种在不修改内存保护的情况下挂钩函数的方法

最近看了一下x86matthew关于hook方法的一篇文章，相对于传统的一些hook方式，个人认为StealthHook的最大优点并不在于不修改内存保护，而是其隐蔽性，这种hook方式是难以检测的，因为其没有直接作用于目标函数。

此hook方式，实际上并没有去hook目标函数，而是通过目标函数内的子函数，去获取了进入目标函数时，栈上保存的返回地址，通过修改这个地址，即可劫持执行流程，在函数返回前，执行我们的代码。

查看详情

无图

bl blog.nsfocus.net / 2023-01-04 23:42