什么是1-bit LLM (it.deepinmind.com)

【简介】

生成式AI领域正在飞速发展，最新加入这个快速演进领域的是一1比特LLMs。你可能不相信，但它可以改变很多事情，并有助于消除与LLMs相关的一些最大挑战，尤其是它们庞大尺寸问题。

通常情况下（不总是这样），无论是LLMs还是逻辑回归等机器学习模型，其权重都以32位浮点数或16位浮点数的形式存储。

这就是为什么我们无法在本地系统和生产环境中使用GPT等大型模型的原因。因为这些模型具有大量权重，由于权重的高精度值导致模型体积庞大。

点击查看原文 >>

由 @技术头条 2024-04-03 01:39 / 原作者微博：@Java译站 / 0个评论
要不要再学学下面的文章？
如何根据LLM的参数估算内存（显存）使用量 (it.deepinmind.com)
理解像Mistral-7B这样的模型的内存需求量对于优化其部署和使用至关重要。对于考虑使用云计算服务进行模型训练和推理的人来说更是如此，因为它会影响到硬件的选择和整体成本。
by @技术头条 2024-04-03 01:54 查看详情
使用微博登录，分享你的文章到本站