什么是1-bit LLM (it.deepinmind.com)

【简介】

生成式AI领域正在飞速发展,最新加入这个快速演进领域的是一1比特LLMs。你可能不相信,但它可以改变很多事情,并有助于消除与LLMs相关的一些最大挑战,尤其是它们庞大尺寸问题。

通常情况下(不总是这样),无论是LLMs还是逻辑回归等机器学习模型,其权重都以32位浮点数或16位浮点数的形式存储。

这就是为什么我们无法在本地系统和生产环境中使用GPT等大型模型的原因。因为这些模型具有大量权重,由于权重的高精度值导致模型体积庞大。

点击查看原文 >>

@技术头条 2024-04-03 01:39 / 原作者微博:@Java译站 / 0个评论
赞过的人: @IT技术博客大学习
要不要再学学下面的文章?
如何根据LLM的参数估算内存(显存)使用量 (it.deepinmind.com)
理解像Mistral-7B这样的模型的内存需求量对于优化其部署和使用至关重要。对于考虑使用云计算服务进行模型训练和推理的人来说更是如此,因为它会影响到硬件的选择和整体成本。
by @技术头条 2024-04-03 01:54 查看详情