要不要再学学下面的文章?
如何根据LLM的参数估算内存(显存)使用量 (it.deepinmind.com)
理解像Mistral-7B这样的模型的内存需求量对于优化其部署和使用至关重要。对于考虑使用云计算服务进行模型训练和推理的人来说更是如此,因为它会影响到硬件的选择和整体成本。
by @技术头条 2024-04-03 01:54 查看详情
学会快速地估算 (blog.devtang.com)
这个世界上,任何决策都会有支持它的理由和反对它的理由。而如果你把这些理由都写到纸上的话,你会发现一开始很难做决策。
为了做出好的决策,你首先就会给这些理由赋予权重。通过权重,你就能做减法,把相对不重要的因素给忽略掉,关注核心的矛盾。
一个好的决策,就是关注到核心问题后的权衡。而估算,可以帮助我们快速收集决策因素。
by @技术头条 2022-06-19 19:21 查看详情