CPU 混合推理,非常见大模型量化方案:“二三五六” 位量化 (soulteary.com)

【简介】

本篇文章聊聊网上聊的比较少的具体量化操作,非常见整型位数的量化,来自让各种开源模型能够在 CPU 环境、CPU & GPU 环境混合推理的技术方案:llama.cpp 。

点击查看原文 >>

@技术头条 2023-12-26 22:06 / 原作者微博:@soulteary / 0个评论
赞过的人: @IT技术博客大学习
要不要再学学下面的文章?
iOS备用机自动充电方案 (www.leavesongs.com)
炫酷一下,为了能让备用机一直有电,计划将备用机插在智能插座上,然后通过iOS的Shortcuts来监控手机电量——当手机电量小于30%的时候自动开启插座;当手机电量充到80%的时候自动关闭插座。
by @技术头条 2024-01-28 23:59 查看详情
白话 Pulsar Bookkeeper 的存储模型 (crossoverjie.top)
最近我们的 Pulsar 存储有很长一段时间数据一直得不到回收,但消息确实已经是 ACK 了,理论上应该是会被回收的,随着时间流逝不但没回收还一直再涨,最后在没找到原因的情况下就只有一直不停的扩容。

为了防止类似的问题再次发生,我们希望可以监控到磁盘维度,能够列出各个日志文件的大小以及创建时间。

这时就需要对 Pulsar 的存储模型有一定的了解,也就有了这篇文章。
by @技术头条 2024-01-17 23:10 查看详情
MinIO的分布式存储实践方案 (l1n.wang)
MinIO是一个开源的分布式对象存储组件,它兼容Amazon S3API,适合于存储大容量的非结构化数据,支持单个对象最大5TB。MinIO特点:部署简单,仅需要单独一个二进制文件;支持纠删码机制,能恢复部分数据块丢失的情况;读写性能高。
by @技术头条 2024-01-17 23:07 查看详情
Kubernetes OOM和CPU节流 (jokerbai.com)
使用 Kubernetes 时,内存不足 (OOM) 错误和 CPU 节流是云应用程序中资源处理的主要难题。
这是为什么?
云应用程序中的 CPU 和内存要求变得越来越重要,因为它们与您的云成本直接相关。
通过 limits 和 requests ,您可以配置 pod 应如何分配内存和 CPU 资源,以防止资源匮乏并调整云成本。
如果节点没有足够的资源, Pod 可能会通过抢占或节点压力被驱当一个进程运行内存不足 (OOM) 时,它会被终止,因为它没有所需的资源。
如果 CPU 消耗高于实际限制,进程将开始节流。
但是,如何主动监控 Kubernetes Pod 到达 OOM 和 CPU 节流的距离有多近?
by @技术头条 2023-12-01 09:47 查看详情
开源软件 FFmpeg 生成模型使用图片数据集 (soulteary.com)
本篇文章聊聊,成就了无数视频软件公司、无数在线视频网站、无数 CDN 云服务厂商的开源软件 [ffmpeg]。分享下如何使用它将各种视频或电影文件,转换成上万张图片数据集、壁纸集合,来让下一篇文章中的模型程序“有米下锅”,这个方法特别适合宫崎骏、新海诚这类“壁纸合集”类电影。
by @技术头条 2023-11-29 23:44 查看详情
从登录会话看AD域分层管理模型 (blog.nsfocus.net)
AD(Active Directory)域中高权限用户的凭据泄露是最常见和严重的风险之一,实战中被攻击者利用会迅速导致域控失陷。本文介绍了现阶段可以从技术层面和管理层面遏制这类风险的技术方法和管理模型。
by @技术头条 2023-11-06 22:54 查看详情
从登录会话看AD域分层管理模型 (blog.nsfocus.net)
AD(Active Directory)域中高权限用户的凭据泄露是最常见和严重的风险之一,实战中被攻击者利用会迅速导致域控失陷。本文介绍了现阶段可以从技术层面和管理层面遏制这类风险的技术方法和管理模型。
by @技术头条 2023-11-06 22:54 查看详情
一个 MySQL 数据库死锁的案例和解决方案 (mazhuang.org)
本文介绍了一个 MySQL 数据库死锁的案例和解决方案。
by @技术头条 2023-09-10 23:29 查看详情
廉价的家用工作站方案:ThinkPad 存储升级及数据迁移 (soulteary.com)
最近,给当台式服务器一样使用了两年的 ThinkPad 做了存储升级和数据迁移,对硬盘也做了额外的散热处理。本篇文章里,我们分享下相关的经验和思考,希望能够帮助到有同样诉求的你。
by @技术头条 2023-09-10 23:14 查看详情
廉价的全闪存雷电 NAS 折腾笔记:组网方案的选择 (soulteary.com)
如何用最少的成本,来获得最大的性能提升呢?

为了最大化获取网络性能,最少的折腾现有设备,降低成本投入,结合我只需要部分设备之间存在更高规格的带宽,我选择了相对不常见的方案:雷电组网(thunderbolt)。
by @技术头条 2023-09-10 23:13 查看详情