现代化的缓存设计方案 (ifeve.com)

【简介】

缓存是提升性能的通用方法，现在大多数的缓存实现都使用了经典的技术。这篇文章中，我们会发掘 Caffeine 中的现代化的实现方法。Caffeine 是一个开源的 Java 缓存库，它能提供高命中率和出色的并发能力。期望读者们能被这些想法激发，进而将它们应用到任何你喜欢的编程语言中。

驱逐策略

缓存的驱逐策略是为了预测哪些数据在短期内最可能被再次用到，从而提升缓存的命中率。由于简洁的实现、高效的运行时表现，以及在常规的使用场景下有不错的命中率，LRU（Least Recently Used）策略或许是最流行的驱逐策略。但 LRU 通过历史数据来预测未来是局限的，它会认为最后到来的数据是最可能被再次访问的，从而给与它最高的优先级。

现代缓存扩展了对历史数据的使用，结合就近程度（recency）和访问频次（frequency）来更好的预测数据。其中一种保留历史信息的方式是使用 popularity sketch（一种压缩、概率性的数据结构）来从一大堆访问事件中定位频繁的访问者。可以参考 CountMin Sketch 算法，它由计数矩阵和多个哈希方法实现。发生一次读取时，矩阵中每行对应的计数器增加计数，估算频率时，取数据对应是所有行中计数的最小值。这个方法让我们从空间、效率、以及适配矩阵的长宽引起的哈希碰撞的错误率上做权衡。

点击查看原文 >>

由 @技术头条 2017-03-23 23:48 / 原作者微博：@并发编程网站 / 0个评论
赞过的人： @IT技术博客大学习
要不要再学学下面的文章？
对比脚本型和编译型游戏服务器的热更新方案 (www.codedump.info)
本文对比游戏服务器中C++搭配脚本语言（Lua、Python）以及纯编译型语言（C++、Golang）来进行开发时，进行线上服务器热更新的方案。
by @技术头条 2024-03-21 23:21 查看详情
IM服务器设计-如何解决消息的乱序 (www.codedump.info)
IM消息需要面对的另一个难题：如何保证收到的消息不乱序。下面先展开看看要解决这个难题有哪些障碍。
by @技术头条 2024-03-21 23:00 查看详情
IM服务器设计-网关接入层 (www.codedump.info)
IM服务系列文章： IM服务器设计-基础 IM服务器设计-消息存储 网关接入层负责维护与客户端之间的长连接，由于它是唯一一个与客户端进行直接通信的服务入口，
by @技术头条 2024-03-21 23:00 查看详情
IM服务器设计-消息存储 (www.codedump.info)
这部分专门讲述IM消息存储的设计。消息存储的难度在于，要考虑以下的场景：

1、离线消息存储。即发送消息时对方不在线该怎么处理。
2、单聊、群聊消息。
3、随着用户量越来越大，应该以后如何扩展。
by @技术头条 2024-03-13 13:33 查看详情
IM服务器设计-基础 (www.codedump.info)
IM做为非常经典的服务器系统，其设计时候的考量具备代表性，所以这一次花几个篇幅讨论其相关设计。

主要内容相当部分参考了 一套海量在线用户的移动端IM架构设计实践分享一文，在此之上补充了更好的消息存储设计以及集群设计。

by @技术头条 2024-03-13 13:32 查看详情
iOS备用机自动充电方案 (www.leavesongs.com)
炫酷一下，为了能让备用机一直有电，计划将备用机插在智能插座上，然后通过iOS的Shortcuts来监控手机电量——当手机电量小于30%的时候自动开启插座；当手机电量充到80%的时候自动关闭插座。
by @技术头条 2024-01-28 23:59 查看详情
MinIO的分布式存储实践方案 (l1n.wang)
MinIO是一个开源的分布式对象存储组件，它兼容Amazon S3API，适合于存储大容量的非结构化数据，支持单个对象最大5TB。MinIO特点：部署简单，仅需要单独一个二进制文件；支持纠删码机制，能恢复部分数据块丢失的情况；读写性能高。
by @技术头条 2024-01-17 23:07 查看详情
CPU 混合推理，非常见大模型量化方案：“二三五六” 位量化 (soulteary.com)
本篇文章聊聊网上聊的比较少的具体量化操作，非常见整型位数的量化，来自让各种开源模型能够在 CPU 环境、CPU & GPU 环境混合推理的技术方案：llama.cpp 。
by @技术头条 2023-12-26 22:06 查看详情
解决Vite打包产生的hash缓存失效问题 (www.iszy.cc)
最近发现无论改多少内容，打包出来的所有文件的 hash 都会发生变化，这样就导致了浏览器缓存失效，每次都要重新加载所有文件，这样就导致了加载速度变慢，而且也浪费我服务器流量，姑且来看看能不能解决。
by @技术头条 2023-11-29 23:46 查看详情
真实世界的Go设计模式 - 对象池模式 (colobu.com)
对象池（object pool pattern）是一种设计模式。一个对象池包含一组已经初始化过且可以使用的对象，而可以在有需求时创建和销毁对象。池的用户可以从池子中取得对象，对其进行操作处理，并在不需要时归还给池子而非直接销毁它。这是一种特殊的工厂对象。

若初始化、实例化的代价高，且有需求需要经常实例化，但每次实例化的数量较少的情况下，使用对象池可以获得显著的效能提升。从池子中取得对象的时间是可预测的，但新建一个实例所需的时间是不确定。

另外，利用对象池，我们可以重用对象，减少对象的分配，对于垃圾回收的编程语言，也是一种提高性能的手段。
by @技术头条 2023-09-10 23:38 查看详情
使用微博登录，分享你的文章到本站