IT技术博客大学习 共学习 共进步
全部 移动开发 后端 数据库 AI 算法 安全 DevOps 前端 设计 开发者

标签:持久化

共 4 篇相关文章

IT 累计浏览 3,886

深入剖析 redis RDB 持久化策略

这篇讲的是 Redis RDB 持久化的底层实现。作者从 RDB 与 AOF 的基本概念切入,随后迅速深入核心,剖析了负责持久化 IO 操作的关键数据结构 `struct rio`。 文章的亮点在于对 `rio` 结构的拆解。它巧妙地通过函数指针(如 `read`、`write`)抽象了读写行为,并用一个 `union` 联合体统一了对内存缓冲区和文件的处理,使得一套代码能同时服务于内存缓存和磁盘文件两种场景,设计上颇具巧思。 接着,作者以 `rdbSave()` 函数为主线,通过代码注释的方式,清晰地勾勒出整个 RDB 写文件的流程:从创建临时文件、初始化 `rio` 结构,到遍历每个数据库、写入操作码和数据项。这个过程不仅解释了数据是如何被序列化到磁盘的,也揭示了 BGSAVE 等后台操作的基础——主进程 `fork` 出子进程来执行这个主逻辑,从而避免阻塞服务。 对于想了解 Redis 如何将内存数据“快照”到硬盘的开发者而言,这篇文章提供了一个从数据结构到执行流程的清晰视角。

IT 累计浏览 3,323

LevelDB 的原理和动机

这篇讲的是LevelDB作为高性能键值存储系统的设计原理和动机。作者从持久化数据到硬盘的基本需求出发,解释了如何在实际场景中平衡写入速度和读取效率。 为了快速写入,LevelDB采用追加方式顺序写入日志文件(Log文件),这避免了随机写入的开销,但导致了数据无序。接着,为了从硬盘中高效读取数据,文章指出必须基于查找算法和局部性原理,将数据排序组织到SST文件(Sorted String Tables)中。 文章进一步探讨了为什么使用多个SST文件而不是单个。为了高效插入数据,每个SST文件只保存一定范围的数据,类似于堆的结构。更深入地,LevelDB引入层次(Levels)结构,将SST文件按层次组织,层次越深文件越多但合并频率越低,从而优化了数据合并过程,减少了每次合并影响的文件个数。 面对查找不存在数据时的性能瓶颈,文章强调了结合布隆过滤器(Bloom Filter)的重要性,利用其快速判定“不存在”的特性,避免了在每一层进行无效查找。通过这些层层递进的设计,LevelDB巧妙地解决了存储系统中写入、读取和查询的关键挑战,为读者提供了关于高效数据结构设计的实用思路。

IT 累计浏览 3,378

Tokyo Tyrant 与 Redis 的一些简单比较

这篇博客文章对Tokyo Tyrant和Redis这两款知名的键值存储系统进行了实用对比。作者从实际应用场景出发,剖析了两者在架构设计、性能特点和功能支持上的核心差异。 文章指出,Tokyo Tyrant基于磁盘存储引擎Tokyo Cabinet,强调数据的持久化和可靠性,适合需要大容量存储且对写入速度要求不极端的场景;而Redis以内存为基础,支持丰富的数据结构(如字符串、哈希、列表),在读写速度和实时性上优势明显,常用于缓存和消息队列。作者还提及了各自的网络协议和集群能力差异,例如Redis的发布/订阅功能和Tokyo Tyrant的简单键值操作。 通过这些对比,文章帮助读者理清选择思路:如果应用需要高速缓存或复杂数据操作,Redis更为合适;若更看重持久化和成本控制,Tokyo Tyrant则是值得考虑的选项。整体上,文章以清晰的框架呈现了技术选型的关键考量点。

IT 累计浏览 32,229

redis源代码分析 - persistence

这篇讲的是Redis如何通过持久化机制确保数据安全。作者深入源码,拆解了全量持久化与增量持久化两大核心路径的实现细节。 全量持久化(save/bgsave)的关键在于利用操作系统的fork机制创建子进程,通过写时复制(Copy-on-Write)来实现后台快照,避免了阻塞主进程。而增量持久化(AOF)则通过追加写命令日志,并依赖定期的重写(rewrite)机制来压缩文件体积,两者在数据恢复时协同工作。 文章分析了Redis在实现这些机制时所做的巧妙权衡:比如bgsave如何最小化内存峰值,AOF重写如何生成紧凑的新日志,以及fsync策略在性能与可靠性之间的不同选择。这种对底层实现的剖析,能让读者理解Redis为何能在高性能与数据持久性之间取得平衡。