如何在Redis里按模式删除数据
浏览:1918次 出处信息
一台Redis服务器在很短的时间里消耗了几十个G的内存,最终因为SWAP而宕机。因为这台服务器的社会背景比较复杂,所以一时无法判断犯罪嫌疑人到底是谁。
最开始的直觉是认为肯定有人保存了大体积的数据,于是问题就变成了找出哪些键占用的空间比较大,DBA同事用了redis-rdb-tools等工具来分析数据文件。可惜的是虽然找到了一些大体积的键,但最终都排除了嫌疑,问题似乎陷入了僵局。
在被直觉带入死胡同之后,我们开始调整调查的角度:即便一个键本身占用的空间并不大,但是如果相同模式的键数量很多的话,那么合计起来一样会占用大量空间,于是问题就变成了找出哪些相同模式的键占用的空间比较大。这次我不想用什么工具,而是打算在测试服务器上一边删除可疑键一边查看内存变化情况:
shell> /path/to/redis-cli keys foo:* | xargs /path/to/redis-cli del
悲催的是一运行这个命令服务器就挂了!因为数据太多了,所以KEYS受不了。此时应该使用SCAN,它有游标的概念,每次迭代只涉及很少的数据。
直接在命令行使用SCAN有些麻烦,于是我用了PHP:
<?php $redis = new Redis(); $redis->setOption(Redis::OPT_SCAN, Redis::SCAN_RETRY); $match = 'foo:*'; $count = 10000; while ($keys = $redis->scan($it, $match, $count)) { $redis->del($keys); } ?>
在删除的同时注意监控内存变化情况,就能确认问题了:
shell> watch -d -n 1 '/path/to/redis-cli info | grep memory'
至于可疑键的获取,我是瞎蒙的,简单通过MONITOR或者SCAN获取采样数据即可,另外从此案例看,监控键总数的变化幅度是很重要的,从INFO里能拿到它。
建议继续学习:
- redis源代码分析 - persistence (阅读:31152)
- Redis消息队列的若干实现方式 (阅读:10714)
- 基于Redis构建系统的经验和教训 (阅读:9299)
- 浅谈redis数据库的键值设计 (阅读:8296)
- redis运维的一些知识点 (阅读:7432)
- redis在大数据量下的压测表现 (阅读:7390)
- Redis和Memcached的区别 (阅读:6789)
- Redis作者谈Redis应用场景 (阅读:6572)
- redis 运维实际经验纪录之一 (阅读:6476)
- 记Redis那坑人的HGETALL (阅读:6323)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:CentOS iptables 报错解决办法
文章信息
- 作者:老王 来源: 火丁笔记
- 标签: Redis 模式删除
- 发布时间:2014-04-13 22:38:27
建议继续学习
近3天十大热文
- [46] 界面设计速成
- [43] 视觉调整-设计师 vs. 逻辑
- [43] Oracle MTS模式下 进程地址与会话信
- [42] IOS安全–浅谈关于IOS加固的几种方法
- [42] android 开发入门
- [39] 图书馆的世界纪录
- [38] 程序员技术练级攻略
- [38] 【社会化设计】自我(self)部分――欢迎区
- [38] 如何拿下简短的域名
- [34] 读书笔记-壹百度:百度十年千倍的29条法则