core dump磁盘报警问题排查过程
玩客项目组中一台线上机器开始磁盘报警。分区磁盘容量已经占用超过80%。同一批上线的几台机器都没报警。而且离报警阀值还差很远。
大概的排查步骤如下:
首先,查找导致磁盘报警的大文件
$ find /home/ -type f -size +100M /home/admin/wanke/web/wanke/api/core.7982 /home/admin/wanke/web/wanke/api/core.10035 /home/admin/wanke/web/wanke/api/core.4462 /home/admin/wanke/web/wanke/api/core.9658 /home/admin/wanke/web/wanke/api/core.14914 /home/admin/wanke/web/wanke/api/core.11037 /home/admin/wanke/web/wanke/api/core.23269 ..................... 此处省略N多行 .....................
看来是core dump文件过多导致的。
彻底解决问题
一般情况下,线上环境是不开启core dump的。为啥会线上产生这么多core dump文件?如果不关闭,可能随时磁盘又会报警。如果不清楚啥是core dump文件,请猛击《怎样用core文件调试你的linux程序?》
找出产生core dump文件的元凶
$ gdb -c /home/admin/wanke/web/wanke/api/core.7982 GNU gdb Fedora (6.8-37.el5) Copyright (C) 2008 Free Software Foundation, Inc. License GPLv3+: GNU GPL version 3 or later http://gnu.org/licenses/gpl.html This is free software: you are free to change and redistribute it. There is NO WARRANTY, to the extent permitted by law. Type "show copying" and "show warranty" for details. This GDB was configured as "x86_64-redhat-linux-gnu". (no debugging symbols found) Core was generated by `php-fpm: pool www
很显然,最后一行Core was generated by `php-fpm: pool www 已经告诉我们,是php-fpm 产生的。
通过以下命令查看,php-fpm的确有core dump的权限。
$cat /proc/7360/limits Limit Soft Limit Hard Limit Units Max cpu time unlimited unlimited seconds Max file size unlimited unlimited bytes Max data size unlimited unlimited bytes Max stack size 10485760 unlimited bytes Max core file size unlimited unlimited bytes
注意,最后的的 Max core file size 为 unlimited。一般情况下,这个值为unlimited,就可以生成core dump文件。
如果关闭core dump ?
一般设置core file size 是使用 ulimited -c unlimited 命令。在登陆时默认执行的一些文件中,没有找到这个命令的影子。
最终在/etc/security/limits.conf 文件中看到了如下设置:
* soft core unlimited
* hard core unlimited
果断注释掉,然后重启php-fpm 进程。再次查看进程的limit信息。
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size 10485760 unlimited bytes
Max core file size 0 unlimited bytes
看来文件修改已经生效。
删除core文件,释放空间
删除后,磁盘空间占用马上降到了50%左右。
注意:
发现虽然/etc/security/limits.conf文件中设置了 core unlimited。但是通过unlimit -a 查看。core 的也是 0。
建议继续学习:
- Java heap dump触发和分析 (阅读:6614)
- dump oracle events中间篇“event的分类与dump” (阅读:3226)
- dump oracle events开始篇“event定义” (阅读:2757)
- 从dump文件中抽取部分库表 (阅读:2458)
- dump oracle events过渡篇“events知多少” (阅读:2241)
- Android安全–一次简单的脱壳Dump dex实践 (阅读:1883)
- oracle跟踪事件(dump)总结 (阅读:1712)
扫一扫订阅我的微信号:IT技术博客大学习
- 作者:信海龙 来源: 博学无忧
- 标签: dump
- 发布时间:2014-11-25 23:13:16
- [54] IOS安全–浅谈关于IOS加固的几种方法
- [53] 如何拿下简短的域名
- [53] Oracle MTS模式下 进程地址与会话信
- [53] Go Reflect 性能
- [51] android 开发入门
- [49] 图书馆的世界纪录
- [49] 读书笔记-壹百度:百度十年千倍的29条法则
- [46] 【社会化设计】自我(self)部分――欢迎区
- [38] 程序员技术练级攻略
- [31] 视觉调整-设计师 vs. 逻辑