近期Imgsrc一处内存泄露问题的查找和解决
简要说明一下，imgsrc上部署的是apache模块，cdn通过其来访问tfs，并且做一些图像处理工作。有内存泄露是在线上发现的，内存不停的在涨。要找到问题所在，首先需要能够在线下重现，知道在什么情况下会泄露。线上系统当然不可能用valgrind来跑啦，还好我们有tcpcopy(赞一下网易的 @wangbin579 同学，真是个好东西)，我们可以将线上流量镜像到跑着valgrind的机器上来，从而重现问题。跑了一晚上之后问题重现了，这时候需要做的是找到具体能触发问题的http请求。在访问日志和错误日志的帮助下，可以重放这些请求，这样就可以随时重现。一个晚上的访问日志有80多万条之多，我注意到其中有43条是在做图像处理时失败的。这些请求的原图往往都是一些不合法的或已损坏的图。先从这43个请求入手，运气不错，问题已经重现了。这告诉我们多注意一下不法分子总是好的。接下来就是使用2分法来找到具体的某一个访问，可以用脚本来干。最终确定是一个png图片。