前几天微博上有同学问我磁盘util达到了100%时程序性能下降的问题，由于信息实在有限，我也没有办法帮太大的忙，这篇blog只是想给他列一下在磁盘util很高的时候如何通过blktrace+debugfs找到发生IO的文件，然后再结合自己的应用程序，分析出这些IO到底是谁产生的，最终目的当然是尽量减少不必要的IO干扰，提高程序的性能。 blktrace是Jens Axobe写的一个跟踪IO请求的工具，Linux系统发起的IO请求都可以通过blktrace捕获并分析。

    我们透过blktrace来观察io行为的时候，第一件事情需要选择目标设备，以便分析该设备的io行为。具体使用可以参考我之前写的几篇：这里 这里 这里 blktrace分为内核部分和应用部分，应用部分收到我们要捕捉的设备名单，传给内核。内核分布在block层的各个tracepoint就会开始工作，把相关的数据透过relayfs传递到blktrace的应用部分，应用部分把这些数据记到磁盘，以便后续分析。

    我们在Linux上总是要保存数据的，数据要不保存在文件系统里要不保存在文件系统(如ext3)，要不就在裸设备里面。我们在使用这些数据的时候都是通过文件这个抽象来访问的，操作系统会把我们需要的数据给我们，我们通常无需和块设备打交道。 从下图我们可以很清楚的看到： 我们会发现IO是个层次很深的子系统，有很复杂的数据流动线路...