在Hadoop集群从1.0升级到2.0之后，我们一直在解决很多很多的问题。在今年8月初，我们检测到线上频繁有机器变成死亡结点，一段时间后自动恢复。进入死亡结点状态的DataNode将不能读写数据块。我们观察了一下日志，看到DataNode中打印出很多接受数据快传输的线程(DataXceiver)，线程都是在Receiving的状态，而没有结束。估摸了一下在死亡结点发生的阶段大约有300个左右的线程积累下来。但是，没找到其它突破口。

    分布式文件系统很多，包括GFS，HDFS，淘宝开源的TFS，Tencent用于相册存储的TFS (Tencent FS，为了便于区别，后续称为QFS)，以及Facebook Haystack。其中，TFS，QFS以及Haystack需要解决的问题以及架构都很类似，这三个文件系统称为Blob FS (Blob File System)。本文从分布式架构的角度对三种典型的文件系统进行对比。 我们先看GFS和HDFS。HDFS基本可以认为是GFS的一个简化版实现，二者因此有很多相似之处。