译自：Efficiently copying files to multiple destinations

    当你要两台机器之间拷贝一些大文件的时候，把nc(netcat)和pigz(parallel gzip)组合起来会是一个简单和高效的选择。不过，如果要把这些文件同时分发到多台机器，有什么好法子吗？在Tumblr，这还算蛮常见的需求，比如我们要快速的同时增加几台MySQL Slave的时候。

    你可以从源机器逐个拷贝到逐台目标机器，但是往往时间也是成倍的。或者你也可以同时从源机器同时拷贝到多个目标机器，但是受制于源机器的带宽等因素，速度并不见得真的很快。

    还好，借助一些UNIX工具可以做的更好。把tee和FIFO组合起来，可以形成一个文件快速分发链：处于分发链中的每台机器会保存文件，同时还分发给它的下一环。

    首先，选定一台目标机器做为分发链的最后一环，在这台机器上只需要用nc监听(假定端口是1234)，再通过管道由pigz解压缩，继续通过管道把数据交由tar来分解。

nc -l 1234 | pigz -d | tar xvf -

    然后，再从分发链的末端往上走，设置其它目标机器，同样要经过监听、解压、分解，不过在解压之前我们通过tee命令将数据输出到命名管道(FIFO)，另外的一条shell管道会将这些未解压的数据同时分发到分发链的下一环：

mkfifo myfifo
nc hostname_of_next_box 1234 nc -l 1234 | tee myfifo | pigz -d | tar xvf -

    最后，在源机器上启动分发链，让数据传输到分发链的第一环：

tar cv some_files | pigz | nc hostname_of_first_box 1234

    在我的测试中，分发链中的每台机器大概损失了3%-10%的性能(相对于1对1的拷贝而言)，但是相对逐个逐个的拷贝或者单台机器向多台机器同时分发，效率提升是很明显的。

    ―

    延伸阅读：

建议继续学习：

1. 使用PHP将大文件导入到数据库中..    (阅读：3709)
2. Linux 找出大文件汇总    (阅读：3086)
3. C++之stl::string写时拷贝导致的问题    (阅读：3024)
4. c/c++访问超过2G的文件    (阅读：2425)
5. 误删大文件的一个可能解救办法    (阅读：1601)
6. centos查找大文件    (阅读：901)