高效的大文件拷贝
浏览:3131次 出处信息
译自:Efficiently copying files to multiple destinations
当你要两台机器之间拷贝一些大文件的时候,把nc(netcat)和pigz(parallel gzip)组合起来会是一个简单和高效的选择。不过,如果要把这些文件同时分发到多台机器,有什么好法子吗?在Tumblr,这还算蛮常见的需求,比如我们要快速的同时增加几台MySQL Slave的时候。
你可以从源机器逐个拷贝到逐台目标机器,但是往往时间也是成倍的。或者你也可以同时从源机器同时拷贝到多个目标机器,但是受制于源机器的带宽等因素,速度并不见得真的很快。
还好,借助一些UNIX工具可以做的更好。把tee和FIFO组合起来,可以形成一个文件快速分发链:处于分发链中的每台机器会保存文件,同时还分发给它的下一环。
首先,选定一台目标机器做为分发链的最后一环,在这台机器上只需要用nc监听(假定端口是1234),再通过管道由pigz解压缩,继续通过管道把数据交由tar来分解。
nc -l 1234 | pigz -d | tar xvf -
然后,再从分发链的末端往上走,设置其它目标机器,同样要经过监听、解压、分解,不过在解压之前我们通过tee命令将数据输出到命名管道(FIFO),另外的一条shell管道会将这些未解压的数据同时分发到分发链的下一环:
mkfifo myfifo nc hostname_of_next_box 1234 nc -l 1234 | tee myfifo | pigz -d | tar xvf -
最后,在源机器上启动分发链,让数据传输到分发链的第一环:
tar cv some_files | pigz | nc hostname_of_first_box 1234
在我的测试中,分发链中的每台机器大概损失了3%-10%的性能(相对于1对1的拷贝而言),但是相对逐个逐个的拷贝或者单台机器向多台机器同时分发,效率提升是很明显的。
―
延伸阅读:
建议继续学习:
- 使用PHP将大文件导入到数据库中.. (阅读:3713)
- Linux 找出大文件汇总 (阅读:3087)
- C++之stl::string写时拷贝导致的问题 (阅读:3024)
- c/c++访问超过2G的文件 (阅读:2429)
- 误删大文件的一个可能解救办法 (阅读:1605)
- centos查找大文件 (阅读:902)
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:查看Raid信息
后一篇:SSH Agent与GNU Screen的兼容问题 >>
文章信息
- 作者:肖斌 来源: 将之典藏
- 标签: 大文件 拷贝
- 发布时间:2011-09-19 23:25:21
建议继续学习
近3天十大热文
- [55] IOS安全–浅谈关于IOS加固的几种方法
- [53] android 开发入门
- [52] 如何拿下简短的域名
- [52] 图书馆的世界纪录
- [50] Go Reflect 性能
- [50] Oracle MTS模式下 进程地址与会话信
- [48] 【社会化设计】自我(self)部分――欢迎区
- [47] 读书笔记-壹百度:百度十年千倍的29条法则
- [37] 程序员技术练级攻略
- [27] 视觉调整-设计师 vs. 逻辑