共 3 篇相关文章
这篇讲的是，如何通过压缩管道来突破服务器间大文件传输的速度瓶颈。作者在之前优化SCP速度的基础上，进一步测试了结合不同压缩算法与SSH的方案。 核心对比了lz4与pigz这两种高速压缩工具。在“打包-压缩-传输-解压-拆包”这一完整流程中，解压速度是最大的性能短板。lz4虽然在压缩率上略逊于pigz，但其解压速度达到了惊人的264MB/s，是gunzip的三倍，这使它在需要即时解压的传输场景中成为关键。 实测结果显示，使用 `tar | lz4 -B4 | ssh` 的组合，传输速度从原始SCP的约40MB/s提升到了249MB/s。这意味着原本需要3小时的400GB数据迁移，现在仅需27分钟。文章不仅给出了最终可用的命令行方案，还分析了磁盘IO、网络带宽及管道开销等各环节的实际表现，并发现了调整lz4块大小（-B4）能对性能产生显著影响。对于运维和开发人员来说，这是一个非常实用且经过验证的加速技巧。
这篇讲的是一个名为pigz的并行压缩工具，作者通过实际测试，展示了它相比传统gzip在现代多核处理器上的巨大性能优势。 pigz的核心是利用多线程并发执行gzip算法。文章用两组大文件（约2.3GB和5.2GB）的压缩解压测试数据做了直观对比。结果显示，pigz在默认线程数下，压缩速度可达gzip的5.3倍。例如，压缩那个5.2GB的文件，pigz默认配置耗时1分12秒，而gzip则需要超过6分钟。解压缩同样快了一倍以上。虽然pigz会消耗更多CPU资源，但压缩比与gzip相当。 文章还深入分析了线程数与性能的关系。实测表明，从4线程增加到8线程能带来约41%的速度提升，但从8线程增加到16线程提升降至28%左右，而32线程对比16线程仅提升3%，存在明显的边际效益递减。 因此，结论很明确：在需要快速压缩大文件、且能接受短时间高CPU负载的场景下，pigz是一个能极大提升工作效率的替代方案。
这篇讲的是Tumblr工程团队如何解决大文件复制到多个目标时的效率问题。他们发现当需要将同样的文件分发到多个存储位置时，传统方式如循环执行cp或rsync命令会导致重复的I/O读取和带宽消耗，形成性能瓶颈。 文章核心方案是利用Linux系统中的“写时复制”文件系统特性。具体来说，他们并没有真正复制文件数据，而是创建了一个指向源文件的“轻量级副本”。这个副本仅占用极小的元数据空间，读取时会直接映射到源文件数据。当需要修改某个副本时，系统才会在那一刻复制并修改特定的数据块，即“写时复制”。这种方法使得文件分发操作的开销几乎降为零。 作者通过实际代码示例和基准测试对比了传统递归复制与他们的新方案。在分发GB级的大文件时，传统方式耗时数秒甚至数分钟，而基于写时复制的方案仅需几毫秒，提升了数百倍。对于需要频繁进行镜像同步或配置分发的场景，这个技巧非常实用。
