大文件重定向和管道的效率对比
这篇讲的是当处理大文件时，shell 中 `>` 重定向和 `|` 管道这两种看似相似的操作，效率为何天差地别。作者从微博上的一个具体问题出发，深入底层，拆解了它们的核心差异。 重定向 `>` 本质是 shell 自己先打开（或创建）目标文件，然后等待命令执行完成，最后将所有输出一次性写入。而管道 `|` 则是通过 `fork` 创建子进程并建立管道，父进程和子进程通过管道进行 I/O 交互。这个过程中，数据是流式的，并且涉及进程间通信。 在处理GB级别的大文件时，这种差异会被急剧放大。重定向的“一次性写入”模式会导致内存占用激增，甚至因缓冲区压力而性能骤降；而管道的流式处理则内存友好，但其效率依赖于上下游命令的 I/O 模式是否匹配（比如是否都用了缓冲优化）。 文章最终的结论很明确：重定向适合将完整输出保存为文件，管道则专长于将一个命令的输出作为另一个命令的输入进行流式处理。两者并无绝对的优劣，关键在于理解其机制，并根据实际场景——是保存整个输出，还是进行数据流转换——来做出正确选择。