grep awk 之buffer问题

PHPor 的Blog 2015-04-26 22:55:40 累计浏览 2,627 次

本机暂存

内容概览

作者从一个常见的管道命令场景出发，解释了为何当`grep`命令被多级管道串联时，数据不会立即流到下一阶段——比如在`while...done | grep abcd | grep abcd`中，第二条grep似乎没有实时输出。

问题的根源在于，无论是`grep`还是`awk`，它们默认都会对输出进行缓冲（buffer），并非逐行传递。对于`grep`，可以通过添加`--line-buffered`选项来切换为行缓冲模式，让数据即时流出。而`awk`的情况更为棘手，它没有直接的选项来改变这一行为，一个有效的变通方法是在awk的输出语句后执行`system("")`，利用空命令来强制刷新输出缓冲区。

这篇技术笔记精准地指出了管道通信中一个容易被忽略的底层机制，并给出了针对性的、可实操的解决方案。它提醒我们，在处理流式数据时，工具的缓冲策略是一个需要特别注意的细节。

问题

如下命令可以看到我们预期的输出：

while :; do echo abcd; sleep 1; done|grep abcd

如下命令不能看到预期的输出： (不是立即看到，其实，只要等等她就会来)

while :; do echo abcd; sleep 1; done|grep abcd|grep abcd

原因：第一个grep命令buffer了输出

解决办法：添加 -line-buffered 选项

同样， awk 也有类似问题，但是使用awk就没有添加选项这么幸运了;可以通过在awk的输出后面添加 system(“”); 来刷新buffer，如：

# while :; do echo abcd; sleep 1; done|awk '{print $0;system("");}'|awk '{print $0;}'

参考资料： http://unix.stackexchange.com/questions/33650/why-does-awk-do-full-buffering-when-reading-from-a-pipe

同分类推荐文章

等了十年的 Go 链式管道，终于来了：seq 让你像写 Scala 一样写 Go （2026-06-25 18:38:18）
Go 实验特性详解（2026-06-21 10:05:27）
amd64 微架构级别对 Go 程序性能提升多少？（2026-06-21 09:38:49）

查看更多后端文章 →

建议继续学习

28个Unix/Linux的命令行神器（累计阅读 16,791）
Linux如何统计进程的CPU利用率（累计阅读 16,307）
我的 RHCA 之路（累计阅读 14,013）
Linux内存点滴用户进程内存空间（累计阅读 13,229）
给程序员新手的一些建议（累计阅读 13,089）
Linux 性能监控、测试、优化工具（累计阅读 13,011）
关于linux内存free的一些事情（累计阅读 12,867）
ps - 按进程消耗内存多少排序（累计阅读 12,687）
Google怎么用linux （累计阅读 12,581）
Linux Used内存到底哪里去了？（累计阅读 11,867）