Linux下pipe使用注意事项
浏览:2055次 出处信息
Linux下的pipe使用非常广泛, shell本身就大量用pipe来粘合生产者和消费者的. 我们的服务器程序通常会用pipe来做线程间的ipc通讯. 由于unix下的任何东西都是文件,只要是文件,在读取的时候,,就会设置last access time, 所以pipe也不例外., 但是这个时间对我们没有意义 如果pipe使用的非常频繁的时候会碰到由于设置访问时间导致的性能问题. 这个开销远比pipe读写的本身开销大.
我们来分析下pipe的这部分代码:
//pipe.c:L349
static ssize_t
pipe_read(struct kiocb *iocb, const struct iovec *_iov,
unsigned long nr_segs, loff_t pos)
{
...
if (ret > 0)
file_accessed(filp);
return ret;
}
我们可以看到在pipe读的时候要设置 file_accessed时间的,接着:
//fs.h:L1761
extern void touch_atime(struct vfsmount *mnt, struct dentry *dentry);
static inline void file_accessed(struct file *file)
{
if (!(file->f_flags & O_NOATIME))
touch_atime(file->f_path.mnt, file->f_path.dentry);
}
如果文件没设置 O_NOATIME就真正动手设置atime,接着:
//inode.c:L1493
void touch_atime(struct vfsmount *mnt, struct dentry *dentry)
{
struct inode *inode = dentry->d_inode;
struct timespec now;
if (inode->i_flags & S_NOATIME)
return;
if (IS_NOATIME(inode))
return;
if ((inode->i_sb->s_flags & MS_NODIRATIME) && S_ISDIR(inode->i_mode))
return;
if (mnt->mnt_flags & MNT_NOATIME)
return;
if ((mnt->mnt_flags & MNT_NODIRATIME) && S_ISDIR(inode->i_mode))
return;
now = current_fs_time(inode->i_sb);
if (!relatime_need_update(mnt, inode, now))
return;
if (timespec_equal(&inode->i_atime, &now))
return;
if (mnt_want_write(mnt))
return;
inode->i_atime = now;
mark_inode_dirty_sync(inode);
mnt_drop_write(mnt);
}
我们可以看出上面的流程还是比较复杂的,开销也很大.
我们来演示下:
$ cat > pipe_test.c #include#include #include #include #include #include #include #include #include static int fds[2]; static pthread_t rp; static void *rp_entry(void *arg) { char c[1]; while (1 == read(fds[0], c, 1)) { if (*c == \'Q\') break; } fprintf(stderr, "pipe read ok\n"); return NULL; } int main(int argc, char *argv[]) { long i, n; int rc; if (argc < 2) { fprintf(stderr, "usage: pipe_test NNNNNN\n"); return -1; } n = atol(argv[1]); pipe(fds); //fcntl(fds[0], F_SETFL, O_NOATIME); pthread_create(&rp, NULL, rp_entry, NULL); fprintf(stderr, "pipe write %ld...", n); for (i = 0; i < n; i++) { write(fds[1], "A", 1); } write(fds[1], "Q", 1); fprintf(stderr, "ok\n"); pthread_join(rp, NULL); close(fds[0]); close(fds[1]); return 0; } CTRL+D $ gcc -D_GNU_SOURCE pipe_test.c -lpthread $ sudo opcontrol --setup --vmlinux=/usr/lib/debug/lib/modules/2.6.18-164.el5/vmlinux $ sudo opcontrol --init && sudo opcontrol --reset && sudo opcontrol --start $ ./a.out 10000000 pipe write 10000000...ok pipe read ok $ sudo opcontrol --shutdown $ opreport -l|less samples % app name symbol name 378654 92.7742 vmlinux .text.acpi_processor_idle 12978 3.1797 vmlinux current_fs_time 2530 0.6199 vmlinux thread_return 2345 0.5745 vmlinux touch_atime 2253 0.5520 vmlinux .text.acpi_safe_halt 1597 0.3913 vmlinux timespec_trunc 1368 0.3352 vmlinux file_update_time 1253 0.3070 vmlinux __mark_inode_dirty 901 0.2208 vmlinux pipe_writev 768 0.1882 vmlinux __mutex_lock_slowpath 763 0.1869 vmlinux try_to_wake_up 270 0.0662 vmlinux copy_user_generic_unrolled 254 0.0622 vmlinux acpi_set_register 254 0.0622 vmlinux system_call 233 0.0571 vmlinux pipe_readv 188 0.0461 vmlinux dnotify_parent 167 0.0409 vmlinux mutex_unlock ...
我们可以看到touch_atime的开销很大,远比pipe的读写大.
这次把这行注释去掉: fcntl(fds[0], F_SETFL, O_NOATIME); 指示pipe在读的时候不更新atime,看下效果:
$ opreport -l|less samples % app name symbol name 599018 95.2466 vmlinux .text.acpi_processor_idle 4140 0.6583 vmlinux .text.acpi_safe_halt 3281 0.5217 vmlinux thread_return 2812 0.4471 vmlinux current_fs_time 2615 0.4158 vmlinux file_update_time 1790 0.2846 vmlinux __mutex_lock_slowpath 1657 0.2635 vmlinux timespec_trunc 1341 0.2132 vmlinux try_to_wake_up 1281 0.2037 vmlinux mutex_unlock 1080 0.1717 vmlinux mutex_lock 1001 0.1592 vmlinux pipe_readv 925 0.1471 vmlinux pipe_writev
这下看不到touch_atime了,开销省了,对于高性能服务器是很重要的.
小结: 细节很重要!
建议继续学习:
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:简明Vim练级攻略
后一篇:内存学习――虚拟内存 >>
文章信息
- 作者:Yu Feng 来源: Erlang非业余研究
- 标签: pipe
- 发布时间:2011-11-09 22:48:10
建议继续学习
近3天十大热文
-
[871] WordPress插件开发 -- 在插件使用 -
[136] 解决 nginx 反向代理网页首尾出现神秘字 -
[57] 整理了一份招PHP高级工程师的面试题 -
[55] 分享一个JQUERY颜色选择插件 -
[54] 用 Jquery 模拟 select -
[54] 如何保证一个程序在单台服务器上只有唯一实例( -
[53] CloudSMS:免费匿名的云短信 -
[53] 全站换域名时利用nginx和javascri -
[53] Innodb分表太多或者表分区太多,会导致内 -
[51] jQuery性能优化指南
