IT技术博客大学习 共学习 共进步

Linux命令行里的“瑞士军刀”

外刊IT评论 2013-06-08 23:38:39 浏览 11,442 次

swiss-army-knife

   这里说的“瑞士军刀”是指那些简单的一句命令就能完成其它高级语言一大片代码才能完成的工作。

   下面的这些内容是Quora网站上Joshua Levy网友的总结:

  • 通过sort/uniq获取文件内容的交集、合集和不同之处:假设有a、b两个文本文件,文件本身已经去除了重复内容。下面是效率最高的方法,可以处理任何体积的文件,甚至几个G的文件。(Sort对内存没有要求,但也许你需要用 -T 参数。)可以试着比较一下,你可以看看如果用Java来处理磁盘上文件的合并,需要用多少行代码。

  •    cat a b | sort | uniq > c   # c 是a和b的合集

       cat a b | sort | uniq -d > c   # c 是a和b的交集

       cat a b b | sort | uniq -u > c   # c 是a和b的不同

  • 汇总一个文本内容里第三列数字的和(这个方法要比用Python来做快3倍并只需1/3的代码量):

  •    awk ‘{ x += $3 } END { print x }’ myfile

  • 如果你想查看一个目录树里的文件的体积和修改日期,用下面的方法,相当于你挨个目录做”ls -l”,而且输出的形式比你用”ls -lR”更可读:

  •    find . -type f -ls

  • 使用xargs命令。这个命令非常的强大。注意每行上你可以控制多少个东西的执行。如果你不确定它是正确的执行,先使用xargs echo。同样,-I{} 也非常有用。例子:

  •    find . -name \*.py | xargs grep some_function

       cat hosts | xargs -I{} ssh root@{} hostname

  • 假设你有一个文本文件,比如一个web服务器日志,在某些行上有一些值,比如URL中的acct_id参数。如果你想统计每个acct_id的所有请求记录:

  •    cat access.log | egrep -o ‘acct_id=[0-9]+’ | cut -d= -f2 | sort | uniq -c | sort -rn

本文由外刊IT评论网(www.aqee.net)原创发表,文章地址:Linux命令行里的“瑞士军刀”,[英文原文:What are the most useful "Swiss army knife" one-liners on Unix? ]

建议继续学习

  1. 28个Unix/Linux的命令行神器 (阅读 16,582)
  2. 高效Linux用户需要了解的命令行技能 (阅读 12,704)
  3. find命令的一点注意事项 (阅读 11,682)
  4. 命令行画图工具gnuplot用法入门 (阅读 11,562)
  5. 利用find和sed批量替换文件内容 (阅读 11,346)
  6. linux下搜索find命令详解 (阅读 9,222)
  7. AWK 简明教程 (阅读 9,142)
  8. 完全用命令行工作 -- 一年后的思考 (阅读 7,343)
  9. awk命令,实现文件的合并与拆分 (阅读 6,961)
  10. perl模块Getopt::Std用法及实例-从命令行读取参数模块 (阅读 6,923)