统计汉字／英文单词数

一个简单的程序，统计文本文档中的单词和汉字数，逆序排列（出现频率高的排在最前面）。python实现。

思路

• 使用正则式 "(?x) (?: [\w-]+  | [\x80-\xff]{3} )"获得utf-8文档中的英文单词和汉字的列表。
• 使用dictionary来记录每个单词／汉字出现的频率，如果出现过则＋1，如果没出现则置1。
• 将dictionary按照value排序，输出。

源码

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56

#!/usr/bin/python # -*- coding: utf-8 -*- # #author:         rex #blog:           http://iregex.org #filename        counter.py #created:        Mon Sep 20 21:00:52 2010 #desc:           convert .py file to html with VIM. import sys import re from operator import itemgetter def readfile(f):     with file(f,"r") as pFile:         return pFile.read()         def divide(c, regex):     #the regex below is only valid for utf8 coding     return regex.findall(c)     def update_dict(di,li):     for i in li:         if di.has_key(i):             di[i]+=1         else:             di[i]=1     return di     def main():     #receive files from bash     files=sys.argv[1:]         #regex compile only once     regex=re.compile("(?x) (?: [\w-]+  | [\x80-\xff]{3} )")     dict={}     #get all words from files     for f in files:         words=divide(readfile(f), regex)         dict=update_dict(dict, words)     #sort dictionary by value     #dict is now a list.     dict=sorted(dict.items(), key=itemgetter(1), reverse=True)     #output to standard-output     for i in dict:         print i[0], i[1] if __name__=='__main__':     main()

Tips

由于使用了files=sys.argv[1:] 来接收参数，因此./counter.py file1 file2 ...可以将参数指定的文件的词频累加计算输出。

可以自定义该程序。例如，

• 使用

  1 2	regex=re.compile("(?x) ( [\w-]+  | [\x80-\xff]{3} )") words=[w for w in regex.split(line) if w]

  这样得到的列表是包含分隔符在内的单词列表，方便于以后对全文分词再做操作。

• 以行为单位处理文件，而不是将整个文件读入内存，在处理大文件时可以节约内存。
• 可以使用这样的正则表达式先对整个文件预处理一下，去掉可能的html tags: content=re.sub(r"<[^>]+","",content)，这样的结果对于某些文档更精确。