统计汉字/英文单词数
浏览:2289次 出处信息
一个简单的程序,统计文本文档中的单词和汉字数,逆序排列(出现频率高的排在最前面)。python实现。
思路
- 使用正则式
"(?x) (?: [\w-]+ | [\x80-\xff]{3} )"
获得utf-8文档中的英文单词和汉字的列表。- 使用dictionary来记录每个单词/汉字出现的频率,如果出现过则+1,如果没出现则置1。
- 将dictionary按照value排序,输出。
源码
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56 #!/usr/bin/python
# -*- coding: utf-8 -*-
#
#author: rex
#blog: http://iregex.org
#filename counter.py
#created: Mon Sep 20 21:00:52 2010
#desc: convert .py file to html with VIM.
import sys
import re
from operator import itemgetter
def readfile(f):
with file(f,"r") as pFile:
return pFile.read()
def divide(c, regex):
#the regex below is only valid for utf8 coding
return regex.findall(c)
def update_dict(di,li):
for i in li:
if di.has_key(i):
di[i]+=1
else:
di[i]=1
return di
def main():
#receive files from bash
files=sys.argv[1:]
#regex compile only once
regex=re.compile("(?x) (?: [\w-]+ | [\x80-\xff]{3} )")
dict={}
#get all words from files
for f in files:
words=divide(readfile(f), regex)
dict=update_dict(dict, words)
#sort dictionary by value
#dict is now a list.
dict=sorted(dict.items(), key=itemgetter(1), reverse=True)
#output to standard-output
for i in dict:
print i[0], i[1]
if __name__=='__main__':
main()
Tips
由于使用了
files=sys.argv[1:]
来接收参数,因此./counter.py file1 file2 ...
可以将参数指定的文件的词频累加计算输出。可以自定义该程序。例如,
- 使用
1
2 regex=re.compile("(?x) ( [\w-]+ | [\x80-\xff]{3} )")
words=[w for w in regex.split(line) if w]这样得到的列表是包含分隔符在内的单词列表,方便于以后对全文分词再做操作。
- 以行为单位处理文件,而不是将整个文件读入内存,在处理大文件时可以节约内存。
- 可以使用这样的正则表达式先对整个文件预处理一下,去掉可能的html tags:
content=re.sub(r"<[^>]+","",content)
,这样的结果对于某些文档更精确。
QQ技术交流群:445447336,欢迎加入!
扫一扫订阅我的微信号:IT技术博客大学习
扫一扫订阅我的微信号:IT技术博客大学习
<< 前一篇:一个简单的中文分词程序
后一篇:用词典查找代替VLOOKUP >>
文章信息
- 作者:rex 来源: 我爱正则表达式
- 标签: 字数
- 发布时间:2012-09-20 13:58:49
近3天十大热文
- [67] Go Reflect 性能
- [67] Oracle MTS模式下 进程地址与会话信
- [64] 如何拿下简短的域名
- [61] android 开发入门
- [61] 【社会化设计】自我(self)部分――欢迎区
- [60] 图书馆的世界纪录
- [60] IOS安全–浅谈关于IOS加固的几种方法
- [54] 视觉调整-设计师 vs. 逻辑
- [49] 读书笔记-壹百度:百度十年千倍的29条法则
- [48] 界面设计速成