Awk:来自一个文本文件的字符频率?

时间:2013-03-24 17:57:52

标签: awk character cjk frequency-analysis word-frequency

给出多语言.txt文件,例如:

But where is Esope the holly Bastard
But where is 생 지 옥 이 군
지 옥 이
지 옥
지
我 是 你 的 爸 爸 !
爸 爸 ! ! !
你 不 會 的 !

使用此Awk函数计算以空格分隔的单词'word-frequency

$ awk '{a[$1]++}END{for(k in a)print a[k],k}' RS=" |\n" myfile.txt | sort

获得优雅:

1 생
1 군
1 Bastard
1 Esope
1 holly
1 the
1 不
1 我
1 是
1 會
2 이
2 But
2 is
2 where
2 你
2 的
3 옥
4 지
4 爸
5 !

如何更改它以计算字符频率?


编辑:对于字符 - 频率,我用过(@ Sudo_O的答案):

$ grep -o '\S' myfile.txt | awk '{a[$1]++}END{for(k in a)print a[k],k}' | sort > myoutput.txt

对于 word-frequency ,请使用:

$ grep -o '\w*' myfile.txt | awk '{a[$1]++}END{for(k in a)print a[k],k}' | sort > myoutput.txt

1 个答案:

答案 0 :(得分:3)

一种方法:

$ grep -o '\S' file | awk '{a[$1]++}END{for(k in a)print a[k],k}' 
3 옥
4 h
2 u
2 i
3 B
5 !
2 w
4 爸
1 군
4 지
1 y
2 l
1 E
1 會
2 你
1 是
2 a
1 不
2 이
2 o
1 p
2 的
1 d
1 생
3 r
6 e
4 s
1 我
4 t

使用重定向将输出保存到文件:

$ grep -o '\S' file | awk '{a[$1]++}END{for(k in a)print a[k],k}' > output

对于排序输出:

$ grep -o '\S' file | awk '{a[$1]++}END{for(k in a)print a[k],k}' | sort > output