Question

我想编写一个Python脚本来搜索所有Excel行并返回前10个最常见的句子。我已经为txt文件编写了ngram的基础知识。

该文件包含csv文本，其中dj最好是4次，而gd最好是3次。

import nltk
import pandas as pd

file = open('dj.txt', encoding="utf8")
text= file.read()
length = [3]
ngrams_count = {}
for n in length:
    ngrams = tuple(nltk.ngrams(text.split(' '), n=n))
    ngrams_count.update({' '.join(i) : ngrams.count(i) for i in ngrams})
ngrams_count
df = pd.DataFrame(list(zip(ngrams_count, ngrams_count.values())), 
                  columns=['Ngramm', 'Count']).sort_values(['Count'], 
                                                           ascending=False)
df

输出-

   Ngramm  Count
1                      is best,dj is      4
3                      is cool,gd is      2
21                     is best,gd is      2
25                best,dj is Best,dj      1
19                    not cool,dj is      1
20                cool,dj is best,gd      1
22                best,gd is cool,dj      1
23                     is cool,dj is      1
24                cool,dj is best,dj      1
0                      dj is best,dj      1
18                    is not cool,dj      1
27                Best,dj is best,dj      1
28                best,dj is best,dj      1
29                best,dj is best,gd      1
30                best,gd is cool,gd      1
31                cool,gd is COOL,gd      1
32                     is COOL,gd is      1
26                     is Best,dj is      1
17                    good,dj is not      1
16                    not good,dj is      1
15                    is not good,dj      1
14                  better,dj is not      1
13                   is better,dj is      1
12         good,sandeep is better,dj      1
11                is good,sandeep is      1
10    excellent,prem is good,sandeep      1
9               is excellent,prem is      1
8   superb,sandeep is excellent,prem      1
7               is superb,sandeep is      1
6        best,prem is superb,sandeep      1
5                    is best,prem is      1
4               cool,gd is best,prem      1
2                 best,dj is cool,gd      1
33                   COOL,gd is cool      1

所以首先，它显示2表示gd很酷，我不知道为什么吗？然后我想对输出进行排序，以便显示类似这样的内容

Ngramm  Count
dj is cool   4
gd is cool   3
....and so on....

然后我希望这能对Excel文件逐行执行。

我真的很陌生，谁能指出我正确的方向？

Answer 1

如您所见，text.split(' ')不会像逗号一样在标点符号上不分开。
可以针对此特定数据（其中出现的唯一标点似乎是逗号，而空格都没有尾随它们）进行快速而肮脏的修复。

text.replace(',',' ').split(' ')

>>> "a b,c".split(' ')
['a', 'b,c']                                 # <--- 2 elements
>>> "a b,c".replace(',',' ').split(' ')
['a', 'b', 'c']                              # <--- 3 elements

从长远来看，您可能想了解regular expressions，这可能是一个痛苦的经历，但是在这种情况下，这很容易：

>>> import re
>>> re.split("[ ,]+","a b,c")
['a', 'b', 'c']

Answer 2

由于这是一个csv文件，请帮自己一个忙，首先解析csv！然后拿走内容并按您想要的方式处理它们。但是您的数据似乎每个单元格包含一个“句子”，因此，如果我们的目标是找到最普通的句子，那么为什么要在此任务上添加标记化和ngram？

import csv
from collections import Counter
with open('dj.txt', encoding="utf8") as handle:
    sentcounts = Counter(cell for row in csv.reader(handle) for cell in row)

print("Frequency  Sentence")
for sent, freq in sentcounts.most_common(5):
    print("%9d"%freq, sent)

如果您确实希望使用令牌，则可以在这种简单情况下使用split()，但对于更真实的文本，请使用nltk.word_tokenize()，它了解标点符号。

使用Python进行带计数的最常见句子提取

2 个答案: