如何从python中的列表列表中删除停用词

时间:2019-04-20 13:20:50

标签: python nltk stop-words

我有一组鸣叫,其格式设置为列表列表。我使用的代码可以删除停用词,但它不会返回列表列表,而是返回一个大列表。我需要将其保留为列表列表,以便以后进行朴素的贝叶斯测试,那么如何更改它?

from nltk.corpus import stopwords
stop_words = set(stopwords.words('english'))

OAGTokensWOStop = []
for i in range(2708):
    for tweet in OAG_Tokenized[i]:
        if tweet not in stop_words:
            OAGTokensWOStop.append(tweet)

我收到的所有单词都带有大词,但没有停止词,但我需要将输出保留为列表列表。

3 个答案:

答案 0 :(得分:0)

export { default as Subdirectory } from "./Subdirectory"; 将推文的内容附加到append(tweet)列表中。

您希望它将推文添加为列表,因此您应该这样做:

OAGTokensWOStop

在这里,您要将推文作为numpy数组附加到列表中。因此,创建了一个列表列表。

答案 1 :(得分:0)

我猜。

您必须在dict_sectionValues = {} for section in Config.sections(): for option in Config.options(section): dict_sectionValues[option] = Config.get(section, option) 循环内创建一个空列表,在此列表中添加单词,最后在循环结束时将列表添加到for

OAGTokensWOStop

答案 2 :(得分:0)

您正在为自己创建一个列表。

from nltk.corpus import stopwords
stop_words = set(stopwords.words('english'))

OAGTokensWOStop = []
for item in OAG_Tokenized:
    temp = []
    for tweet in item:
        if tweet not in stop_words:
            temp.append(tweet)
    OAGTokensWOStop.append(temp)