如何使用NLTK从CSV文件中删除停用词?

时间:2019-05-14 04:05:43

标签: python csv nltk tokenize data-cleaning

尝试从具有3列的csv文件中删除停用词,并使用已删除的停用词创建一个新的csv文件。这是成功的,但是新文件中的数据显示在第一行而不是原始文件的列中。

    import io 
    import codecs
    import csv
    from nltk.corpus import stopwords 
    from nltk.tokenize import word_tokenize 

    stop_words = set(stopwords.words('english')) 
    file1 = codecs.open('soccer.csv','r','utf-8') 
    line = file1.read() 
    words = line.split()
    for r in words: 
        if not r in stop_words: 
            appendFile = open('stopwords_soccer.csv','a', encoding='utf-8') 
            appendFile.write(" "+r)
            appendFile.close()

1 个答案:

答案 0 :(得分:1)

每行写完后,您需要插入一个换行符。

for r in words: 
    if not r in stop_words: 
        appendFile = open('stopwords_soccer.csv','a', encoding='utf-8') 
        appendFile.write(r)
        appendFile.write("\n")
        appendFile.close()

这应该可以解决您的问题。