标记完整的csv仅导致最后一行？

Question

我想标记我的完整CSV。以下代码将打开所有CSV并进行打印。当我尝试标记化它时，它只会标记化CSV的最后一行，而不是完整的CSV。 有人可以帮我标记完整的CSV吗？

import nltk
from nltk.tokenize import sent_tokenize, word_tokenize

with open ('OCD_lookup.csv') as file_object:
    for OCDline in file_object:
        print(OCDline)
tokens = word_tokenize(EAline)
print(tokens)

Answer 1

如果要标记化csv文件中的所有文本，则必须遍历各行以及这些行中的字段

import nltk
from nltk.tokenize import sent_tokenize, word_tokenize

complete_list=[]
with open ('OCD_lookup.csv') as file_object:
    for OCDline in file_object:
        complete_list+=word_tokenize(OCDline)