如何在Python中使用PorterStemmer来阻止大型csv文件？

Question

我最近在使用python在nlp中做项目。我需要预处理包含许多行和列的文本的csv文件。我只能干掉简单的句子。并且无法立即阻止整个csv文件。我怎么能这样做？

Answer 1

您可能必须阅读整个CSV文件并阻止每个单元格。 Python csv library将允许您阅读CSV文件。您可能希望使用csv.reader()或csv.DictReader()。第一个将允许您循环CSV的行并单独读取它们;第二个会自动将CSV中的数据放入Python dictionary。这对你的任务来说都是一个不错的选择。

读完CSV后，您需要使用已读过的字词。如果您尚未安装，可以使用可能需要安装的nltk library。 Here是关于源代码nltk的资源。