如何在nltk POS数据.....上应用TFIDF？

Question

我在熊猫的DataFrame的评论栏中应用了nltk POS功能。 我有了新功能，但是当我尝试在该功能上应用TFIDF向量化时，它会显示类似

的错误

错误：在应用TFIDF Vectorizer时

AttributeError：“列表”对象没有更低的属性

我将以下代码用于nltk POS

pure_df['pre_pro_plot_synopsis_POS'] = pos_tag_sents(pure_df['pre_pro_plot_synopsis'].apply(word_tokenize).tolist())

有人可以帮助我将POS数据传递给tfidf矢量化器吗？

先感谢

Answer 1

在这里，您似乎创建的pos_tag_sents方法期望将字符串用作参数，但是在这里，您要将list作为参数传递给它。因此，代替此行： pos_tag_sents(pure_df['pre_pro_plot_synopsis'].apply(word_tokenize).tolist())

尝试再次使用apply方法，并将pos_tag_sents传递给它，如下所示：

pure_df['pre_pro_plot_synopsis_POS'] = pure_df['pre_pro_plot_synopsis'].apply(word_tokenize).apply(pos_tag_sents).tolist()

希望有帮助。