全部萨拉姆...
我已经在Windows操作系统中使用python分析了一个很大的推文数据集..当我尝试将数据转换为向量（tfidf）时，它给了我这个错误消息：
MemoryError无法分配298。Gib用于形状（439563，90889）和数据类型为float64的数组
我该如何解决这个问题？
以下是使用的代码：
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform("MyData")
tf_idf = pd.DataFrame(data = X.toarray(), columns=vectorizer.get_feature_names())
final_df = tf_idf
print("{} rows".format(final_df.shape[0]))
final_df.T.nlargest(5, 0)
答案 0 :(得分：0)
我认为最好的解决方案是将数据分成小文件，然后分别处理..我做到了，我得到了想要的结果..谢谢大家..
答案 1 :(得分：0)
我建议您使用Google Colab
您可以免费访问功能强大的GPU和RAM