Question

嗨，我有以下代码，由于某种原因，我遇到了内存错误-代码中是否有内容？

Encoding.ASCII.GetBytes(null + ":" + "1234"));

Answer 1

内存错误表明您已超出系统的内存容量，例如，使用了多GB数据集。也许CountVectorizer的大小可能会爆炸？可能需要另一台功能更强大的机器。另外，您可以通过多处理，更少的复制操作等来提高操作的内存效率。

最后，内存不足的pandas是Dask项目的目标。检验一下：https://dask.org/，他们的模式可能会达到您的目标。

如果所有这些都失败了，而您仍然无法在内存中容纳您的工作，那么pyspark可能适合您。这是一个面向分布式数据和ML ops的项目。