Weka可以处理多少文本？

Question

我有一个情绪分析任务，我需要指定weka可以处理多少数据（在我的例子中是文本）。我有一个2500条意见的语料库已被标记。我知道这是一个小型语料库，但我的论文顾问要求我特别争论Weka能处理多少数据。

Answer 1

您对Weka的限制将取决于您使用的学习算法以及您可用于培训的内存量。大多数分类器都需要将整个集合加载到内存中进行训练，但也有流数据选项。有关详细信息，请参阅the weka page on big data。

对于像您这样小的数据集，您将不会遇到任何问题。但是，对于任何大数据问题，您都无法在一台计算机上编写脚本。 Weka也没有什么不同，一旦你到达那里，就有办法使它成功。据我所知，在足够的硬件资源，时间和独创性的情况下，您将能够处理的数据量没有硬性限制。