NLP分类训练模型

Question

我正在尝试使用opennlp训练模型来对推文进行分类。我的问题是我应该在我用于训练模型的推文上执行标记化，停止删除单词等，还是应该直接使用推文而不执行清理？

Answer 1

这实际上取决于你的训练：

• 如果您的算法旨在接收简单文本并且在使用机器学习技术之前自行执行所有简化，则应提供类型对
• 否则，如果你只是在试用一个黑盒子，我会说，如果你的模型将用于特定类型的特征，在你的情况下标记化和词干化的话应该训练这类数据，所以提供