Question

我正在研究一种代码，以对科学文章的文本进行分类（使用标题和摘要）。为此，我使用的是SVM，它具有很高的准确性（83％）。同时，我使用CNN对这些文章的图像进行分类。我的想法是将文本分类器与图像分类器合并，以提高准确性。

有可能吗？如果是这样，您将对如何实现它或某种准则有所了解。

谢谢！

Answer 1

您可以使用CNN来完成这两项。为此，您需要两个（甚至三个）输入。一个用于文本（或两个，其中一个用于摘要，另一个用于标题），第二个输入用于图像。然后，在将它们合并到某一点之前，您将具有一些conv-max池层。然后插入其他一些CNN或密集层。

在此模型中，您可能还会有多个输出。例如，一个组合，一个用于文本，一个用于图像。如果您使用的是keras，则需要功能性API。 A picture of an example model can be found here（在示例中，他们使用的是LSTM，但我想您应该坚持使用CNN。）

Answer 2

如果您从两个分类器中都获得了概率，则可以将它们取平均值并取合并结果。但是，采用加权平均值可能是一种更好的方法，在这种情况下，您可以使用验证集找到合适的权重值。

sudo apt-get install lc++1

如果您可以获得另一个分类器（可能是这两个分类器中任何一个的不同版本），您也可以进行多数表决，即选择两个或所有三个分类器都同意的分类。