我一直在寻找SemEval-2018任务3的Github存储库,但在理解如何使用训练集训练他们的基准系统(特别是针对任务A)方面遇到困难,然后在他们的测试集中对其进行测试。 / p>
在their example中,他们展示了其基准系统,该系统输出了经过交叉验证的F1分数,因此未在其测试数据上对其进行测试。但是,在their evaluation中,他们查看了在他们的黄金测试集上做出的预测,并以此来计算F1得分。
我假设这样做的方法是使用CLF.fit(X, y)
在默认训练集上对其进行训练,然后在gold test上对其进行测试,同时将预测保存到文件中,但是我不是完全确定该怎么做。
我尝试解析训练集并以与训练集相同的方式对其进行特征化,然后使用CLF.predict()
来查看是否可行,但这没有用,因为每个样本具有不同的功能。我有点迷失了解决方法,因此我们将不胜感激!