Question

我正在尝试使用weka的java api创建一个“自动训练”，但我想我做错了什么，每当我使用MultiLayerPerceptron测试我的ARFF文件时使用MultiLayerPerceptron进行10次交叉验证或66％Percentage Split我得到一些令人满意的结果（大约90％），但是当我尝试通过weka的API测试相同的文件时，每个测试基本上返回0％的匹配（每行返回false）

这是weka的gui的输出：

===对测试分割的评估=== ===摘要===

Correctly Classified Instances          78               91.7647 %
Incorrectly Classified Instances         7                8.2353 %
Kappa statistic                          0.8081
Mean absolute error                      0.0817
Root mean squared error                  0.24  
Relative absolute error                 17.742  %
Root relative squared error             51.0603 %
Total Number of Instances               85

===按班级详细的准确度===

                TP Rate   FP Rate   Precision   Recall  F-Measure   ROC Area  Class
                 0.885     0.068      0.852     0.885     0.868      0.958    1
                 0.932     0.115      0.948     0.932     0.94       0.958    0
Weighted Avg.    0.918     0.101      0.919     0.918     0.918      0.958

===混淆矩阵===

  a  b   <-- classified as
 23  3 |  a = 1
  4 55 |  b = 0

这是我在java上使用的代码（实际上是在使用IKVM的.NET上）：

var classifier = new weka.classifiers.functions.MultilayerPerceptron();
classifier.setOptions(weka.core.Utils.splitOptions("-L 0.7 -M 0.3 -N 75 -V 0 -S 0 -E 20 -H a")); //these are the same options (the default options) when the test is run under weka gui

string trainingFile = Properties.Settings.Default.WekaTrainingFile; //the path to the same file I use to test on weka explorer
weka.core.Instances data = null;
data = new weka.core.Instances(new java.io.BufferedReader(new java.io.FileReader(trainingFile))); //loads the file
data.setClassIndex(data.numAttributes() - 1); //set the last column as the class attribute

cl.buildClassifier(data);

var tmp = System.IO.Path.GetTempFileName(); //creates a temp file to create an arff file with a single row with the instance I want to test taken from the arff file loaded previously
using (var f = System.IO.File.CreateText(tmp))
{
    //long code to read data from db and regenerate the line, simulating data coming from the source I really want to test
}

var dataToTest = new weka.core.Instances(new java.io.BufferedReader(new java.io.FileReader(tmp)));
dataToTest.setClassIndex(dataToTest.numAttributes() - 1);

double prediction = 0;

for (int i = 0; i < dataToTest.numInstances(); i++)
{
    weka.core.Instance curr = dataToTest.instance(i);
    weka.core.Instance inst = new weka.core.Instance(data.numAttributes());
    inst.setDataset(data);
    for (int n = 0; n < data.numAttributes(); n++)
    {
        weka.core.Attribute att = dataToTest.attribute(data.attribute(n).name());
        if (att != null)
        {
            if (att.isNominal())
            {
                if ((data.attribute(n).numValues() > 0) && (att.numValues() > 0))
                {
                    String label = curr.stringValue(att);
                    int index = data.attribute(n).indexOfValue(label);
                    if (index != -1)
                        inst.setValue(n, index);
                }
            }
            else if (att.isNumeric())
            {
                inst.setValue(n, curr.value(att));
            }
            else
            {
                throw new InvalidOperationException("Unhandled attribute type!");
            }
        }
    }
    prediction += cl.classifyInstance(inst);
}

//prediction is always 0 here, my ARFF file has two classes: 0 and 1, 92 zeroes and 159 ones

这很有趣，因为如果我更改分类器让我们说NaiveBayes的结果与通过weka的gui进行的测试匹配

Answer 1

您正在使用不推荐的ARFF文件阅读方式。见documentation。试试这个：

 import weka.core.converters.ConverterUtils.DataSource;
 ...
 DataSource source = new DataSource("/some/where/data.arff");
 Instances data = source.getDataSet();

请注意，该文档还说明了如何直接连接到数据库，并绕过了临时ARFF文件的创建。此外，您还可以从数据库中读取并手动创建实例以填充Instances对象。

最后，如果只是将代码顶部的分类器类型更改为NaiveBayes解决了问题，那么请检查weka gui中MultilayerPerceptron的选项，看看它们是否与默认值不同（不同的设置可能导致相同分类器类型产生不同的结果）。

更新：您的代码中使用的不同测试数据与您的weka GUI相比（从数据库到原始培训文件的折叠）;也可能是数据库中的特定数据实际上看起来像MLP分类器的class 0。要验证是否是这种情况，您可以使用weka界面将训练arff分成训练/测试集，然后在代码中重复原始实验。如果结果与gui相同，则表示数据存在问题。如果结果不同，那么我们需要更仔细地查看代码。您要调用的函数是(from the Doc)：

public Instances trainCV(int numFolds, int numFold)

Answer 2

我遇到了同样的问题。

与Java中的交叉验证相比，Weka在Explorer中给出了不同的结果。

有所帮助：

Instances dataSet = ...;
dataSet.stratify(numOfFolds); // use this
         //before splitting the dataset into train and test set!

来自weka培训和java培训的结果不同

2 个答案: