Question

我在当前的weka dev版本中使用XRFFSaver类。我使用xrff而不是arff，因为我有非常稀疏的数据，而specs here表示稀疏实例处理得很好而且效率很高（即不包含在输出中）。

然而，使用XRFFSaver，它们包含在输出中，如下所示：

<value index="1" missing="yes"/>
<value index="2" missing="yes"/>
...

这违背了整个练习的目的。任何人都知道这是操作员错误还是我需要编写自己的保护程序？

我快速浏览了一下源代码，我无法找到在XRFFSaver或XMLInstances中切换此行为的任何方法，但是它很快就看了。

TNX

Answer 1

我很快就解决了这个问题：

注意：这是在C＃中（我使用weka through ikvm）。但是，对于任何人来说，转换为Java都应该非常简单注2：唯一重要的一行是if (sparse) continue，我在下面还会注明评论。其他一切都是我通过grepcode和google找到的weka源代码的直接副本。甚至不确定我是否复制了最新版本，请谨慎使用。

我还测试过以确保标准的XRFFLoader正确处理这个问题，看起来确实如此。

TNX

  // Usage
  var saver = new EfficientXRFFSaver();
  saver.setCompressOutput(file.EndsWith(".gz"));
  saver.setInstances(Instances);
  saver.setFile(new java.io.File(file));
  saver.writeBatch();

  // Implementation
  public class EfficientXRFFSaver : XRFFSaver
  {
    public override void resetOptions() {
      base.resetOptions();
      setFileExtension(getCompressOutput() ? XRFFLoader.FILE_EXTENSION_COMPRESSED : XRFFLoader.FILE_EXTENSION);

      try { m_XMLInstances = new EfficientXMLInstances(); } 
      catch { m_XMLInstances = null; }
    }
  }

  public class EfficientXMLInstances : XMLInstances
  {
    protected override void addInstance(Element parent, Instance inst) {      
      var node = m_Document.createElement(TAG_INSTANCE);
      parent.appendChild(node);

      var sparse = inst is SparseInstance;
      if (sparse) { node.setAttribute(ATT_TYPE, VAL_SPARSE); }
      if (inst.weight() != 1.0) { node.setAttribute(ATT_WEIGHT, Utils.doubleToString(inst.weight(), m_Precision)); }
      for (var i = 0; i < inst.numValues(); i++) {
        var index = inst.index(i);

        var value = m_Document.createElement(TAG_VALUE);        
        if (inst.isMissing(index)) {

          // !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
          // !!!!!!!!!! IMPORTANT !!!!!!!!!!!!!
          // !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
          // This line will not add this element if its missing and sparse.
          if (sparse) continue;
          value.setAttribute(ATT_MISSING, VAL_YES);
        } else {
          if (inst.attribute(index).isRelationValued()) {
            var child = m_Document.createElement(TAG_INSTANCES);
            value.appendChild(child);
            for (var n = 0; n < inst.relationalValue(i).numInstances(); n++) {
              addInstance(child, inst.relationalValue(i).instance(n));
            }
          } else {
            value.appendChild(inst.attribute(index).type() == weka.core.Attribute.NUMERIC ? 
                m_Document.createTextNode(Utils.doubleToString(inst.value(index), m_Precision)) : 
                m_Document.createTextNode(validContent(inst.stringValue(index))));
          }
        }
        node.appendChild(value);
        if (sparse) { value.setAttribute(ATT_INDEX, "" + (index + 1)); }
      }
    }
  }

Weka XRFFSaver包括缺少稀疏值

1 个答案: