Question

如果我有一个大的xml文件，如下所示。在Java或Scala中解析它的最快方法是什么。流式传输单个元素很重要，但不是绝对必要的

我感兴趣的是从每个结果对象中获取属性值。

<Response>
    <Result att1="1", att2="2", att3="3", att4="4", att5="5"/>
    <Result att1="1", att2="2", att3="3", att4="4", att5="5"/>
    <Result att1="1", att2="2", att3="3", att4="4", att5="5"/>
    <Result att1="1", att2="2", att3="3", att4="4", att5="5"/>
</Response>

Answer 1

如果您的文件很大并且您不想将整个内容加载到内存（即DOM）中，那么您可以采用的一条路径就是拉解析路径。如果你想在scala中进行pull解析，寻找“start element”事件以检查属性，那么你可以这样做：

import scala.io.Source
import java.io.File
import scala.xml.pull.XMLEventReader
import scala.xml.pull.EvElemStart

val src = Source.fromFile(new File(pathToXml))
val reader = new XMLEventReader(src)
reader foreach{ 
  case EvElemStart(_, _, attrs, _) =>
    //do something here

  case _ =>
}

遵循这种方法应确保您的文件不会被读入内存并且应该很快。

Answer 2

Scala XML（可能很慢，内存很忙）

cmbaxter的答案技术上是正确的，但可以使用"flatMap that shit" pattern进行改进： - ）

    import io.Source
    import xml.pull._

    // Make it "def", because the Source is stateful and may be exhausted after it is read
    def xmlsrc=Source.fromString("""<Response>
         |     <Result att1="1" att2="2" att3="3" att4="4" att5="5"/>
         |     <Result att1="1" att2="2" att3="3" att4="4" att5="5"/>
         |     <Result att1="1" att2="2" att3="3" att4="4" att5="5"/>
         |     <Result att1="1" att2="2" att3="3" att4="4" att5="5"/>
         | </Response>""")

    // Also as "def", because the result is an iterator that may be exhausted
    def xmlEr=new XMLEventReader(xmlsrc)

    // flatMap keeps the "outer shape" of the type it operates, so we are still dealing with an iterator

    def attrs = xmlEr.flatMap{
         |   case e : EvElemStart => e.attrs.map(a => (a.key, a.value))
         |   case _ => Iterable.empty
         | }

    // Now lets look what is inside:
    attrs.foreach(println _)

    // Or just let's collect all values from "att5"
    attrs.collect{ case (name, value) if name == "att5" =>value}.foreach(println _)

扩展XML（更快，更少需要内存）

但这不是最快的方式。与benchmarks显示的其他解决方案相比，Scala API相当慢且内存耗尽。但幸运的是，有一个更快，更少内存的解决方案：

    import scales.utils._
    import ScalesUtils._
    import scales.xml._
    import ScalesXml._
    import java.io.StringReader

    def xmlsrc=new StringReader("""<Response>
         |     <Result att1="1" att2="2" att3="3" att4="4" att5="5"/>
         |     <Result att1="1" att2="2" att3="3" att4="4" att5="5"/>
         |     <Result att1="1" att2="2" att3="3" att4="4" att5="5"/>
         |     <Result att1="1" att2="2" att3="3" att4="4" att5="5"/>
         | </Response>""")
    def pull=pullXml(xmlsrc)
    def attributes = pull flatMap {
         |   case Left(elem : Elem) => elem.attributes
         |   case _ => Nil
         | } map (attr => (attr.name, attr.value))

    attributes.foreach(println _)

完成后，不要忘记关闭迭代器。这里没有必要，因为我正在使用StringReader。

Anti XML

还有Anti XML库，在benchmarks看起来相当不错，似乎有一个非常好的API。不幸的是我无法让它与Scala 2.10一起运行，因此我无法提供一个运行示例。

结论

通过上面的示例，您应该能够编写一个小型测试应用程序。有了这些，您可以运行自己的基准测试。看看上面引用的基准测试，我想Scales XML可能会解决您的问题。但如果没有真正的安慰，这真的只是猜测。

自己进行基准测试，也许您可以发布结果。

在Java或Scala中解析平坦，属性重的xml的最快方法

2 个答案:

Scala XML（可能很慢，内存很忙）

扩展XML（更快，更少需要内存）

Anti XML

结论