Question

我正在尝试从XML记录中提取元素，其中每个xml文件都有许多XML记录。下面是我正在使用的修改后的代码和示例xml。

我期望一个字符串数组，其中数组的每个元素为"user:id"，但结果为":"。我期望XML.loadString解析每个文件，结果将是单独的XML记录。这意味着，如果我以两个示例文件为例，最终将得到4条XML记录。就这样，是两个。

在获取println(d)之后添加next之后，我得到的是代表文件的整个字符串，这很可能就是getId和getUser函数未返回任何内容的原因

我处理负载不正确吗？

import org.apache.spark.{SparkConf, SparkContext}
import scala.xml._
import scala.collection.mutable.ArrayBuffer

object Details {

    def getDetails(xmlstring: String): Iterator[Node] = {
        val nodes = XML.loadString(xmlstring)
        nodes.toIterator
    }

    def getId(detail: Node): String = {
        (detail \ "id").text
    }

    def getUser(detail: Node): String = {
        (detail \ "user").text
    }

    def getDetailList(details: Iterator[Node]): Array[String] = {
        var list = ArrayBuffer[String]()
        while (details.hasNext) {
            val d = details.next
            val user = getUser(d)
            val id = getId(d)
            val formattedText = user + ":" + id
            list += formattedText
        }
        list.toArray
    }

    def main(args: Array[String]) {

        val conf = new SparkConf().setAppName("Details")
        val sc: SparkContext = new SparkContext(conf)

        val lines = sc.wholeTextFiles("file:///path/to/files/")
        val xmlStrings = lines.map(line => line._2)
        val detailsRecords = xmlStrings.map(getDetails)
        val detailsList = detailsRecords.map(getDetailList)

        spark.stop()
    }
}

还有两个示例文件...

test.xml

<details>
  <detail>
    <user>Dan</user>
    <id>5555</id>
  </detail>
  <detail>
    <user>Mike</user>
    <id>6666</id>
  </detail>
</details>

test2.xml

<details>
  <detail>
    <user>John</user>
    <id>1234</id>
  </detail>
  <detail>
    <user>Joe</user>
    <id>5678</id>
  </detail>
</details>

Answer 1

您应该使用XML for Spark。

使用此库，您可以像这样读取全部您的xml文件：

import org.apache.spark.sql.SQLContext

val sqlContext = new SQLContext(sc)

val df = sqlContext.read
   .format("com.databricks.spark.xml")
   .option("rowTag", "detail")
   .load("/home/path-with-xml-files")

这会生成一个具有架构的DataFrame：

+----+----+
|  id|user|
+----+----+
|5555| Dan|
|6666|Mike|
|1234|John|
|5678| Joe|
+----+----+

然后从此DF获取一个数组：

val id_users_array = df.collect

此数组的类型为：

id_users_array: Array[org.apache.spark.sql.Row] = Array([5555,Dan], [6666,Mike], [1234,John], [5678,Joe])

如果您只想打印ID：

id_users_array.map(r => r.get(0)).foreach(println)

输出：

希望这会有所帮助。

Answer 2

已经晚了四个月，但我想我已经为您找到了答案。

问题出在getDetails()函数中。您必须告诉Scala什么是“节点”，在这种情况下为<detail>。因此，只需修改您的代码，如下所示：

  def getDetails(xmlstring: String): Iterator[Node] = {
    val nodes = XML.loadString(xmlstring) \\ "detail"
    nodes.toIterator
  }

要使代码按预期工作，只需在\\ "detail"末尾附加XML.loadString()。

干杯

使用Spark / Scala从XML记录中提取元素

2 个答案: