带有gzip输入文件的spark-xml

时间:2016-08-23 11:46:05

标签: xml apache-spark gzip

当我尝试使用spark-xml输入格式加载gzipped xml文件时,我总是得到一个空的数据帧。使用文本输入格式加载gzip文件时,一切正常。我做错了什么或者这只是不支持spark-xml?

val books = sqlContext.read
    .format("com.databricks.spark.xml")
    .option("rootTag","catalog")
    .option("rowTag","book")
    .load("/data/books.xml.gz")

1 个答案:

答案 0 :(得分:0)

好的,我使用的是旧版本。 0.3.3版本的一切正常。