如何在scala中加载YAML配置文件以将其与具有原始数据的XML文件一起转换为CSV

时间:2019-02-13 16:59:07

标签: xml scala apache-spark yaml

我有一个XML文件,这是一个原始文件,我有一个带rowtags的YAML配置文件,其值仅在XML文件中。我想通过使用以上两个文件在Scala中生成一个CSV文件。如何在Scala中做到这一点?

import java.io.{File, FileInputStream}
import org.yaml.snakeyaml.Yaml
import org.yaml.snakeyaml.constructor.Constructor
import java.util.Map;

case class data (employee: String)

var yamlData = 
   spark.sparkContext.wholeTextFiles( "dbfs:/FileStore/tables/forex_sample.yml")
     .map(x => x._2)
     .collect()(0)

val yaml = new Yaml()
var config = 
      yaml.load(yamlData)
        .asInstanceOf[java.util.Map[String, String]]
var item = config.get("employee")
println("item")
print (config)

0 个答案:

没有答案