在Spark中转储hadoop配置

时间:2016-12-15 09:32:25

标签: hadoop apache-spark

我使用sc.hadoopConfiguration.set来设置配置。 如何转储这些配置?在控制台上打印它们或将它们转储到文件

1 个答案:

答案 0 :(得分:2)

您可以将hadoop配置转储到xml文件(我假设您使用的是Scala)

    val out = new FileOutputStream("conf.xml")
    sc.hadoopConfiguration.writeXml(out)