HDInsight上的Spark。为什么我编辑的spark-defaults.conf会被覆盖?

时间:2015-08-11 01:38:59

标签: azure apache-spark hdinsight

我在Azure HDInsight(Windows)上运行了Spark群集。 我必须在spark.driver.extraClassPath中编辑spark.executor.extraClassPathspark-defaults.conf以添加依赖项文件夹(JDBC驱动程序)的路径。这很好用,但每隔一段时间这个文件就被覆盖了,我失去了我的更改。价值观是原创的。

预计会出现这种情况吗?为什么会这样?这特别适用于Spark的Windows部署吗?我可以安全地关闭这种行为吗?

1 个答案:

答案 0 :(得分:0)

由于vm reimage,这是预期的。您必须在提供过程中自定义群集。见https://azure.microsoft.com/en-us/documentation/articles/hdinsight-provision-clusters/#advanced-configuration-options