我在Azure HDInsight(Windows)上运行了Spark群集。
我必须在spark.driver.extraClassPath
中编辑spark.executor.extraClassPath
和spark-defaults.conf
以添加依赖项文件夹(JDBC驱动程序)的路径。这很好用,但每隔一段时间这个文件就被覆盖了,我失去了我的更改。价值观是原创的。
预计会出现这种情况吗?为什么会这样?这特别适用于Spark的Windows部署吗?我可以安全地关闭这种行为吗?
答案 0 :(得分:0)
由于vm reimage,这是预期的。您必须在提供过程中自定义群集。见https://azure.microsoft.com/en-us/documentation/articles/hdinsight-provision-clusters/#advanced-configuration-options