据我所知，当在spark.driver.extraClassPath或其他地方的AWS EMR上设置/使用spark.executor.extraClassPath和spark-defaults.conf作为标志时，我必须首先获得现有值[...].extraClassPath设置为，然后将:/my/additional/classpath附加到其中以使其正常工作。
Spark中是否有一个函数允许我只添加一个附加的类路径，它保留/尊重EMR在/etc/spark/conf/spark-defaults.conf中设置的现有路径？
答案 0 :(得分：1)
没有这样的＆＃34;功能＆＃34;在Spark但是： 在EMR AMI上，您可以编写一个引导程序，它将在spark-defaults中附加/设置您想要的任何内容，当然会影响所有Spark作业。
当EMR转移到较新的＆＃34;发布标签＆＃34;这已停止工作，因为bootstrap-steps被配置JSON替换，手动bootstraps在安装应用程序之前运行（至少在我尝试时）