spark独立模式传递spark.driver.extraJavaOptions

Question

我的应用程序连接到一个火花集群（只是启动一个主服务器和一些从属服务器，不使用毛线），现在它为ObjectInputStream抛出StackOverwflowErr，因此我应该增加驱动程序和执行程序的-Xss。 这些文档说您不能在应用程序代码中更改驱动程序属性（使用sparkConf）。

更改spark-defaults.conf无效（我猜它仅适用于spark-submit） 那么我应该如何更改与驱动程序相关的配置？

Answer 1

我刚刚使用过： conf.set（“ spark.executor.extraJavaOptions”，“-Xss4m”）在我的Java代码中，现在执行执行器以xss = 4m运行。我对Spark文档的这一部分有偏见：

  

注意：在客户端模式下，不得通过   SparkConf直接在您的应用程序中，因为驱动程序JVM具有   在这一点上已经开始。相反，请通过   --driver-java-options命令行选项或您的默认属性文件中。