从Python

Question

我正在尝试使用pyspark库运行Python脚本。 我使用以下命令创建SparkConf()对象：

conf = SparkConf().setAppName('test').setMaster(<spark-URL>)

当我运行脚本时，该行会出错：

  

拿起_JAVA_OPTIONS：-Xmx128m

     

拿起_JAVA_OPTIONS：-Xmx128m

     

初始化VM初始堆大小设置为大于最大堆大小的值时发生错误。

我尝试通过将配置属性spark.driver.memory设置为各种值来修复此问题，但没有任何更改。

问题是什么，我该如何解决？

由于

Answer 1

这是因为您将最大可用堆大小（128M）设置为大于初始堆大小错误。检查您在配置文件中传递或设置的_JAVA_OPTIONS参数。另请注意，spark.driver.memory中的更改不会产生任何影响，因为Worker实际上位于启动spark-shell时启动的驱动程序JVM进程中，并且用于此的默认内存为512M。

这会在spark尝试初始化堆大小等于512M时产生冲突，但您设置的最大允许限制仅为128M。

您可以通过--driver-java-options命令行选项或默认属性文件中设置最小堆大小