我正在尝试使用pyspark库运行Python脚本。
我使用以下命令创建SparkConf()对象：
conf = SparkConf().setAppName('test').setMaster(<spark-URL>)
当我运行脚本时，该行会出错：
拿起_JAVA_OPTIONS：-Xmx128m
拿起_JAVA_OPTIONS：-Xmx128m
初始化VM初始堆大小设置为大于最大堆大小的值时发生错误。
我尝试通过将配置属性spark.driver.memory设置为各种值来修复此问题，但没有任何更改。
问题是什么，我该如何解决？
由于
答案 0 :(得分：0)
这是因为您将最大可用堆大小（128M）设置为大于初始堆大小错误。检查您在配置文件中传递或设置的_JAVA_OPTIONS参数。另请注意，spark.driver.memory中的更改不会产生任何影响，因为Worker实际上位于启动spark-shell时启动的驱动程序JVM进程中，并且用于此的默认内存为512M。
这会在spark尝试初始化堆大小等于512M时产生冲突，但您设置的最大允许限制仅为128M。
您可以通过--driver-java-options命令行选项或默认属性文件中设置最小堆大小