设置Apache Spark的BlockManager内存

Question

我的火花群集运行信息是

  

15/12/29 17:45:33 INFO BlockManagerMasterEndpoint：注册块   经理10.108.98.123:51075， 530.3 MB RAM ，BlockManagerId（8，   10.108.98.123,51075

如何修改530.3MB到20g或10g？

我已经制作了

代码

conf = SparkConf().set("spark.python.worker.memory", "10g").
set('spark.driver.memory', '10g')

仍然只需要530.3MB RAM而且我的设置没有反映出来。

有没有办法设置它？

Answer 1

BlockManager只是在每个节点（驱动程序或工作程序）上运行的组件 有关它正在做什么的更多详细信息，请参阅此来源：https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-blockmanager.html

它不会受到您操作的设置的直接影响。

我找不到如何专门设置它正在使用的内存。