什么内存会引发。*。内存属性控制 - 内存还是磁盘？

Question

您可以设置spark.driver.memory和spark.executor.memory，其描述如下：

spark.driver.memory 1g Amount of memory to use for the driver process 

spark.executor.memory 1g Amount of memory to use per executor process (e.g. 2g, 8g).  

以上配置说内存。那么它是RAM内存还是磁盘？

Answer 1

（我必须承认这是一个非常有趣的问题）

很快，它就是 RAM （老实说，Spark不支持将磁盘作为接受/请求集群管理器的资源）。

来自官方文档Application Properties：

  

用于驱动程序进程的内存量，即初始化SparkContext的位置。 （例如1g，2g）。

     

注意：在客户端模式下，不能直接在应用程序中通过SparkConf设置此配置，因为驱动程序JVM已在此时启动。相反，请通过--driver-memory命令行选项或默认属性文件中设置它。